【官方常见问题精选】欢迎在下方补充你的经验或追问。

量化就是把模型权重用更少的位数来存储，以换取更小的体积和更低的显存占用，代价是精度会有一定损失。

GGUF 是 llama.cpp 系列（包括 Ollama、LM Studio）使用的模型文件格式。文件名里常见的后缀大致含义如下：

• Q8_0：约 8 位，质量最接近原模型，体积最大。
• Q6_K、Q5_K_M：质量很好，体积适中。
• Q4_K_M：约 4～5 位，是很多人默认选择的“性价比点”，体积小、质量损失通常可以接受。
• Q3_K、Q2_K：体积更小，但质量下降会更明显，通常只在显存实在不够时考虑。
• F16/BF16：未量化，体积最大。

粗略估算（仅供参考）：Q4_K_M 的文件大小约等于“参数量（B）× 0.6 GB”，比如 7B 模型大约 4～5GB。实际占用还要加上上下文缓存（KV cache）和运行时开销，所以显存最好留出 1～3GB 以上余量。

选择建议：

• 优先选 Q4_K_M 或 Q5_K_M。
• 同样显存下，“大一档模型 + 4-bit”通常比“小一档模型 + 8-bit”效果更好，但这不是绝对的，建议自己测一下。
• 小模型（3B 以下）对量化更敏感，可以选高一点的位数。

你们平时用哪个量化版本？有没有遇到明显掉质量的情况？欢迎分享。