本地大模型尺寸怎么选：按显存和任务挑 7B、14B、32B 还是 70B

我们被问得最多的问题是“我该跑哪个模型”，而答案首先是一个尺寸，而不是一个名字。更大的模型通常更强，但需要更多内存、跑得更慢、花费更高，所以正确的选择是在你的硬件上能把活干好的最小模型。这篇 本地大模型尺寸怎么选 的指南给出五步方法：从任务出发，选尺寸，估内存，用真实问题测试，然后定下或升一档。里面有公式，有把显存对应到尺寸的表格，还有让人买了用不上的硬件的常见错误。选好尺寸之后再挑具体模型，见最佳本地模型指南。

核对说明：权重大小采用我们 Q4_K_M 的经验值，约每十亿参数 0.61GB（8B 4.9GB，14B 约 8.6GB，24B 约 14.8GB，32B 约 19.7GB，70B 43.1GB），KV 缓存大小来自上下文指南里讨论过的各个架构。所有内存总量都是推算的估计值，不是实测，也不含运行开销。任务表列出的是常见的起步尺寸，不是评测结果。

要点速览（更新于 2026-10-30）

• 需要的内存大致等于权重加 KV 缓存再加开销：按我们的推算，14B 的 Q4_K_M 在 8K 上下文下约需 10GB，32B 约 22GB，70B 约 45GB。

• 从任务出发，先试最小的合理尺寸；只有三个真实问题证明它不够好时再升一档。

• 给显存留余量：8GB 适合 7B 到 8B，12GB 最多 14B（短上下文），16GB 舒适地跑 14B，24GB 跑 24B 到 32B（短上下文），48GB 以上才能跑 70B。

本地大模型尺寸怎么选：第一步从任务出发，而不是从硬件出发

人们常常从“我的显卡能跑的最大模型是什么”开始。这能找到上限，却找不到正确的选择。更大的模型每个回答都更慢，即使小一点的模型已经够用。请先想清楚你想做什么。日常提问、改写和简单总结，7B 到 8B 的模型完全胜任。较长的写作、文档处理和工具调用往往在 8B 到 14B 上更好。代码辅助和复杂推理通常随着 14B 到 32B 而改善，而且推理模型还需要留出很长的上下文，详见我们的 R1 蒸馏版尺寸指南。

这些是来自常见做法的起步点，不是评测结果，而且这个领域变化很快：一个新的小模型可能胜过旧的大模型。所以第四步的测试比任何表格都更重要。

第二步：知道每个尺寸要多少内存

大多数本地部署运行的是 Q4_K_M 这样的 4 位量化文件。我们的经验值是约每十亿参数 0.61GB，由此得到图中的权重大小。更高的精度要花更多：Q8_0 约每个权重 8.5 位，所以 70B 模型约需 74GB，未量化的 f16 每个参数 2 字节，所以光是 8B 模型就约 16GB。每一档会牺牲什么，见量化指南。

第三步：加上 KV 缓存和开销

权重不是全部。每个上下文 token 都会增加 KV 缓存，运行环境也需要一些工作内存。按上下文长度指南，f16 缓存每个 token 的开销：Llama 3.1 8B 约 128KiB，Qwen2.5-14B 约 192KiB，Qwen2.5-32B 约 256KiB，Llama 3.1 70B 约 320KiB。在 8K 个 token 时分别约 1GB、1.5GB、2GB 和 2.5GB。再为运行环境和显示留出一两个 GB 的余量；如果想要某个具体模型的准确数字，用显存计算器指南。

一个快速公式：所需内存 = 权重 +（每 token 的 KV × 上下文）+ 约 1 到 2GB。14B 的 Q4_K_M 在 8K 上下文下是 8.6 + 1.5 + 1 到 2，大约 11 到 12GB，这就解释了为什么它放进 12GB 显卡要靠短上下文，而在 16GB 上则很宽裕。

如果模型放不进显存，有些层会在 CPU 上运行，能用但慢得多，见卸载指南。混合专家模型会改变这个局面，因为每个 token 只激活一部分权重，MoE 指南讲了如何估算它们。

第四步：用三个真实问题测试

从你的实际工作里挑三个问题：一个简单的、一个中等的、一个难的。用你真正会用的设置，在最小的合理尺寸上运行它们，自己判断答案。记下是否正确、花了多久、用了多少内存（ollama ps 能看到）。然后在更大一档上运行同样的三个。如果小一点的模型三个都答得不错，就完成了。如果它没答对难的那个，就判断这类任务是否频繁到值得用更大的模型。这只要三十分钟，却能避免大多数买大了的情况。

对于编程，请用你自己代码库里的任务来测试，其他组件见编程助手指南。对于文档问答，请用真实的文档，因为检索质量往往和模型大小同样重要。

第五步：定下，或者有意识地升一档

当一个尺寸通过了你的三个问题，就定下来，不要再逛了。如果没通过，升一档，不要升两档，再重复测试。每一步的代价不是线性的：从 14B 到 32B，内存大约翻倍，每个 token 也大约慢一倍，因为生成速度受限于读取权重的速度。按我们推算的上限，9GB 的模型在带宽 448 GB/s 的显卡上约为每秒 50 个 token，20GB 的模型在 936 GB/s 上约为 47，但真实速度更低，而且我们没有实测。

在买硬件之前，也要考虑其他的办法：更好的提示词、检索步骤、同尺寸的另一个模型家族，或者中等尺寸的推理模型。真正需要更多时哪些硬件档位合理，见显存指南。

统一内存的机器改变的是上限，不是规则

在 Mac 或统一内存的机器上，问题不是显存，而是共享内存里 GPU 能用多少，速度上限则是内存带宽。容量大并不意味着回答快。作为推算的上限（不是实测），规则是带宽除以每个 token 读取的字节数。70B 的 Q4_K_M（43.1GB）在带宽 273 GB/s 的机器（如 DGX Spark）上，上限约为每秒 6 个 token，在带宽 307 GB/s 的 Apple M5 Pro 上约 7。32B（19.7GB）在 273 GB/s 上约 14，14B（8.6GB）在 153 GB/s 的 Mac mini 上约 18。真实速度会更低，但这个规律有用：这类机器能让你加载大模型，而模型越大，你要等得越有耐心。对它们来说，先试中等尺寸，正如我们的 Mac 指南所建议的。

上下文长度往往比尺寸更关键

两个人用同一块显卡，可能需要不同的尺寸，因为他们用的上下文量不同。只问短问题的人，在 4K 上下文下能跑的模型比粘贴长文档、用 32K 上下文的人更大。每 8K 上下文，8B 约占 1GB，70B 约占 2.5GB，所以大模型加长上下文会很快吃掉内存。如果你的工作涉及长文档，可以考虑较小的模型配更长的上下文，或者用检索只送入相关部分，见RAG 指南。Ollama 的默认上下文取决于可用内存：显存低于 24GiB 时是 4K，24 到 48GiB 之间是 32K，48GiB 以上是 256K，所以请查看你的工具实际在用什么，而不是想当然。

新模型出来时重新检查

模型发布每隔几个月就会改变局面。出现新的模型家族时，你不用重新学习什么：看你常用量化下的文件大小，加上你的上下文对应的 KV 缓存，和你的显存对比，再重跑你的三个问题。把三个问题和现在在用模型的结果记在笔记里。这个小习惯让每次发布都变成十分钟的检查而不是一个研究项目，也能避免你为了一个同尺寸的更好模型本可以免费带来的提升而去升级硬件。

两个算例（仅演示方法）

设想一位写作者在 12GB 显卡上想要写草稿和做总结的帮助。从约 4.9GB 的 8B 开始，上下文可以留得很长，长稿也容易放下。14B 的 8.6GB 加上 8K 上下文的 1.5GB 缓存大约是 10GB，仍然放得下，但余量很小。合理的路径是先测 8B，只有当总结漏掉重要内容时才换 14B。

再设想一位有 24GB 显卡、想要编程助手的开发者。32B 模型的 19.7GB 加 8K 上下文的 2GB 缓存约 22GB，放得下但很紧；而约 14.8GB 的 24B 为更长的上下文留出了空间。这位开发者应该在真实任务上两个都试一试，选足够好的那个，因为带长上下文的小模型可能比短上下文的大模型更有帮助。这些只是方法的演示，不是对具体模型的推荐。

常见错误

• 从能放下的最大模型开始。 应该从能干好活的最小模型开始。
• 忘了 KV 缓存。 长上下文会增加好几个 GB。
• 跨代比较尺寸。 新的小模型可能胜过旧的大模型。
• 用更狠的量化硬塞更大的模型。 质量会下降，对推理尤其如此。
• 没测试就买硬件。 先在现有设备或云端试用上测试尺寸。
• 忽略速度。 放得下但回答很慢的模型是没人用的。

常见问题

8GB 显存最适合什么尺寸？

通常是 Q4_K_M 的 7B 到 8B 模型，权重约 4.7GB 到 5.2GB，上下文要短。

24GB 显卡能跑 32B 模型吗？

可以，上下文要短。按我们的估算，32B 的 Q4_K_M 在 8K 上下文下约需 22GB，很紧。

更大的模型一定更好吗？

不一定。更新或训练得更好的小模型可能胜过旧的大模型，而且大模型更慢。请用你自己的任务测试。

怎么知道模型对我的显卡来说太大了？

运行 ollama ps。如果 Processor 一栏显示 CPU 和 GPU 分担，说明部分模型溢出到了系统内存。

推理模型需要更大的尺寸吗？

它们因为要写很长的思考文字，需要更多的上下文内存，所以同样的尺寸要多预留 KV 缓存。

有内存的话该用 Q8 而不是 Q4 吗？

它能把质量略微提高一点，代价是内存大约翻倍，所以只有在更大的内存不会迫使你换小模型时才用。

和我们聊聊

在社区告诉我们你的显卡和任务，我们帮你选尺寸，或者发邮件到 admin@microaione.com。

参考资料：Qwen2.5-14B-Instruct 模型卡、Ollama gpt-oss 模型库页面、英伟达 GeForce RTX 3090 系列。