本地部署大模型入门：需要什么配置、怎么选模型（2026 版）
核对说明：本文的命令、版本和模型文件大小，于 2026 年 10 月 30 日对照 Ollama、LM Studio 的官方文档和各来源页面复核（Ollama 最新发布版本为 v0.40.13，2026-10-28 发布）。我们没有在实机上做速度测试，文中不含自测跑分；第三方数字均已标注来源。模型更新很快，请以官方页面为准。
本地部署大模型，就是把模型文件下载到自己的电脑或服务器上，在本机完成推理：数据不用发给第三方，断网也能用，用哪个模型、什么参数由你自己决定。代价同样明确：硬件要自己准备，能跑多大的模型受显存和内存限制，而且开源模型与最强的云端闭源模型之间仍有差距。
这篇文章只回答三个问题：需要什么配置、该选多大的模型、第一次怎么跑起来。读完你可以对照自己的设备，选出一个跑得动的起点。如果你连“本地大模型是什么”都还没概念，可以先读《什么是本地大模型：原理、用途与适合人群》再回来。
先搞清楚：本地部署大模型为什么这么吃显存
显存里装了什么
模型运行时，显存（Mac 则是统一内存）主要装三样东西：
- 模型权重：下载下来的模型文件本身，量化之后体积会明显变小。
- KV 缓存：保存对话上下文的内存，上下文越长占得越多。
- 运行时开销：推理引擎的计算缓冲区、显卡驱动保留的空间等。
所以“模型文件有多大”只是下限，真实占用 = 权重 + KV 缓存 + 开销。显存要比文件大小再宽裕一些，才不会吃力。想精确估算，可以读《大模型显存怎么估算：公式与计算器用法》。
一个粗略的经验法则
PromptQuorum 的硬件指南给出了 4 位量化下的粗略算法：显存（GB）约等于参数量（单位 B）乘以 0.6，这与下文 Ollama 页面上的文件大小基本吻合（例如 8B 约 5GB，14B 约 9GB，32B 约 20GB）。这只是估算，实际要看运行时、量化方式和上下文长度。同一来源还建议在权重之外预留 KV 缓存空间：8K 上下文约加 25%，32K 上下文最多可能接近翻倍。
标称显存和可用显存也不是一回事：CanRun 的例子里，一张 8GB 的 RTX 4060 实际可用约 7.4GB，因为驱动和系统会占一部分。
量化是什么
量化是把模型参数从高精度压缩为低精度，体积和显存占用都会下降，精度会有一定损失。大多数教程默认使用 Q4_K_M（一种 4 位量化），是体积与质量之间常见的折中。更详细的取舍见《大模型量化是什么：Q4_K_M 怎么选》。
按显存选模型：本地部署大模型配置对照表
下表的“Ollama 文件大小”来自各模型在 Ollama 模型库的标签页（2026-10-30 读取），是 Q4_K_M 或官方默认量化的下载体积；“档位”是综合第三方指南后的经验搭配，仅作参考。
| 可用显存 / 统一内存 | 常见可跑的模型级别 | Ollama 参考标签（文件大小） | 备注 |
|---|---|---|---|
| 8GB | 7B–8B | qwen3:8b（5.2GB）、deepseek-r1:8b（5.2GB）、gemma4:12b（8.0GB，偏紧） |
上下文不要开太大 |
| 12GB | 12B–14B | gemma4:12b（8.0GB）、qwen3:14b（9.3GB）、deepseek-r1:14b（9.0GB） |
14B 余量有限 |
| 16GB | 约 20B | gpt-oss:20b（14GB） |
20B 级刚好 |
| 24GB | 27B–32B | qwen3.6:27b（17GB）、qwen3.8:27b（18GB）、qwen3:32b（20GB）、gemma4:31b（20GB） |
最甜点的档位 |
| 32GB | 35B 级 MoE | qwen3.6:35b-a3b（24GB） |
上下文余量更宽裕 |
| 48GB 及以上 | 70B | llama3.3:70b（43GB）、deepseek-r1:70b（43GB） |
需多卡、大内存 Mac 或专业卡 |
| 64GB 以上 | 100B 以上 | gpt-oss:120b（65GB） |
一般是工作站或统一内存机器 |
文件大小是下载体积，不是运行时总占用。例如 CanRun 估算 gpt-oss-20b 在 8K 上下文下约需 12.3GB，而 Ollama 标注的下载体积是 14GB，两者统计口径不同。选卡时请给上下文和系统留出余量。想按具体显卡查询，可先看《显卡与显存怎么选》和《8GB 显存能跑什么模型》。
不同设备怎么选
| 设备类型 | 优点 | 局限 | 适合谁 |
|---|---|---|---|
| NVIDIA 独显 | 生态最成熟、速度快 | 显存有限，大卡价格高 | 大多数个人用户 |
| AMD 显卡 | 性价比有时更好 | 兼容列表较短，需核对 ROCm/Vulkan 支持 | 愿意折腾的用户 |
| Apple Silicon Mac | 统一内存可装更大的模型、安静省电 | 内存不能后期升级，带宽低于高端独显 | Mac 用户、重视静音 |
| 无独显的普通电脑 | 零额外成本 | 只能 CPU 推理，速度慢 | 仅体验 1B–4B 小模型 |
NVIDIA 显卡：Ollama 官方硬件文档写明，支持计算能力 5.0 及以上、驱动 550 及以上的 NVIDIA 显卡；Windows 官方系统要求是驱动 551.61 及以上。Linux 上用 nvidia-smi 确认驱动状态。AMD 显卡通过 ROCm（Linux 需 ROCm v7）或 Vulkan 支持，购买前请逐项核对官方硬件支持页面。Apple Silicon Mac 需要 macOS 14 及以上，选购见《Mac 跑大模型怎么选》。没有独显可以跑，但 Ollama 显存不足时会使用系统内存，回答会更慢，建议从 1B–4B 的小模型开始。
先想清楚用途：不同任务对配置的要求不同
同样是“本地部署大模型”，聊天问答和跑智能体对硬件的要求差别很大。下表是我们根据官方文档里的上下文建议和上文的经验法则整理的起步参考，不是性能承诺：
| 你想做什么 | 对模型的要求 | 起步参考配置 | 提示 |
|---|---|---|---|
| 日常问答、润色改写 | 7B–14B 即可 | 8–12GB 显存或 16GB Mac | 上下文 4k–8k 通常够用 |
| 本地知识库问答（RAG） | 14B–32B，需较长上下文 | 16–24GB 显存 | 要同时放下嵌入模型与对话模型 |
| 辅助写代码 | 27B–32B 级更稳 | 24GB 显存或 32GB 以上 Mac | Ollama 建议编程类任务至少 64000 tokens 上下文 |
| 智能体、联网搜索 | 需要工具调用与长上下文 | 24GB 以上，留足 KV 缓存 | 显存预算要把长上下文算进去 |
| 只想体验一下 | 1B–4B 小模型 | 普通笔记本即可 | 不要期待与网页版同样聪明 |
很多人的第一台“本地大模型机器”其实就是已有的游戏电脑：先用现有显卡把流程跑通，再决定是否升级，通常比一上来买整机更不容易后悔。
选哪个工具：Ollama、LM Studio 还是 llama.cpp
| 工具 | 适合谁 | 官方要点 |
|---|---|---|
| Ollama | 喜欢命令行、想接入其他程序 | 支持 Windows、macOS、Linux，本机接口 http://localhost:11434 |
| LM Studio | 想要图形界面 | Windows 建议 16GB 内存与至少 4GB 独显显存；Mac 需 Apple Silicon |
| llama.cpp | 想深入调参的用户 | 命令行为主，是许多工具的底层引擎 |
新手建议从 Ollama 开始，安装步骤见《Ollama 安装教程》；偏好图形界面，请看《LM Studio 使用教程》。
五步跑起第一个模型
- 查配置：Windows 在任务管理器的“性能 → GPU”里看专用 GPU 内存；Mac 在“关于本机”看内存；Linux 的 NVIDIA 卡用
nvidia-smi。 - 安装 Ollama：按系统参考安装教程完成。
- 选一个与显存匹配的模型，例如 8GB 设备先试：
ollama run qwen3:8b
首次运行会自动下载，完成后进入对话，输入 /bye 退出。
- 确认是否用上了显卡：
ollama ps
PROCESSOR 列显示 100% GPU 表示完全在显卡上，100% CPU 表示完全在系统内存，两者混合表示部分卸载到内存。
- 按需调整上下文：这一点和旧教程不同。按 Ollama 官方文档，默认上下文长度现在随显存而定：显存小于 24GiB 时为 4k，24–48GiB 时为 32k，48GiB 及以上为 256k；网页搜索、智能体和编程工具类任务建议至少设为 64000 tokens。可用环境变量
OLLAMA_CONTEXT_LENGTH或对话中/set parameter num_ctx修改。上下文越长，显存占用越高。
想先跑 DeepSeek 的读者，可直接看《DeepSeek 本地部署：蒸馏版与满血版的区别》。
常见误区
误区一：参数越大越好。 大模型通常更强，但显存放不下时，一部分会落到内存里，速度可能降到难以使用。能完整放进显存的中等模型，体验往往好过勉强塞进去的大模型。
误区二：只看显存，不看内存。 显存决定模型能否完整放进显卡，系统内存同样有影响。LM Studio 官方建议至少 16GB 内存；CanRun 的估算里，gpt-oss-120b 即使配 12GB 以上显卡，也需要约 64GB 系统内存配合。
误区三：以为本地模型等于网页版。 同名模型，本地版往往是缩小或量化后的版本，与官网完整模型不是一回事。
误区四：上下文可以随便开大。 长上下文会让 KV 缓存显著增加，且不同模型差别很大：CanRun 在 8K 上下文下给出的缓存占用，Llama 3.1 8B 约 1.1GB，gpt-oss-20b 只有约 0.2GB。需要长上下文时请先估算。
常见问题（FAQ）
本地部署大模型最低需要什么配置？
Ollama 官方快速入门提到，运行下载约 7.2GB 的示例模型建议有 8GB 可用显存或统一内存；LM Studio 在 Windows 上建议 16GB 内存和至少 4GB 独显显存。低于这些配置也能尝试，但需要更小的模型，速度也更慢。
没有显卡能不能本地部署大模型？
可以用 CPU 和系统内存运行，但响应会慢很多，建议只尝试 1B–4B 的小模型。
8GB 显存适合什么模型？
多个来源的结论一致：7B–8B 级别。详见《8GB 显存能跑什么模型》。
Mac 和 Windows 显卡哪个更适合？
各有取舍。Mac 靠统一内存能装下更大的模型，NVIDIA 显卡生态与速度更成熟。要看预算和目标模型大小，详见《24GB 显存能跑什么模型》与《Mac 跑大模型怎么选》。
本地部署的数据真的不会外传吗？
Ollama 官方 FAQ 说明，本地运行时 Ollama 看不到你的提示词和数据；使用云端模型时则由其服务器处理。需要完全本地使用时，请只选本地模型，并可按官方文档关闭云功能。
下一步与社区
如果你想让更多有经验的人帮你看配置、选模型，欢迎加入我们的社区交流（加入社区）。如果你更想要一台“开箱即用”的本地大模型机器，我们在深圳做选型、组装和实测，可以按你的预算和模型需求聊聊方案，不强制购买，先沟通需求即可。
延伸阅读：Ollama 常见报错：GPU 没用上怎么办。
参考来源
- Ollama 官方文档：Context length、硬件支持
- Ollama 模型库：qwen3、gpt-oss
- 第三方估算：CanRun：How much VRAM do local LLMs need（2026-10 更新）、PromptQuorum 硬件指南