24GB 显存装机方案：二手 RTX 3090 整机约 14299 元，与 RTX 4090 怎么选

12GB 显存能跑 14B 级的模型，但真正让本地大模型好用起来的分界线是 24GB：32B 级的 4 位量化模型可以整个放进显存，上下文也有余量。这篇文章给出一套 24GB 显存装机方案：用二手 RTX 3090 的整机参考价约 14299 元，同配置换成 RTX 4090 约 33214 元。我们会列出完整配置清单、说明这台机器能跑什么、电源和散热要注意什么，以及什么情况下值得多花将近两万元上 4090。如果你预算更紧，先看《入门预算装机》；想了解 24GB 显存能装下哪些模型，请看《24GB 显存跑大模型》。

核对说明：价格取自我们 2026-10-30 整理的参考价格表（中位价，部件多为单一来源，3090 二手有 4 个来源，4090 有 4 个来源），不是报价。二手显卡的价格差异很大，请看我们的验货文章。模型体积为常见量化文件大小的量级，以模型卡为准。我们没有在这套配置上做性能评测，不提供速度数字；OpenAI 对 gpt-oss 的内存要求引自其官方说明。

要点速览（更新于 2026-10-30）

• 二手 3090 整机约 14299 元，4090 整机约 33214 元，两者显存都是 24GB，差价约 18915 元。

• 24GB 适合 30B 到 32B 的 4 位量化模型；70B 稠密模型仍放不下。

• 3090 整卡功耗约 350W，官方建议 750W 电源，我们按 850W 配置；必须把电源、机箱长度和验货一起算。

24GB 显存装机方案：配置清单

可以看到显卡约占整机的 53%。和入门方案相比，多出来的钱主要用在三个地方：显卡从 12GB 变成 24GB，电源从 650W 升级到 850W，硬盘从 1TB 升级到 2TB。

同样是 24GB，3090 和 4090 差在哪

显存容量一样，所以两张卡能放下的模型是一样的；4090 贵出来的约 18915 元买到的是更高的算力和更新的架构，而不是更大的模型容量。如果你的目标只是“把 32B 的模型放进显存”，二手 3090 的性价比要高得多。如果你需要图像生成、微调或者很高的并发速度，才值得考虑 4090。4090 的二手市场里也有改装卡和空壳卡的风险，具体见《二手显卡跑大模型》。

24GB 能跑什么

24GB 的实际可用空间约为 22GB 上下，要扣掉驱动和系统占用，还要给上下文缓存留出空间。大致的使用思路是：

模型体积是根据常见模型卡和 llama.cpp 量化文档估计的量级；Llama 3.1 70B 的 Q4_K_M 约 43.1GB 来自官方 quantize 文档。不同模型的体积差异很大，请以实际文件为准，并用《大模型显存需求怎么算》核对上下文占用。量化的选择见《Q4_K_M 量化怎么选》，选什么模型见《本地大模型怎么选》。

为什么 24GB 是一道分界线

用 llama.cpp 官方 quantize 文档里 Llama 3.1 的数据推一下：70B 的 Q4_K_M 约 43.1GB，平均每十亿参数约 0.62GB。照这个比例，一个 32B 的稠密模型 4 位量化后大约 19.7GB，加上上下文缓存和运行时开销，就逼近 24GB 的上限；而 14B 级只要约 8.7GB，12GB 的卡就够。这是一个粗略的外推，不同模型的结构不同，实际文件大小以模型卡为准，但它说明了为什么 24GB 是跑 30B 级模型的分界线：低于它，要么降低量化，要么把部分层放到内存，速度会明显下降；高于它，你获得的是更长的上下文和更高的量化精度。

上下文要留多少

很多人装好机器后发现，模型能加载，但一把上下文调大就报显存不足。原因是上下文缓存（KV 缓存）会随长度线性增长。以 32B 模型占用约 19.7GB 为例，24GB 的卡只剩下几个 GB，要同时容纳系统占用和缓存，上下文大概率只能开到几千到一万多 tokens。更具体的算法见《大模型显存需求怎么算》。如果你经常需要超长上下文，应该选更小的模型或更高显存的方案，而不是硬压。

装机后的验证步骤

1. 用 nvidia-smi 确认显存为 24GB，并记录空闲温度。
2. 加载一个 32B 级的 4 位量化模型，把上下文设为你实际要用的长度，确认所有层都在显存里。
3. 连续生成至少半小时，观察显存温度、风扇和是否掉驱动。
4. 如果是二手卡，在退货期内完成上面所有步骤，并留存记录。

电源、机箱与散热：24GB 方案最容易出问题的地方

1. 电源：3090 整卡功耗约 350W，官方建议 750W。我们配 850W，是为了给 CPU 和瞬时峰值留余量。电源也要有足够的供电接口。
2. 机箱长度和厚度：3090 的非公版卡往往很长很厚，装机前量好机箱支持的显卡长度和厚度。
3. 风道：显存温度是 3090 的重点。机箱至少要有前进后出的风道，装好后用负载测试看显存温度。
4. 内存：32GB 起步；如果你要同时开知识库或多个服务，可以直接上 64GB。

什么时候值得上 4090

如果你的使用场景包括图像生成、较大批量的并发请求，或者你每天都会长时间使用这台机器，算力更高的显卡可以节省大量等待时间，多花的钱可能是值得的。另外，新品 4090 在保修和售后上更有保障，对于要交付给团队使用的场景，这一点往往比省下的那几千元更重要。反过来，如果你只是个人使用、主要在对话和写作中用本地大模型，二手 3090 加上认真验货，是更务实的选择。无论选哪一个，都建议先用《24GB 显存跑大模型》确认你想跑的模型确实在 24GB 的范围内。

买之前的取舍清单

• 能接受没有保修吗：二手 3090 通常没有保修，你需要自己验货和测试。
• 预算有没有余量：电源、机箱可能都要换，这些都要算进总价。
• 要不要考虑新的 16GB 卡：RTX 5060 Ti 16GB 约 5599 元，整机主流档约 10853 元，如果你主要跑 14B 到 24B 的模型，可能就够了。
• 未来会不会上多卡：3090 是常见的双卡方案，需要主板和电源支持，见后续的双显卡专题。

一个具体的判断方法

你可以拿三个问题检验自己是否真的需要 24GB：第一，你最常用的模型文件有多大，加上你需要的上下文缓存后，是否超过 14GB；第二，你是否经常遇到“模型放不下、只好降低量化”的情况；第三，你是否愿意为此多花约 3400 元（按参考价，24GB 方案比主流 16GB 方案多约 3446 元）。如果三个问题答案都是肯定的，24GB 方案值得。如果不是，16GB 的主流方案可能更划算。

常见问题

14000 元左右能装一台 24GB 显存的电脑吗？

按 2026-10-30 的参考价，二手 3090 整机约 14299 元（不含显示器和外设）。这是中位参考价，实际价格会因地区和成色而不同。

3090 和 4090 跑大模型，显存一样为什么差这么多钱？

4090 的算力和架构更新，价格高了很多。对于只关心模型能否放进显存的场景，两者能放下的模型相同。

24GB 能跑 70B 模型吗？

4 位量化的 70B 约 43GB，单张 24GB 放不下，需要两张 24GB 卡或大内存主机。

二手 3090 没有保修怎么办？

要认真验货和烧机测试，保留聊天记录和验货视频，并确认平台的退货约定。预算宽裕的话也可以选新品。

电源一定要 850W 吗？

官方建议 750W，850W 是我们为了留余量的选择。具体取决于你的 CPU 和其他部件，请按实际配置核算。

以后想上双卡怎么办？

需要主板有两个合适的 PCIe 插槽、足够的电源和机箱空间，详见后续的双显卡文章。

需要帮你配一套

想要我们帮你选配、验货和测试，欢迎加入社区讨论，或发邮件到 admin@microaione.com，告诉我们预算和想跑的模型。入门路线见《本地部署大模型入门》，配置梯度见《本地大模型装机配置》。

参考与延伸阅读：NVIDIA：GeForce RTX 3090 规格、OpenAI：gpt-oss 介绍、llama.cpp：quantize 文档。