3090 4090 5090 跑大模型怎么选：显存、带宽、功耗和价格一次讲清

只要谈到认真的本地 AI，三张显卡总会被反复提起：还能在二手市场找到的 RTX 3090，成为默认选择的 RTX 4090，以及带有 32GB 显存的 RTX 5090。它们并不是同一架梯子上的三级台阶，差别在于显存多大、读得多快、耗电多少，以及最重要的价格。这篇讲 3090 4090 5090 跑大模型的指南，用英伟达公布的规格和我们的参考价格对比它们，给出推算的速度上限，最后给出一条选择规则。如果预算更低，请先看24GB 显卡装机指南或二手显卡选购指南。

核对说明：显存、位宽、功耗、电源和温度数据来自英伟达各显卡的规格页面，于 2026-10-30 阅读。价格是我们 2026-10-30 价格文件中的参考中位数，来自多个中国市场来源，每天都在变化。速度数字是用显存带宽推算的，不是实测，因为写这篇文章时我们没有对这些显卡做基准测试。

要点速览（更新于 2026-10-30）

• 3090 和 4090 都是 24GB；5090 是 32GB，显存带宽约为 4090 的 1.8 倍，所以只有 5090 真正改变了“能舒服地装下哪些模型”。

• 按参考价，二手 3090 每 GB 显存约 315 元，4090 约 1,103 元，5090 约 1,672 元。

• 对大多数本地大模型用户，二手 3090 是性价比之选，5090 是“一张卡搞定又快”的选择，而 4090 只有在它与 3090 的差价小到你能接受时才合理。

3090 4090 5090 跑大模型：规格表

注意什么变了、什么没变。3090 和 4090 之间，显存容量相同，带宽只差 8%，所以对于受权重读取速度限制的 token 生成，两张卡很接近。4090 的优势在算力上，对提示词处理、图像生成和微调的帮助大于对聊天速度的帮助。5090 在两方面都不同：多了 8GB 显存，位宽也宽得多。我们的本地大模型显存指南解释了为什么显存容量决定你到底能不能运行某个模型。

24GB 和 32GB 分别能装下什么

Q4_K_M 模型大约每十亿参数需要 0.61GB，所以 32B 模型约 19.7GB，70B 模型约 43.1GB。在 24GB 的卡上，32B 模型只给 KV 缓存和运行时留下几个 GB，对于 Qwen2.5-32B 这样的模型（f16 缓存每个 token 约 256 KiB），上下文大约在 8K 到 16K 的范围。在 32GB 的卡上，同一个模型还剩约 12GB，足够容纳约 32K token 的 f16 缓存，使用量化缓存还可以更多。这就是 5090 的实际好处：同样的模型有更长、更宽裕的上下文，或者换更大的量化获得更高质量。

这个对比里没有任何一张单卡能装下 Q4_K_M 的 70B 模型。两张 24GB 的卡共 48GB，可以装下它，但上下文很小；这就是两张二手 3090 成为热门方案的原因，双显卡装机指南有介绍。5090 加上卸载到系统内存也能运行，但速度会明显下降，卸载指南有解释。

推算的速度上限

生成每个 token 都要把所有模型权重读一遍，所以上限就是显存带宽除以权重大小。对于约 19.7GB 的 32B Q4_K_M 模型，5090 约为每秒 91 个 token，4090 约 51，3090 约 47。对于约 4.9GB 的 8B 模型，上限分别是 366、206 和 191。这些是实际软件达不到的上限，标注为推算而非实测。它们显示的是比例：5090 可能比 4090 快约 1.8 倍，而在生成上 4090 只比 3090 快约 8%。

每 GB 显存的价格

价格是几张卡差别最大的地方。按参考中位价，二手 3090 的价格不到 4090 的三分之一，约为 5090 的七分之一。两张二手 3090 约 15,100 元，仍然远低于一张 5090，总共有 48GB。代价是风险：二手卡没有保修，风扇或显存可能已经磨损，两张卡还需要更大的机箱、更强的电源和有空间的主板。购买前请阅读二手显卡指南，并注意参考价混合了新品和二手挂牌，请核对当前报价。

功耗、发热和整机其他部分

英伟达标注 3090 为 350W、4090 为 450W、5090 为 575W，要求的整机电源分别为 750W、850W 和 1000W。规格页面里的最高 GPU 温度分别是 93、90 和 90 摄氏度。因此 5090 的整机需要更强的电源、更好的风道，以及能承受热量的机箱。对于公版卡，英伟达标注 4090 和 5090 的长度都是 304 毫米，3090 是 313 毫米，但非公版卡各不相同，请量好你的机箱。供电与散热指南讲了电源余量、功耗限制和风道，整机配置指南展示了完整的配置。

聊天之外：算力什么时候重要

token 生成受显存带宽限制，但其他任务受算力限制，在那里几代显卡的差别更大。提示词处理，也就是模型在写出第一个字之前读取长文档的阶段，是算力密集型的，所以更新的显卡能缩短检索和编程助手处理长输入时的等待。用 ComfyUI 生成图像和视频同样取决于算力和显存，ComfyUI 硬件指南有说明，微调也一样。如果你主要用短提示词聊天，应该关注的是带宽比例，3090 和 4090 很接近。如果你还要生成图像、处理长文档或训练适配器，更新的显卡更对得起它们的价格。

三个具体场景

预算 9,000 元的学生。 一张按参考价约 7,550 元的二手 3090，加上一个 1,070 元的 850W 电源，已经到了 8,620 元，而且这还假设其他电脑配件已经有了。4090 和 5090 遥不可及，而这张 24GB 的卡可以用 Q4_K_M 运行 32B 模型，上下文不大。把剩下的钱花在有余量的电源上，而不是更大的机箱上。

想用 70B 模型的小型工作室。 两张二手 3090 合计约 15,100 元，提供 48GB，可以装下 43.1GB 的 70B Q4_K_M，只剩很小的缓存。这比一张 5090 便宜，但需要为两张卡准备机箱、主板和电源，上下文必须保持较短。如果这样的上下文对工作来说太短，可以看看大内存机器，比如我们迷你主机指南里的那些。

想用一张安静又快的卡跑 32B 编程模型的开发者。 5090 为 32B 模型提供约 12GB 的余量，足够长的上下文，它的带宽把生成上限提高到约每秒 91 个 token。53,500 元再加一个 1000W 电源，这是一个高端方案，所以要想清楚节省的时间是否值得与二手 3090 之间的差价。

运行成本与功耗限制

旗舰显卡也会改变你的电费，不过对一台大部分时间闲置的机器来说，影响比标价显示的小。英伟达 4090 页面标注的待机功耗约为 19W，所以等待下一个问题的显卡耗电很少。成本出现在满载时：575W 的显卡运行一小时用 0.575 度电，350W 的用 0.35 度，乘以你当地的电价和每天重度使用的小时数，就能算出每月的差额。对每天生成一两个小时的家庭用户来说，显卡之间的差别比购买价格小得多。对全天运行的共享服务器，就值得认真计算。

你还可以限制功耗。用英伟达驱动工具降低显卡的功耗上限可以减少发热和噪音，而且因为 token 生成受显存带宽而不是算力限制，适度的限制往往不会损失太多生成速度。请在你自己的显卡和模型上测试，因为效果因情况而异。散热指南展示了如何安全地测量。

购买前的检查清单

下单显卡之前，先确认电源的额定功率和提供的接口。量好机箱的长度、厚度和散热器空间，并留出风道。检查主板插槽和机箱是否允许显卡不弯折地装进去。对于二手卡，要求提供序列号照片和显卡压力测试运行的视频，并保留收据。最后看时机：显卡价格会波动，价格时机指南讲了怎样避免在高点买入。

一条购买规则

常见错误

• 只为聊天速度买 4090。 它的生成上限只比 3090 高约 8%。
• 忘了电源。 根据英伟达规格，5090 需要 1000W 电源。
• 忽略显卡尺寸。 非公版卡可能比公版更长更厚。
• 为二手卡的风险付新卡的价格。 对比报价，核查卖家。
• 指望一张卡跑 70B。 Q4_K_M 需要约 43GB。

常见问题

RTX 5090 跑本地大模型值得吗？

如果你想要一张 32GB、带宽最高的卡，值得。如果预算要紧，二手 3090 每元提供的显存多得多。

聊天时 4090 比 3090 快很多吗？

它的显存带宽只高约 8%，所以生成上限很接近。它在图像生成和训练这类算力任务上强得多。

这几张卡能跑 70B 模型吗？

用 Q4_K_M 不能完全放进显存，它需要约 43GB。可以用两张 24GB 的卡，或者接受卸载到系统内存。

5090 需要 1000W 电源吗？

英伟达标注 5090 要求的整机电源是 1000W。请照此配置并留出余量。

二手 3090 买着安全吗？

有风险：没有保修，风扇可能磨损，显存可能过热。请从支持退货的卖家购买，到手后做压力测试。

第一台本地 AI 机器买哪张卡最好？

对大多数新手，一张 24GB 的二手 3090 或一张全新的 16GB 显卡就够了。24GB 指南列出了它能运行什么。

和我们聊聊

在这几张卡之间按预算做选择？欢迎加入社区，或发邮件到 admin@microaione.com。

参考资料：英伟达 RTX 5090、英伟达 RTX 4090、英伟达 RTX 3090 与 3090 Ti。