AMD 显卡跑本地大模型：ROCm 与 Vulkan 怎么选，RX 7900 XTX、9070 XT 能用吗
长期以来，本地大模型几乎是 NVIDIA 的天下，但 AMD 显卡现在已经是一个可行的选择：Ollama 官方文档列出了一长串受支持的 Radeon 显卡，llama.cpp 也同时提供 ROCm（HIP）和 Vulkan 两种后端。同样的预算下，AMD 给出的显存往往更大、带宽更高。但它的软件环境比 CUDA 更需要动手。这篇文章讲清楚 AMD 显卡跑本地大模型 的路线：哪些卡被官方支持、ROCm 和 Vulkan 怎么选、几个最常用的环境变量，以及出问题怎么排查。基础的安装步骤见《Ollama 安装教程》，用的模型文件格式见《GGUF 与 llama.cpp 入门》。
核对说明：支持列表、环境变量和 Linux / Windows 差异来自 Ollama 官方 GPU 文档（docs.ollama.com/gpu，2026-10-30 读取）；llama.cpp 的构建选项来自其官方 docs/build.md；显存带宽来自 AMD 官方 RX 9070 XT 页面、Ars Technica 和 comparehw.com 规格表。我们没有在 AMD 机器上做速度评测，速度上限是由带宽算出的理论值。我们的价格参考表里没有 AMD 显卡的核实价格，所以本文不给 AMD 显卡价格。
要点速览（更新于 2026-10-30）
- Ollama 通过 ROCm v7 支持一长串 Radeon 显卡；列表之外的卡可以试试 Vulkan 后端。
RX 7900 XTX 有 24GB 显存、960 GB/s 带宽，是 AMD 消费级显卡里本地大模型最友好的一张；RX 9070 XT 是 16GB、640 GB/s。
Windows 的支持范围比 Linux 小；
HSA_OVERRIDE_GFX_VERSION是 Linux 的办法，Windows 不支持。
AMD 显卡跑本地大模型：先看支持列表
按 Ollama 官方文档，Ollama 通过 ROCm 库支持下面这些 AMD 显卡。Linux 需要 AMD ROCm v7 驱动，用 AMD 的 amdgpu-install 工具安装或升级；Windows 需要支持 ROCm v7 / HIP 的驱动栈。
| 系列 | Linux 支持（官方列表，节选） | Windows 支持（官方列表） |
|---|---|---|
| Radeon RX | 9070 XT、9070 GRE、9070、9060 XT、9060、7900 XTX、7900 XT、7900 GRE、7800 XT、7700 XT、7700、7600 XT、7600、6950 XT、6900 XTX、6900 XT、6800 XT、6800 | 7900 XTX、7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT、7600 |
| Radeon AI PRO | R9700、R9600D | 未列出 |
| Radeon PRO | W7900、W7800、W7700、W7600、W7500、W6900X、W6800X Duo、W6800X、W6800、V620 | W7900、W7800、W7700、W7600、W7500 |
| Ryzen AI | Ryzen AI Max+ 395、Max 390、Max 385、AI 9 HX 475 / 470 / 465 / 375 / 370 / 365 | 未列出 |
| Instinct（数据中心卡） | MI350X、MI300X、MI300A、MI250X、MI250、MI210、MI100 | 未列出 |
可以看到，Windows 上的 RX 9000 系列（9070 XT 等）在这份列表里没有出现，而 Linux 上有。这份列表会随版本更新，购买前请重新查看官方页面。如果你的显卡不在列表上，并不代表一定跑不了，下面会说明 Vulkan 和覆盖变量两种办法。
ROCm 与 Vulkan 怎么选
| 对比项 | ROCm（HIP） | Vulkan |
|---|---|---|
| 支持范围 | 官方列表里的显卡 | Windows 和 Linux 上更多的显卡 |
| 安装要求 | 需要 ROCm v7 驱动栈，Linux 要装 amdgpu-install | Windows 上多数显卡驱动自带 Vulkan；多数 Linux 发行版需要额外安装组件 |
| 速度 | 在受支持的卡上通常是首选 | 社区测试里在部分场景更快、部分场景更慢，随软件版本变化 |
| 稳定性 | 版本更新快，注意驱动匹配 | 在混合核显与独显的机器上，核显的 Vulkan 可能不稳定 |
| 出问题怎么办 | 检查驱动、渲染组权限 | 设置 OLLAMA_VULKAN=0 关闭，或用 GGML_VK_VISIBLE_DEVICES 选择独显 |
Ollama 文档说明，安装了 Vulkan 后端时它默认启用；在 Windows 上，大多数显卡厂商的驱动自带 Vulkan 支持，无需额外设置。对 Linux 上的 AMD 显卡，有些发行版需要把 ollama 用户加入 render 组。另外，Vulkan 需要额外的权限或以 root 运行，才能让 Ollama 读到可用显存数据；否则 Ollama 只能用模型的近似大小来做调度。文档给出的办法是 sudo setcap cap_perfmon+ep /usr/local/bin/ollama。
常用环境变量
| 变量 | 作用 | 备注 |
|---|---|---|
HSA_OVERRIDE_GFX_VERSION |
让 ROCm 把不受支持的显卡当作相近的 LLVM 目标 | 仅 Linux；例如给 RX 5400 设 10.3.0，用的是最接近的 gfx1030 |
ROCR_VISIBLE_DEVICES |
限制 Ollama 使用哪几张 AMD 显卡 | 用 rocminfo 查看设备列表 |
GGML_VK_VISIBLE_DEVICES |
选择 Vulkan 设备 | 设为 -1 可以关闭所有 Vulkan 显卡 |
OLLAMA_VULKAN=0 |
关闭 Vulkan 后端 | 排错时用 |
覆盖变量是实验性的办法：官方文档明确说明 ROCm 并不支持所有 AMD 显卡，覆盖只是让系统尝试用相近的目标。有多张不同架构的显卡时，可以给变量加数字后缀分别设置。
显存与带宽：选哪张卡
| 显卡 | 显存 | 显存带宽 | Ollama 支持（Linux / Windows） |
|---|---|---|---|
| RX 7900 XTX | 24GB | 960 GB/s | 是 / 是 |
| RX 9070 XT、9070 | 16GB | 640 GB/s | 是 / 列表未出现 |
| RX 7800 XT | 16GB | 624 GB/s | 是 / 是 |
| RX 7700 XT | 12GB | 432 GB/s | 是 / 是 |
| RX 9060 XT 16GB | 16GB | 320 GB/s | 是 / 列表未出现 |
| RX 7600 XT | 16GB | 288 GB/s | 是 / 是 |
和 NVIDIA 一样，本地大模型对带宽很敏感：生成速度的理论上限约等于带宽除以模型体积。以约 8.6GB 的 14B 模型为例，RX 7900 XTX 的理论上限约 112 tok/s，9070 XT 约 74，7800 XT 约 73，9060 XT 约 37，7600 XT 约 33。这些都是理论值，不是实测速度，实际会更低，但可以用来比较。方法的详细解释见《12GB 与 16GB 显存跑大模型》。
24GB 的 RX 7900 XTX 是 AMD 阵营里最有吸引力的一张：它能放下 30B 级的 4 位量化模型，参考《24GB 显存跑大模型》；而 16GB 的 9070 XT 与 7800 XT 对应 14B 到 24B 的使用场景。至于需要多少显存，仍然是先算再买，见《大模型显存需求怎么算》。
实际配置步骤
- 确认显卡与系统：对照上面的支持列表，确认你的系统（Windows 还是 Linux）和显卡。
- 安装驱动：Linux 上按 AMD 文档用 amdgpu-install 安装 ROCm v7；Windows 上安装最新的 Radeon 驱动。
- 安装 Ollama：见《Ollama 安装教程》。
- 拉取并运行模型：
ollama run一个 7B 或 8B 的模型作为测试。 - 验证：运行
ollama ps，PROCESSOR 一列应显示 100% GPU。
如果你想用 llama.cpp 直接编译，官方文档给出的 HIP 后端构建选项是 -DGGML_HIP=ON，并用 -DGPU_TARGETS= 指定显卡目标，例如 gfx1030 对应的 RDNA2，gfx1100 对应 RX 7900 XTX / XT / GRE；Vulkan 后端则有单独的构建选项。具体步骤以 llama.cpp 官方 build 文档为准。
报错排查速查表
| 现象 | 可能原因 | 处理 |
|---|---|---|
ollama ps 显示 CPU 而不是 GPU |
显卡不在支持列表，或驱动不匹配 | 对照列表；Linux 尝试覆盖变量，或试 Vulkan |
| 提示找不到 GPU（Linux） | 没装 ROCm v7，或用户不在 render 组 | 用 amdgpu-install 安装，把 ollama 用户加入 render 组 |
| Vulkan 下核显和独显混用不稳定 | 核显的 Vulkan 不稳定 | 保持 Vulkan 开启，用 GGML_VK_VISIBLE_DEVICES 指定独显 |
| 调度看不到可用显存 | Vulkan 没有权限读取显存数据 | 按官方文档设置 cap_perfmon，或以 root 运行 |
| 速度很慢 | 部分层被放到 CPU | 缩短上下文或换小一档的模型，见《Ollama 不使用 GPU 怎么办》 |
为什么 AMD 的体验和 NVIDIA 不一样
NVIDIA 的优势主要来自 CUDA 这套软件生态：大部分本地大模型工具默认以它为第一优先，教程和报错答案也最多。AMD 走的是 ROCm 和 Vulkan 两条路，前者需要驱动栈与显卡型号严格匹配，后者兼容性更广，但在不同软件版本里表现不一。所以选 AMD 的真实代价不在硬件，而在你愿意为排错花多少时间。如果你喜欢折腾，并且看重同价位更大的显存，AMD 很值得考虑；如果你只想装好就用，请先按支持列表核对，再决定。
对新手有一个很实用的做法：先用最小的步骤验证。装好驱动和 Ollama 后，只跑一个 7B 或 8B 的小模型，用 ollama ps 确认它完全在 GPU 上，然后再逐步加大模型和上下文。每次只改一个变量，出问题时才容易定位是驱动、后端还是模型本身。
买之前的核对清单
- 查官方支持列表，确认你的系统和具体型号，而不是只看系列名。
- 确认显存容量是否满足你要跑的模型，用《大模型显存需求怎么算》估算，并给上下文留出余量。
- 看电源与机箱：RX 9070 XT 的整卡功耗为 304W、官方建议电源至少 750W，RX 7900 XTX 约 355W。
- 如果是二手卡，确认保修和退货，并用一个小模型跑一轮压力测试再决定留不留。
- 准备好回退方案：如果 ROCm 跑不通，Vulkan 能否满足你的需求。
核显与 Ryzen AI Max 的特殊情况
Ollama 官方列表里还包括 Ryzen AI 系列的处理器，例如 Ryzen AI Max+ 395，它使用的是统一内存，而不是独立显卡的专用显存。这类机器的玩法和独显完全不同：容量可以很大，但带宽比高端独显低，所以更适合装下大体积的模型，而不是追求最快的速度。如果你考虑这条路线，请看《大内存迷你主机跑大模型》，里面有带宽与价格的对比。在同时有核显和独显的普通台式机上，则要记得用 GGML_VK_VISIBLE_DEVICES 或 ROCR_VISIBLE_DEVICES 把程序固定到独显上，避免模型被分到较慢的核显。
什么时候不建议选 AMD
- 你需要最省事的体验，希望所有教程都能直接照做。NVIDIA 的 CUDA 生态仍然有更多现成的教程和工具。
- 你要做微调、图像生成等对 CUDA 依赖较多的工作，AMD 的支持程度需要逐个工具确认。
- 你的显卡是列表之外的旧卡，并且不愿意折腾覆盖变量。
常见问题
AMD 显卡能跑 Ollama 吗？
能。Ollama 官方文档列出了支持的 Radeon RX、Radeon PRO 和 Ryzen AI 系列，Linux 需要 ROCm v7 驱动，Windows 需要支持 ROCm v7 / HIP 的驱动栈。
我的显卡不在支持列表里怎么办？
可以尝试 Vulkan 后端，或者在 Linux 上用 HSA_OVERRIDE_GFX_VERSION 指向相近的目标。这些是实验性的办法，不能保证稳定。
RX 9070 XT 能用来跑大模型吗？
它有 16GB 显存和 640 GB/s 带宽，在 Linux 的 Ollama 支持列表里；在这份文档的 Windows 列表里没有出现，具体请以你使用时的最新文档为准。
AMD 和 NVIDIA 哪个更适合本地大模型？
看你的优先级：AMD 往往在同等价位给出更大的显存，但软件环境更需要动手；NVIDIA 的生态更成熟。
Windows 上能用 HSA_OVERRIDE_GFX_VERSION 吗？
不能，llama.cpp 官方文档说明该变量在 Windows 上不被支持，它是 Linux 上的办法。
Vulkan 比 ROCm 慢吗？
不一定，社区测试显示在不同场景和版本下互有胜负，建议在你的机器上两个后端都试一下。
需要帮你配置
如果你的 AMD 显卡跑不起来，欢迎到社区提问，或发邮件到 admin@microaione.com，附上显卡型号、系统和 ollama ps 的输出。入门路线见《本地部署大模型入门》。
参考与延伸阅读：Ollama：GPU 支持、llama.cpp：构建文档、AMD：Radeon RX 9070 XT 规格。
