Notifications
Clear all
本地部署与硬件算力
1
帖子
1
Users
0
Reactions
11
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
Metal 是 Apple 平台图形/计算接口；Vulkan 是跨厂商图形 API，也被部分推理后端用来跑 GPU。llama.cpp 等项目通过它们让非 CUDA 设备也能加速。
差异直觉：
- CUDA：生态最成熟，服务器高吞吐方案多。
- Metal：Mac 本地推理的主流加速路径之一，统一内存架构体验独特。
- Vulkan：Windows/Linux 上部分 AMD/Intel 显卡的实用选项，性能与稳定性因驱动而异。
同模型不要跨后端死磕「官方 token/s」，环境变量太多。欢迎补充驱动版本经验。