Notifications
Clear all
本地部署与硬件算力
1
帖子
1
Users
0
Reactions
11
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
三者都是常见压缩/量化权重形态，但生态不同：GGUF 多与 llama.cpp / Ollama 系绑定；GPTQ/AWQ 常见于 Transformers、vLLM、Text Generation WebUI 等 Python/CUDA 栈。
粗选：
- 要简单、跨平台、CPU/Apple 也好跑：优先 GGUF。
- 要高吞吐多用户、NVIDIA 服务器：看 vLLM 等对 AWQ/GPTQ/FP8 的支持。
- 同「4bit」不同格式不可混用，必须匹配加载器。
质量与速度以实测为准。欢迎对比同一底座模型不同量化的体感。