【官方常见问题精选】欢迎在下方补充你的经验或追问。

先搞清楚慢在哪里：是“首字等待久”（提示词预处理），还是“逐字输出慢”（生成阶段）？

先测量：Ollama 可以用 ollama run 模型名 --verbose 查看速度统计；llama.cpp 自带 llama-bench。

最常见的原因和办法：

• 模型没有完全放进 GPU：部分层在 CPU 上运行，速度会大幅下降。用 ollama ps 查看使用的是 GPU 还是 CPU，或在 llama.cpp 中检查 -ngl。解决办法是换更小的量化、更小的模型，或减小上下文。
• 模型太大：生成速度主要受内存带宽限制，参数越多越慢，换小一档的模型最直接。
• 量化位数：更低位数的量化文件更小，通常更快，但质量会有损失，需要权衡。
• 上下文过长：对话历史越来越长，预处理和显存都吃紧，可以定期新开对话或做摘要。
• 开启 Flash Attention：llama.cpp 等工具有相关选项，在支持的硬件上可能有帮助，具体参数以版本为准。
• 推测解码（speculative decoding）：用一个小的草稿模型加速大模型，llama.cpp 和 vLLM 都有支持，收益取决于任务。
• 系统层面：关闭占用显卡的其他程序；笔记本要接电源并使用高性能模式；注意散热降频。
• 推理类模型会输出很长的思考过程，感觉“慢”可能是因为它写了很多内容。

并发多人使用时，建议改用 vLLM 之类面向吞吐的方案。

欢迎贴出你的显卡、模型、速度数据，大家一起看还有没有优化空间。