显存不足怎么办:本地大模型 OOM 排查清单(Ollama 与 llama.cpp)
本地大模型显存不足怎么办?按顺序排查:先查占用,再降上下文和并发,换 KV 缓存与量化,最后才加硬件,附 Ollama 与 llama.cpp 的具体设置。
本地大模型显存不足怎么办?按顺序排查:先查占用,再降上下文和并发,换 KV 缓存与量化,最后才加硬件,附 Ollama 与 llama.cpp 的具体设置。
大模型本地部署服务怎么选:远程安装的五个步骤、服务范围与交付物、远程访问的安全要点、验收测试和自己动手的判断标准,附提问清单与常见坑。
Ollama 下载慢怎么办?先排查代理与断点续传,再用 OLLAMA_MODELS 改模型路径、从魔搭拉 GGUF,附三大系统步骤。
Ollama 不使用 GPU 怎么办?先用 ollama ps 确认,再按 NVIDIA 驱动、AMD ROCm、Vulkan、Mac、Docker 逐项排查,附环境变量与日志位置。