GGUF 是什么?llama.cpp 入门:下载、运行与量化
GGUF 是什么?一篇讲清 GGUF 格式、llama.cpp 的安装与运行、Q4_K_M 等量化的体积差异,以及它和 Ollama 的关系,附官方数据。
GGUF 是什么?一篇讲清 GGUF 格式、llama.cpp 的安装与运行、Q4_K_M 等量化的体积差异,以及它和 Ollama 的关系,附官方数据。
gpt-oss 本地部署教程:用 Ollama 与 llama.cpp 运行 20b 和 120b,对照官方内存需求、MXFP4 量化、MoE 卸载参数与推理强度设置。
笔记本跑本地大模型怎么选?按 NVIDIA 50 系列笔记本显存与带宽、功耗上限、散热和 Mac 统一内存对比,讲清 8GB、12GB、16GB、24GB 各能跑什么。
本地大模型编程怎么搭:Ollama 加 Continue 扩展,按显存选 Qwen Coder 版本,补全、聊天、智能体分工,以及上下文长度与速度的常见坑。
本地大模型 隐私说明:哪些数据真正留在本机,哪些环节仍可能泄露,需要检查的 Ollama 与 Open WebUI 设置,以及一份可直接照做的检查清单。
本地知识库搭建怎么做?用 Ollama 配 Open WebUI 或 AnythingLLM 做 RAG:嵌入模型、切块、上下文长度与常见坑,数据全程留在本机。
把 Mac mini 做成本地大模型服务器:M6 与 M5 Pro 的带宽差异、内存档位怎么选、Ollama 对外服务设置、不休眠与开机自启,以及每 GB 参考价对比。
迷你主机跑大模型怎么选?对比锐龙 AI Max+ 395、DGX Spark、Mac Studio 的内存、带宽与参考价格,讲清哪些模型放得下、速度为何不快。
12GB 16GB 显存跑大模型怎么选?按模型体积和显存带宽对比 RTX 3060 12GB、4060 Ti 16GB、5060 Ti 16GB,附参考价与理论速度上限。
DeepSeek 本地部署怎么选?讲清 R1 蒸馏版与满血版、V4 的区别,按 8GB 到 48GB 显存给出 Ollama 版本对照,并附四步部署命令。