内存和显存:本地大模型的 CPU 卸载如何工作,速度代价有多大
内存和显存对本地大模型有何不同:带宽如何决定速度,CPU 卸载怎样拆分模型,70B 模型的速度上限推算,以及什么时候多买内存才有用。
内存和显存对本地大模型有何不同:带宽如何决定速度,CPU 卸载怎样拆分模型,70B 模型的速度上限推算,以及什么时候多买内存才有用。
树莓派 跑大模型到底行不行?对比树莓派 5 与 Jetson Orin Nano Super 的内存带宽、可用模型、价格,以及何时该改买二手显卡或迷你主机。
Ollama vs LM Studio vs llama.cpp compared: setup effort, interface, API server, control and licensing, with a decision guide and how to switch between them.
Dual GPU LLM build guide: two used RTX 3090s for 48GB, what fits, PCIe, PSU, cooling, llama.cpp and Ollama splitting, derived cost, and when one card is better.
What is GGUF? Learn the GGUF format, how to install and run llama.cpp, how Q4_K_M and other quantizations change file size, and how it relates to Ollama.
gpt-oss local deployment with Ollama and llama.cpp: official memory needs for 20b and 120b, MXFP4, MoE offload flags, and reasoning effort.
双3090 装机指南:两张二手 3090 组 48GB 显存,能跑什么、PCIe、电源与散热、llama.cpp 和 Ollama 的分卡方式、推算造价,以及何时单卡更合适。
GGUF 是什么?一篇讲清 GGUF 格式、llama.cpp 的安装与运行、Q4_K_M 等量化的体积差异,以及它和 Ollama 的关系,附官方数据。
gpt-oss 本地部署教程:用 Ollama 与 llama.cpp 运行 20b 和 120b,对照官方内存需求、MXFP4 量化、MoE 卸载参数与推理强度设置。
Ollama 和 LM Studio 区别,加上 llama.cpp:上手难度、界面、API 服务、可调程度与许可对比,附选择指南,以及如何在三者之间切换。