本地微调显存需求:QLoRA 与 LoRA 到底要多少 GPU 显存
本地微调显存需求详解:Unsloth 文档给出的 3B 到 70B 的 QLoRA 与 LoRA 显存下限、哪些因素会推高占用,以及训练爆显存时的调整手段。
本地微调显存需求详解:Unsloth 文档给出的 3B 到 70B 的 QLoRA 与 LoRA 显存下限、哪些因素会推高占用,以及训练爆显存时的调整手段。
MLX 和 llama.cpp 在 Mac 上有何区别:mlx-lm 与 GGUF 工具的安装、模型格式、内存限制,以及怎样选择。
树莓派 跑大模型到底行不行?对比树莓派 5 与 Jetson Orin Nano Super 的内存带宽、可用模型、价格,以及何时该改买二手显卡或迷你主机。
vLLM 教程:什么时候该用 vLLM 或 SGLang 而不是 Ollama,PagedAttention 与连续批处理的原理,安装与启动命令,以及显存规划方法。
Run an LLM on phone offline: five routes from AI Edge Gallery to MLC Chat and Termux, how big a model your RAM allows, and tips on heat, battery and privacy.
手机本地大模型离线运行指南:从 Google AI Edge Gallery 到 MLC Chat、Termux 的五条路线,内存能放下多大的模型,以及发热、电量和隐私的注意事项。
Using an AMD GPU for local LLMs? See Ollama’s support list, choose ROCm or Vulkan, compare RX 7900 XTX and 9070 XT bandwidth, and fix common errors.
Dual GPU LLM build guide: two used RTX 3090s for 48GB, what fits, PCIe, PSU, cooling, llama.cpp and Ollama splitting, derived cost, and when one card is better.
What is GGUF? Learn the GGUF format, how to install and run llama.cpp, how Q4_K_M and other quantizations change file size, and how it relates to Ollama.
AMD 显卡跑本地大模型怎么配?对照 Ollama 官方支持列表,讲清 ROCm 与 Vulkan 后端、RX 7900 XTX 与 9070 XT 的显存带宽、环境变量和排错。