大模型主机供电与散热:电源选型、功耗限制与风道规划
大模型主机供电与散热指南:如何给 AI 电脑选电源、用 nvidia-smi 限制功耗、规划风道和噪音,避开让显卡主机宕机的常见错误。
大模型主机供电与散热指南:如何给 AI 电脑选电源、用 nvidia-smi 限制功耗、规划风道和噪音,避开让显卡主机宕机的常见错误。
本地大模型 API 服务搭建指南:把 Ollama 或 llama-server 变成兼容 OpenAI 的接口,用 curl 和 Python 测试,并在局域网里安全地开放访问。
本地微调显存需求详解:Unsloth 文档给出的 3B 到 70B 的 QLoRA 与 LoRA 显存下限、哪些因素会推高占用,以及训练爆显存时的调整手段。
MLX 和 llama.cpp 在 Mac 上有何区别:mlx-lm 与 GGUF 工具的安装、模型格式、内存限制,以及怎样选择。
Run an LLM on phone offline: five routes from AI Edge Gallery to MLC Chat and Termux, how big a model your RAM allows, and tips on heat, battery and privacy.
Using an AMD GPU for local LLMs? See Ollama’s support list, choose ROCm or Vulkan, compare RX 7900 XTX and 9070 XT bandwidth, and fix common errors.
Dual GPU LLM build guide: two used RTX 3090s for 48GB, what fits, PCIe, PSU, cooling, llama.cpp and Ollama splitting, derived cost, and when one card is better.
What is GGUF? Learn the GGUF format, how to install and run llama.cpp, how Q4_K_M and other quantizations change file size, and how it relates to Ollama.
手机本地大模型离线运行指南:从 Google AI Edge Gallery 到 MLC Chat、Termux 的五条路线,内存能放下多大的模型,以及发热、电量和隐私的注意事项。
AMD 显卡跑本地大模型怎么配?对照 Ollama 官方支持列表,讲清 ROCm 与 Vulkan 后端、RX 7900 XTX 与 9070 XT 的显存带宽、环境变量和排错。