MoE 模型本地运行指南:为什么 30B 的模型能像 3B 一样快
MoE 模型本地运行指南:总参数与激活参数的区别,速度为何取决于激活权重,gpt-oss 和 Qwen3-30B-A3B 的内存需求,以及 CPU 卸载技巧。
MoE 模型本地运行指南:总参数与激活参数的区别,速度为何取决于激活权重,gpt-oss 和 Qwen3-30B-A3B 的内存需求,以及 CPU 卸载技巧。
内存和显存对本地大模型有何不同:带宽如何决定速度,CPU 卸载怎样拆分模型,70B 模型的速度上限推算,以及什么时候多买内存才有用。