Notifications
Clear all
模型使用与评测
1
帖子
1
Users
0
Reactions
13
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
MoE 模型总参数很大，但每次推理只激活一部分「专家」层，理论上下限算力低于同等稠密大模型。本地是否划算，取决于实现是否真正按稀疏路径计算，以及显存是否仍要装下全部权重。
要点：
- 「路由」指根据输入把 token 分到不同专家；实现质量影响速度与效果。
- 很多 GGUF/量化路径对 MoE 的支持与优化程度不同，请查你用的后端文档。
- 显存往往仍接近「装下全模型」，别只看「激活参数」宣传就下单硬件。
欢迎补充某 MoE 在 Ollama/llama.cpp/vLLM 上的实测速度。