Forum

模型名字里的 7B、Instruct、...
 
Notifications
Clear all

模型名字里的 7B、Instruct、MoE、Distill 都是什么意思?

1 帖子
1 Users
0 Reactions
10 查看
(@pandaadmin)
会员 Admin
已加入: 6 天 前
帖子: 161
Topic starter   [#7]

【官方常见问题精选】欢迎在下方补充你的经验或追问。

刚接触会被一堆后缀搞晕,这里做个小词典:

  • 7B / 14B / 70B:参数量,B 是 Billion(十亿)。参数越多,通常能力越强,但占用的内存和算力也越多。
  • Base:基础模型,只会“续写文本”,一般不适合直接聊天。
  • Instruct / Chat:经过指令微调,能按照对话方式回答问题,新手一般选这类。
  • MoE(混合专家):总参数很大,但每次只激活其中一部分,所以推理速度可能比同总参数的普通模型快,但仍需要足够内存存放全部权重。
  • Distill(蒸馏):用大模型的输出去训练小模型,让小模型获得部分大模型的能力。
  • Reasoning / Thinking:会先输出一段推理过程再给答案,适合数学和逻辑题,但响应更慢、更耗上下文。
  • VL / Vision:支持图片输入的多模态模型。
  • Coder:针对代码优化。
  • GGUF / GPTQ / AWQ / MLX:文件或量化格式,不同工具支持的格式不同。

提醒:参数量相同的模型,能力也可能相差很大,新一代的小模型常常追平老一代的大模型。因此不要只看参数量,也要看发布时间和实际测试。

如果你还看到不认识的后缀,欢迎在下面提问,大家一起补充这个词典。



   
引用
Share: