Notifications
Clear all
模型使用与评测
1
帖子
1
Users
0
Reactions
11
查看
Topic starter
31/10/2026 9:19 上午
【官方常见问题精选】欢迎在下方补充你的经验或追问。
排行榜可以参考，但不要全信。榜单题目可能被模型“见过”，而且你的任务不一定和榜单一致。更靠谱的办法是自己做一个小测试集。
一个简单的自测流程：
- 收集 20～50 个你真实会问的问题：比如你常写的邮件、常翻译的文本、常用的代码任务、常查的知识点。
- 固定条件：同样的提示词、同样的温度（比如较低的
temperature）、同样的上下文设置，这样结果才可比。 - 盲评：把不同模型的回答打乱顺序，自己打分，避免“先入为主”。
- 记录：准确性、是否编造事实、语言是否自然、指令遵循、速度。
- 同时比较量化版本：同一个模型的 Q4 和 Q8 可能差异不大，也可能很大，值得测一下。
一些注意点：
- 模型对提示词模板（chat template）很敏感，用错模板会让效果大打折扣，先确认工具使用了正确的模板。
- 小模型更容易编造事实，涉及事实性问题要配合检索（RAG）或自己核实。
- 一次测试结果有随机性，重要的对比建议多跑几次。
- 速度也是体验的一部分，每秒输出多少字符是否能接受，要看自己的使用习惯。
你们有什么好用的测试题或评测方法？欢迎分享。