Notifications
Clear all
模型使用与评测
1
帖子
1
Users
0
Reactions
11
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
公开榜单有参考价值，但和你的业务语料、语言、提示格式可能不一致。本地更建议「小而真」的评测集。
做法：
- 自建 30–100 条真实问题：含标准答案或评分要点；固定 temperature 与提示模板。
- 可用社区评测工具/脚本（如各类 lm-evaluation 生态、自定义 judge）做自动化，但 judge 模型本身也会偏。
- 分别测：正确性、拒答、格式遵循、延迟与显存。
换量化、换模板都可能改分数，对比时控制变量。官方整理，欢迎贴你的题库结构（脱敏）。