Notifications
Clear all
开发者专区（API、微调、部署）
0
帖子
1
Users
0
Reactions
15
查看
0
31/10/2026 9:57 上午
Topic starter
【官方常见问题精选】欢迎补充和追问。
推测解码用一个更小的「草稿模型」先猜后续 token，再由大模型一次性验证，从而在部分硬件与实现上提高生成吞吐。
现实预期：
- 不是所有后端/模型对都支持；配置错误可能无加速甚至更慢。
- 草稿模型要足够快且与目标模型「味道」接近，差异太大接受率低。
- 加速比高度依赖硬件与负载，任何「翻倍」宣传都应自己测。
优先保证主模型量化与 GPU offload 正确，再尝试高级加速。欢迎分享成功的草稿+目标组合。