Notifications
Clear all
开发者专区（API、微调、部署）
0
帖子
1
Users
0
Reactions
10
查看
0
31/10/2026 9:57 上午
Topic starter
【官方常见问题精选】欢迎补充和追问。
Transformer 推理会把历史 Key/Value 缓存起来（KV Cache），避免每步重算整段历史。上下文越长、层数与头数越多，KV 占用越大，常常和「权重显存」抢空间。
应对：
- 按需设置最大上下文，不要默认拉满。
- 关注后端是否支持 KV 量化、滑动窗口、缓存复用等特性（视实现而定）。
- 多路并发时，每路对话都有自己的 KV，显存近似「乘人数」。
这是长对话变慢、OOM 的核心原因之一。欢迎讨论你用的后端的 KV 优化开关。