Notifications
Clear all
开发者专区（API、微调、部署）
0
帖子
1
Users
0
Reactions
12
查看
0
31/10/2026 9:57 上午
Topic starter
【官方常见问题精选】欢迎补充和追问。
云厂商常宣传「前缀缓存」：固定的长系统提示只算一次。本地是否支持取决于后端：有的实现能复用相同前缀的 KV，有的每次重算。
实践：
- 把稳定的系统提示、工具说明放在前缀，变动的用户问题放后面，有利于缓存命中（若后端支持）。
- 不要每轮改系统提示；模板版本化管理。
- 本地即便没有计费意义上的 cache discount，减少重复预填充也能降延迟。
请查阅你用的 vLLM/llama.cpp/Ollama 版本文档。欢迎分享命中缓存后的延迟变化。