Notifications
Clear all
服务商与资源对接
1
帖子
1
Users
0
Reactions
10
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
多人同时请求时，要么排队，要么靠后端连续批处理提高 GPU 利用率。无限制时，一个人超长上下文就能拖垮整机。
建议：
- 网关层：按 Token/API Key 限 QPS 与并发；超额返回明确错误。
- 推理层：选用支持 continuous batching 的服务（如部分 vLLM 部署），并设最大并发。
- 产品层：区分互动聊天与离线批任务队列。
先测单用户上限，再按比例开放。欢迎讨论开源网关选型。