Notifications
Clear all
本地部署与硬件算力
1
帖子
1
Users
0
Reactions
13
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
一张卡很难同时舒服地服务很多大上下文会话。需要排队、限额与可见的使用规范。
可行做法：
- 用队列或简单预约表；限制并发与最大
max_tokens/上下文。 - 提供「小模型随时用、大模型预约用」两级服务。
- 容器或用户隔离，避免有人占满显存导致全员 OOM。
技术上可加 API 网关限流；管理上公开配额更重要。欢迎分享实验室调度方案。