Notifications
Clear all
本地部署与硬件算力
1
帖子
1
Users
0
Reactions
13
查看
Topic starter
31/10/2026 9:57 上午
【官方常见问题精选】欢迎补充和追问。
容器便于复现环境，但 GPU 透传、驱动版本与持久化模型卷是三大坑。K8s 更适合团队多副本与调度，个人单机往往 Docker Compose 就够。
清单：
- 安装匹配的 NVIDIA Container Toolkit（或对应 AMD/其他方案），先
nvidia-smi在容器内可见。 - 模型与缓存挂到数据卷，避免每次重建镜像都重新下载。
- 资源 limit：显存不能像 CPU 那样简单「超卖」，并发要按实测设。
先单容器跑稳，再谈编排。欢迎分享 compose 片段（去掉密钥）。