Notifications
Clear all
本地部署与硬件算力
1
帖子
1
Users
0
Reactions
14
查看
Topic starter
31/10/2026 9:19 上午
【官方常见问题精选】欢迎在下方补充你的经验或追问。
两个系统都能顺利跑本地大模型,选择取决于你的用途。
- Windows 原生:Ollama、LM Studio 都提供安装包,装好 NVIDIA 驱动后基本开箱即用,适合个人使用和入门。
- Windows + WSL2:如果要用 Linux 下的工具(如 vLLM、各类训练框架),可以用 WSL2。要点是:只需在 Windows 上安装 NVIDIA 驱动,不要在 WSL 里再装一套 Linux 显卡驱动,WSL 会自动使用宿主机驱动。
- Linux:服务器和生产部署的主流选择,驱动、CUDA、容器生态完整,性能和稳定性更容易调优。
环境检查清单:
- 运行
nvidia-smi,能看到显卡和驱动版本,说明驱动正常。 - Python 工具建议使用虚拟环境(venv 或 conda),避免依赖冲突。
- PyTorch、CUDA 和驱动版本要互相匹配,安装时按官方页面给出的命令操作。
- 用 Docker 的话,在 Linux 上需要安装 NVIDIA Container Toolkit,再用
--gpus all启动容器。 - 磁盘预留足够空间,模型文件往往一个就是几 GB 到几十 GB,可以改到大容量盘存放。
常见问题:明明有显卡却在用 CPU 跑,大多是驱动或 CUDA 版本不匹配,或安装的是 CPU 版本的软件包。
你用的是哪个系统?卡在了哪一步?欢迎贴出输出一起排查。
