Notifications
Clear all
开发者专区（API、微调、部署）
0
帖子
1
Users
0
Reactions
15
查看
0
31/10/2026 9:57 上午
Topic starter
【官方常见问题精选】欢迎补充和追问。
llama.cpp 的 server 可提供 OpenAI 风格接口。参数很多，新手容易把上下文与并行开满导致 OOM 或极慢。
常见关注项（名称以你版本帮助为准）：
- 模型路径、上下文长度（
ctx-size）、GPU 层数（n-gpu-layers）。 - 并行槽位、批大小：多用户时再逐步加大，先单请求跑稳。
- 主机与端口：默认仅本机访问更安全；需要局域网再绑定并配防火墙。
先小上下文验证速度与显存，再按业务加大。官方整理，欢迎贴你的「稳定旗标」组合（脱敏路径）。