【官方常见问题精选】欢迎在下方补充你的经验或追问。

大多数本地推理工具都提供与 OpenAI 接口格式兼容的服务，所以你的程序基本只需要改两处：base_url 和模型名。

• Ollama：服务默认监听本机 11434 端口，OpenAI 兼容地址通常是 http://localhost:11434/v1 。
• LM Studio：在界面里开启本地服务器，默认端口通常是 1234，地址形如 http://localhost:1234/v1 。
• llama.cpp：使用 llama-server -m model.gguf -c 8192 -ngl 99 --port 8080 启动，其中 -ngl 表示放到 GPU 的层数。
• vLLM：使用 vllm serve <模型名> 启动，默认端口通常是 8000。

Python 调用示例：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="local")
client.chat.completions.create(model="你的模型名", messages=[{"role":"user","content":"你好"}])

注意事项：

• api_key 本地服务一般不校验，随便填个非空字符串即可。
• 各家对流式输出、工具调用、结构化输出的兼容程度不完全一致，上线前请实测。
• 默认服务只监听本机。要给局域网用，需要修改监听地址，同时做好认证和防火墙，不要直接暴露到公网。
• 并发请求多时，Ollama 和 llama.cpp 有并发参数可调，高并发场景更适合 vLLM。

你在对接过程中遇到了什么坑？欢迎贴出报错一起看。