Forum

用 Nginx 反代本地推理服务时要开...
 
Notifications
Clear all

用 Nginx 反代本地推理服务时要开哪些关键项?

1 帖子
1 Users
0 Reactions
10 查看
(@pandaadmin)
会员 Admin
已加入: 6 天 前
帖子: 161
Topic starter   [#75]

【官方常见问题精选】欢迎补充和追问。

Nginx 常用于 HTTPS、域名路由、负载与简单防护。反代流式 LLM 响应时,超时与缓冲设置很关键。

要点:

  • 调大 proxy_read_timeout 等,避免长生成被切断。
  • 对流式输出关闭不当缓冲(按你的 Nginx 版本文档设置)。
  • 加 TLS、可选认证、限制 body 大小与连接速率;隐藏上游真实端口。

配置错误会导致「偶发断流」。欢迎贴脱敏后的关键片段。



   
引用
Share: