本地大模型 API 服务搭建:把 Ollama 或 llama.cpp 变成兼容 OpenAI 的接口
本地大模型 API 服务搭建指南:把 Ollama 或 llama-server 变成兼容 OpenAI 的接口,用 curl 和 Python 测试,并在局域网里安全地开放访问。
本地大模型 API 服务搭建指南:把 Ollama 或 llama-server 变成兼容 OpenAI 的接口,用 curl 和 Python 测试,并在局域网里安全地开放访问。
vLLM 教程:什么时候该用 vLLM 或 SGLang 而不是 Ollama,PagedAttention 与连续批处理的原理,安装与启动命令,以及显存规划方法。
GGUF 是什么?一篇讲清 GGUF 格式、llama.cpp 的安装与运行、Q4_K_M 等量化的体积差异,以及它和 Ollama 的关系,附官方数据。
LM Studio 教程:从安装、搜索下载模型、选量化版本,到设置上下文、对话文档、开启 OpenAI 兼容接口,新手一篇学会,不用命令行。