Dify 对接本地大模型（Windows 实操） - dify本地部署教程windows

Dify 对接本地大模型（Windows 实操）

作者microadmin

这是一篇面向 Windows 用户的「dify本地部署教程windows」实操：先用 Docker Desktop 把 Dify 跑起来，再通过 Ollama 把本地大模型接进去，最后做一个能回答你自己文档的知识库应用，并通过 Dify 本地 API 给其他程序调用。全程不需要云端模型，数据留在你的电脑上。文章重点讲清楚大家最常卡住的一步——如何将本地大模型与dify关联起来，也就是那个地址到底该填什么。

核对说明：步骤按 Dify 1.x 自托管版与 Ollama 2026-11 的常见用法整理，界面文字可能随版本略有不同，以 Dify 官方文档 为准。内存占用为估算值，不是实测。

要点速览（更新于 2026-11-05）

  • Dify 用 Docker Desktop（WSL2 后端）运行；Ollama 直接装在 Windows 上。

  • 在 Dify 里填 Ollama 地址时用 http://host.docker.internal:11434，不要填 localhost。

  • 建议 16GB 内存起步，32GB 更从容；显卡决定能跑多大的模型。

  • Dify 1.x 的模型供应商以插件形式安装，先在插件市场装 Ollama 插件。

  • 做好之后，Dify 会为每个应用提供 API，可以当作本地 API 网关使用。

Dify 是什么，为什么要对接本地模型

Dify 是一个开源的大模型应用开发平台，可以用拖拽的方式搭建聊天助手、知识库问答、工作流和智能体，并统一管理提示词、模型和日志。它本身不提供模型，而是去调用各种模型供应商。默认情况下很多人接的是云端接口，但这意味着每一次提问、每一份上传的文档都要发到外部服务器。对于合同、财务、客户资料这类敏感内容，很多公司并不允许。

把 Dify 接到本地大模型之后，情况就不一样了：推理在你自己的显卡上完成，知识库存在本机的向量数据库里，没有按 token 计费，断网也能用。代价是需要自己准备硬件、自己维护，回答质量也取决于本地模型的大小。对个人学习、小团队内部工具和隐私要求高的场景，这个取舍通常是值得的。我们在 本地与云端 API 对比 和 本地大模型隐私 里有更系统的分析。

dify本地部署教程windows：硬件与软件清单

Windows 运行 Dify 加本地模型的内存占用估算
图 2：内存占用量级（按公开资料估算，非实测）
项目 最低 推荐 说明
系统 Windows 10 22H2 / Windows 11 Windows 11 需开启虚拟化与 WSL2
内存 16GB 32GB 以上 Docker 与模型共享内存
显卡 无独显也能跑小模型 8–16GB 显存 N 卡 参考 8GB 显存能跑什么
硬盘 50GB 可用 200GB NVMe 镜像、模型、向量库都占空间
软件 Docker Desktop、Git、Ollama 同左 Ollama 安装见 Ollama 安装教程

如果你还没装过 WSL2 和 Docker，可以先看我们的 Windows WSL2 与 Docker 跑大模型。Dify 官方给出的最低要求是 2 核 CPU、4GB 内存，但那只是 Dify 本身，加上模型和向量检索，16GB 是比较实际的起点。

第一步：用 Docker Desktop 安装 Dify

  1. 安装 Docker Desktop，设置里确认使用 WSL2 后端，并在 “Resources → WSL integration” 中开启。
  2. 打开 PowerShell，执行 git clone https://github.com/langgenius/dify.git，然后 cd dify\docker。
  3. 复制环境文件：copy .env.example .env。初次使用不必改动，端口冲突时再改 EXPOSE_NGINX_PORT。
  4. 启动：docker compose up -d。第一次会拉取十几个镜像，国内网络可在 Docker Desktop 设置里配置镜像加速。
  5. 浏览器打开 http://localhost/install，创建管理员账号，即可进入 Dify 控制台。

如果 80 端口被 IIS 或其他软件占用，把 .env 里的 EXPOSE_NGINX_PORT 改成 8080，然后访问 http://localhost:8080。

第二步：如何将本地大模型与dify关联起来

Windows 上 Dify 与 Ollama 的连接架构示意
图 1：Dify 在 Docker 里，Ollama 在宿主机，用 host.docker.internal 互通（团队整理）

这是整篇文章最关键的一步。Dify 跑在 Docker 容器里，容器里的 localhost 指的是容器自己，而不是你的 Windows 电脑，所以填 http://localhost:11434 一定连不上。正确做法如下：

  1. 让 Ollama 监听所有地址。 在 Windows “系统环境变量”里新建 OLLAMA_HOST，值为 0.0.0.0，然后从托盘退出并重新打开 Ollama。
  2. 拉一个模型。 例如 ollama pull qwen3:8b，再拉一个嵌入模型用于知识库：ollama pull bge-m3。
  3. 在 Dify 安装 Ollama 插件。 进入右上角头像 → 设置 → 模型供应商，在插件市场搜索 Ollama 并安装。
  4. 添加模型。 模型名称填 qwen3:8b（与 ollama list 显示完全一致），基础 URL 填 http://host.docker.internal:11434，类型选 LLM，上下文长度按模型实际支持填写。
  5. 再添加嵌入模型。 名称 bge-m3，类型选 Text Embedding，地址同上。
  6. 在“系统模型设置”中把默认推理模型和嵌入模型都切换成刚添加的本地模型。

保存时如果提示连接成功，说明 Dify Ollama 对接完成。如果保存时一直转圈，多半是地址或防火墙的问题，可以先在浏览器里打开对应地址，看到 Ollama 正在运行的提示再回来保存。之后在任意应用里都可以选择这个本地模型。

第三步：做一个本地知识库应用

  1. 进入“知识库”，上传 PDF、Word 或 Markdown 文件，分段方式先用默认的自动分段。
  2. 索引方式选“高质量”，嵌入模型选 bge-m3。
  3. 新建“聊天助手”应用，在上下文中添加刚才的知识库，模型选 qwen3:8b。
  4. 在提示词里写清楚角色与“只根据资料回答，不知道就说不知道”。
  5. 右侧预览窗口提问，检查引用来源是否正确。

RAG 的原理和调参技巧，可以看 本地 RAG 知识库；如果你在比较 Dify 和 RAGFlow，请看 Dify 与 RAGFlow 本地部署。

第四步：使用 Dify 本地 API

每个 Dify 应用右上角都有“访问 API”。生成 API 密钥后，你的其他程序可以通过 http://localhost/v1/chat-messages 调用这个应用，Dify 会帮你处理知识库检索、提示词和会话记忆。这比直接调用 Ollama 的原始接口多了一层编排能力，适合给内部系统、企业微信机器人或脚本使用。需要注意：API 密钥等同于访问权限，不要写进公开代码；如果要给局域网其他电脑使用，把 localhost 换成本机 IP，并在 Windows 防火墙放行端口。想直接用 OpenAI 兼容接口，可以参考 本地大模型 API 服务。

常见报错排查

Dify 连接本地模型失败的常见原因
图 3：连接失败原因示意
报错或现象 原因 解决办法
Connection refused / 连接超时 填了 localhost 改为 host.docker.internal:11434
仍然连不上 Ollama 只监听 127.0.0.1 设置 OLLAMA_HOST=0.0.0.0 后重启 Ollama
局域网其他电脑连不上 防火墙拦截 放行 11434 与 Dify 端口
model not found 模型名与 ollama list 不一致 复制完整名称，包括冒号后的标签
回答很慢或卡死 内存不足，WSL 占用过高 在 .wslconfig 限制或调大内存，换更小模型
知识库检索不到内容 嵌入模型没设置或分段太大 检查系统模型设置，缩小分段长度
docker compose 拉取失败 网络问题 配置镜像加速后重试

内存不足是 Windows 上最常见的隐性问题。WSL2 默认最多使用一半物理内存，可以在用户目录下的 .wslconfig 中设置 memory=12GB 之类的上限，避免 Docker 和 Ollama 互相抢内存。显存溢出的处理方法见 大模型爆显存怎么办。

本地模型怎么选

不同显存适合的模型差异很大。下面是在 Dify 里做聊天和知识库时的经验搭配，模型名称以 Ollama 库中实际存在的标签为准：

显存 推理模型建议 嵌入模型 体验
无独显 / 集显 3B–4B 量化模型 bge-m3 能用，速度慢，适合试流程
8GB 7B–8B Q4 bge-m3 日常问答够用
12–16GB 14B Q4 bge-m3 知识库回答明显更稳
24GB 32B Q4 bge-m3 或更大嵌入模型 接近中等云端模型

如果你还不确定该选多大，先用 模型大小选择器 算一下，再回到 Dify 里替换模型名称即可，应用本身不需要重建。

进阶：用工作流把本地模型串起来

跑通聊天助手之后，可以试试 Dify 的“工作流”。比如做一个“合同初审”流程：第一步用知识库检索公司模板条款，第二步让本地模型逐条比对上传的合同，第三步用一个小模型把结果整理成表格，最后输出给用户。每个节点都可以选择不同的本地模型，小任务用小模型，关键判断用大模型，这样能在有限显存里兼顾速度和质量。工作流还能接入 HTTP 请求节点，调用你内部系统的接口，把本地大模型变成真正能干活的自动化工具。

Windows 上的几点经验

  • Ollama 不要装进 Docker。 在 Windows 上直接安装 Ollama 能更好地使用 NVIDIA 显卡，容器里跑 GPU 还要额外配置。
  • 先用 7B–8B 模型验证流程，跑通后再换 14B 或 32B，避免一开始就卡在内存上。
  • 升级 Dify 前先备份 docker/volumes 目录，里面是数据库、知识库和上传的文件。
  • 安全护栏。 对外开放的应用建议加上内容审核，参考 本地护栏模型 和 提示词注入与越狱的区别。知识库里的文档也可能夹带恶意指令，这是 RAG 应用特有的风险。

常见问题（FAQ）

Dify 一定要用 Docker 吗？

官方推荐 Docker Compose 部署，Windows 上最省事。源码部署也可以，但需要分别装 Python、Node、PostgreSQL、Redis 等，新手不建议。

为什么 Dify 里填 localhost 连不上 Ollama？

因为 Dify 运行在容器里，容器内的 localhost 是容器本身。Windows 上要填 host.docker.internal，并让 Ollama 监听 0.0.0.0。

没有独立显卡能用吗？

能，但只适合 3B–8B 的小模型，速度较慢。显存与模型大小的关系见我们的显存指南。

可以用 LM Studio 代替 Ollama 吗？

可以。LM Studio 提供 OpenAI 兼容接口，在 Dify 中安装 “OpenAI-API-compatible” 插件，地址填 http://host.docker.internal:1234/v1 即可。

Dify 本地 API 和 Ollama API 有什么区别？

Ollama API 只负责模型推理；Dify API 调用的是你编排好的应用，包含知识库检索、提示词和会话管理。

完全离线可以用吗？

镜像和模型下载完成后，Dify 与 Ollama 都可以离线运行，但插件安装需要提前联网完成。离线使用要点见本站离线 AI 指南。

搭建遇到问题？

欢迎到社区贴出你的报错，或发邮件到 admin@microaione.com。深圳团队可以帮你远程看看配置。

参考资料：Dify 官方文档、Dify GitHub、Ollama FAQ、本站 离线 AI 是否需要联网、最佳离线本地 AI 应用。

类似文章