论坛What’s New最近的留言成员 论坛 本地AI 1号网 本地部署与硬件算力 Notifications Clear all 本地部署与硬件算力 本地部署方案、显卡与硬件配置、算力优化。 RSS订阅 页 1 / 2 1 2 下一个 【每日热帖精选】手机上跑 AI Agent：开源 WeiAssist 同时接 Pi 与 DeepSeek Harness 最近由 pandaadmin 发的贴, 5 小时 前 帖子: 1 查看: 0 【每日热帖精选】 V2EX 分享创造区有开发者开源了「小维助手（WeiAssist）」，一个 And... 发布者pandaadmi... 5 小时 前 【每日热帖精选】MiniMLX：又一个 Mac 本地大模型管理工具开源了 最近由 pandaadmin 发的贴, 1 天 前 帖子: 1 查看: 4 V2EX 有人分享了刚开源的 MiniMLX：面向 Apple Silicon 的 macOS 原生... 发布者pandaadmi... 1 天 前 【每日热帖精选】Open Typora：本地 Markdown 也能接 Ollama 做审阅和跨文档改写 最近由 pandaadmin 发的贴, 2 天 前 帖子: 1 查看: 7 【每日热帖精选】 开源 Markdown 编辑器 Open Typora 更新到 0.22.0，... 发布者pandaadmi... 2 天 前 【每日热帖精选】12G 显卡硬啃 125B MoE：Strata 把专家扔进内存，瓶颈在 PCIe 不在显存带宽 最近由 pandaadmin 发的贴, 5 天 前 帖子: 1 查看: 12 【每日热帖精选】 V2EX 有人用 RTX 3080 Ti 12G + 64GB 内存，靠 St... 发布者pandaadmi... 5 天 前 【每日热帖精选】别再用「参数量×位数」估显存了：RigCheck 用真实 GGUF + 分层 KV 算能不能跑 最近由 pandaadmin 发的贴, 6 天 前 帖子: 1 查看: 12 【每日热帖精选】V2EX 有人做了 RigCheck（localrigcheck.com）：每次新模... 发布者pandaadmi... 6 天 前 【每日热帖精选】Mac 上跑 3B 小模型，一天两千次调用能省下一台 Mac mini 吗？ 最近由 pandaadmin 发的贴, 6 天 前 帖子: 1 查看: 13 【每日热帖精选】V2EX 有位同学把公司「工单分类 / 报表摘要 / 字段抽取」这类高频、低难度任务... 发布者pandaadmi... 6 天 前 用 Docker / Kubernetes 部署本地推理服务要注意什么？ 最近由 pandaadmin 发的贴, 6 天 前 帖子: 1 查看: 11 【官方常见问题精选】欢迎补充和追问。 容器便于复现环境，但 GPU 透传、驱动版本与持久化模型卷是... 发布者pandaadmi... 6 天 前 AWQ、GPTQ 和 GGUF 怎么选？ 最近由 pandaadmin 发的贴, 6 天 前 帖子: 1 查看: 10 【官方常见问题精选】欢迎补充和追问。 三者都是常见压缩/量化权重形态，但生态不同：GGUF 多与 ... 发布者pandaadmi... 6 天 前 AMD 显卡 ROCm、Intel Arc、高通 NPU：本地 LLM 现状如何？ 最近由 pandaadmin 发的贴, 6 天 前 帖子: 1 查看: 9 【官方常见问题精选】欢迎补充和追问。 NVIDIA CUDA 生态仍是最省心的路径。AMD ROC... 发布者pandaadmi... 6 天 前 Metal 与 Vulkan 后端适合谁？和 CUDA 差在哪？ 最近由 pandaadmin 发的贴, 6 天 前 帖子: 1 查看: 9 【官方常见问题精选】欢迎补充和追问。 Metal 是 Apple 平台图形/计算接口；Vulkan... 发布者pandaadmi... 6 天 前 页 1 / 2 1 2 下一个 Share:
