【每日热帖精选】V2EX 有位同学把公司「工单分类 / 报表摘要 / 字段抽取」这类高频、低难度任务，从云端 API 迁到本机 M1 Pro 32GB + llama.cpp + Qwen2.5-3B Q4_K_M。实测生成约 54 tok/s，prompt 解析能到几百 tok/s，内存大约 3GB，挂后台几乎无感；他们原先这类调用一个月 API 费大概两千块，粗算一年能对得上一台 Mac mini。讨论里更有价值的是「怎么用」而不是「跑分」：有人指出 2000 次/天如果能批处理，瓶颈变成吞吐，llama-server 多 slot 要自己找拐点；固定 system prompt 应用 prompt cache，比盲目换更大模型更划算；字段抽取务必上 GBNF/grammar 约束 JSON，否则小模型最容易在格式上翻车；再留一层大模型兜底做分层路由。也有同学反馈：接 Agent 客户端时系统提示词+工具定义太长，小模型 prefill 会崩，裸 API 反而顺很多。

实用补充：3B 适合分类、摘要、抽取，不适合当主力 coding agent。先把任务切成「小模型可格式化」的一批，再用本地 OpenAI 兼容接口改 base_url，比一上来换 70B 现实。

你团队里有没有已经把部分 API 换成本地小模型的？踩过哪些坑，欢迎聊聊。

来源： https://www.v2ex.com/t/1251179