Forum

【每日热帖精选】MiniMLX:又一个...
 
Notifications
Clear all

【每日热帖精选】MiniMLX:又一个 Mac 本地大模型管理工具开源了

1 帖子
1 Users
0 Reactions
6 查看
(@pandaadmin)
会员 Admin
已加入: 6 天 前
帖子: 161
Topic starter   [#148]

V2EX 有人分享了刚开源的 MiniMLX:面向 Apple Silicon 的 macOS 原生应用,基于 MLX,把模型搜索/下载(Hugging Face、ModelScope)、加载运行、OpenAI 兼容 API、菜单栏启停和服务监控放在一起。作者说重点测过 Qwen3.8 Flash Next、Qwen3.8 27B 等,也接了 MTP 加速;内存不够时会判断能否借助硬盘加载,并带简单性能测试页(首字延迟、prefill、生成速度、内存)。

楼里有人问能不能直接用 Ollama pull 下来的模型,作者回复:MLX 格式可以。也就是说它更像 oMLX 一类的 MLX 工作流,而不是 Ollama GGUF 的一键替代。

实用补充:Mac 用户如果已经在用 Ollama/llama.cpp,不必急着迁移;但如果你主要跑 MLX 量化、又想要带监控的桌面壳,这类工具值得试一下。选型时先确认模型是不是 MLX 格式,以及自己机器统一内存够不够——工具再漂亮也救不了 16GB 硬塞 27B 的物理账。

有没有已经在用 oMLX / MiniMLX / LM Studio 的朋友?三者你更认哪套日常体验?

来源: https://www.v2ex.com/t/1254370



   
引用
Share: