Notifications
Clear all
本地部署与硬件算力
1
帖子
1
Users
0
Reactions
6
查看
Topic starter
05/11/2026 10:12 上午
V2EX 有人分享了刚开源的 MiniMLX:面向 Apple Silicon 的 macOS 原生应用,基于 MLX,把模型搜索/下载(Hugging Face、ModelScope)、加载运行、OpenAI 兼容 API、菜单栏启停和服务监控放在一起。作者说重点测过 Qwen3.8 Flash Next、Qwen3.8 27B 等,也接了 MTP 加速;内存不够时会判断能否借助硬盘加载,并带简单性能测试页(首字延迟、prefill、生成速度、内存)。
楼里有人问能不能直接用 Ollama pull 下来的模型,作者回复:MLX 格式可以。也就是说它更像 oMLX 一类的 MLX 工作流,而不是 Ollama GGUF 的一键替代。
实用补充:Mac 用户如果已经在用 Ollama/llama.cpp,不必急着迁移;但如果你主要跑 MLX 量化、又想要带监控的桌面壳,这类工具值得试一下。选型时先确认模型是不是 MLX 格式,以及自己机器统一内存够不够——工具再漂亮也救不了 16GB 硬塞 27B 的物理账。
有没有已经在用 oMLX / MiniMLX / LM Studio 的朋友?三者你更认哪套日常体验?
来源: https://www.v2ex.com/t/1254370
