youssofal/MTPLX

MTPLX 用模型自带 MTP 头做投机解码，Mac 上实测解码提速最高 2.24x

MTPLX 是 Apple Silicon 的 macOS 原生应用/CLI，以模型自带 MTP 头进行精确拒绝采样加残差校正的投机解码，支持 Qwen 3.8 Flash Next、Qwen 3.8 27B、Ternary Bonsai 2 27B 及 Qwen 3.6/3.5、Gemma 4；作者报告在 M5 Max 上 Flash Next 达 125.8 tok/s、Bonsai 达 64.4 tok/s，提速约 2.24x。通过 DMG、Homebrew 或 pip 安装，mtplx start 在本地提供 OpenAI/Anthropic 兼容 API，可选 embeddings/rerank；模型按内存自动分档推荐，Flash Next 的 n-gram 表从 SSD 流式读取，上下文 262,144 tokens。Forge 能把 Hugging Face 仓库转成实测更快且精确的 MTP 模型，mtplx inspect 区分 verified/unverified 且拒绝静默回退。局限是 MLX-native、仅 Apple Silicon，再分发需产品内保留 Powered by MTPLX 署名，Linux 用 vLLM。

1. 1复用模型自带 MTP 头做投机解码，不额外占内存的 draft 模型
2. 2Flash Next 支持 262,144 token 上下文与 261,120 token prompt 解码
3. 3brew 安装后 mtplx start 起服务，OpenAI 与 Anthropic API 均可接入

为什么重要　在 Apple Silicon 上本地跑 125B MoE，并把服务接到 OpenAI 兼容客户端，直接决定本地 agent 的可用延迟适合　在 Mac 上做本地推理与 agent 落地的工程师

来源

github.com

发布

2026/10/10

作者

youssofal