mw00/project-maya

321B/748B MoE 可在本地 GPU 运行，2×H100 解码 123.7 tokens/s

Project Maya 让 GLM-5.3-Flash（321B）和 DeepSeek-V4.1-Flash-1017（748B）在自有 GPU 上私有运行，核心是把高频专家放 VRAM、次常用放 RAM、其余放 NVMe SSD 并按对话换入换出，同时测量硬件自调优。它由 Peasant Smith 主导，基于 Strata 和 llama.cpp 构建，支持 NVIDIA 单卡至多卡及实验性 AMD/Windows，提供 OpenAI/Anthropic 兼容 API、工具调用、图片、思考等级和多路并发；git clone 后运行 ./setup.sh 下载推荐量化模型并编译，启动本地网页聊天与监控。用户实测双 H100 最高 124 tokens/s；作者报告 GLM 量化保持 FP8 零样本精度 97.7% 以上，DeepSeek Maya-S 同下一 token 率 92.6%。还可 --calibrate 自调优、--parallel 并发、DFlash2 草稿与 KV streaming 长上下文，DeepSeek 引擎带对话槽持久化；局限是 AMD/Windows 实验性、DFlash2 非商用、启动几乎占满空闲 RAM、需快速 NVMe。

1. 1支持 GLM-5.3-Flash 321B 与 DeepSeek-V4.1-Flash-1017 748B 本地部署
2. 2Maya-S 量化保留 FP8 97.9% 零样本精度，83% 同 token
3. 3专家按热度放 GPU/RAM/NVMe SSD，32GB RAM 即可运行

为什么重要　把 300B+ MoE 推理从数据中心降到消费级 GPU，专家三层缓存、量化精度与实测速度对本地推理选型可直接借鉴。适合　做本地 MoE 推理、AI 硬件选型与推理基础设施的工程师

来源

github.com

发布

2026/10/20

作者

mw00