JustVugg/colibri

纯 C 引擎 colibri 让 744B MoE 在 25 GB 笔记本上以磁盘流式推理运行

colibri 是本地 MoE 推理引擎，让无 GPU 的普通 CPU、RAM 和磁盘机器运行 744B 级 GLM：dense 权重常驻 RAM，routed experts 留在磁盘，按 router 需求读取，并用缓存与预取学习热专家。它用纯 C 单文件引擎支持 GLM、Kimi、DeepSeek、Qwen、图像与决策模型，通过 START-HERE 脚本检测硬件、推荐模型、构建或下载引擎、续传权重并启动仪表盘及 OpenAI/Anthropic API；每层执行路由、合并、定位、重叠与学习，热专家可升入 RAM 或显存，System One 端点输出可阈值化概率。CPU、Vulkan、CUDA、Metal 只改变权重放置，不改变路由与精度；官方称该模型在多张 NVIDIA 卡可达 9.0-9.2 tok/s，最低 8 GB RAM 可从小模型起步。项目以 Apache 许可发布且标为 Beta，瓶颈是磁盘带宽，部分模型需转换并遵守各自许可。

1. 1GLM-5.2 仅 ~11 GB 路由专家逐 token 变化，其余留盘按需读
2. 225 GB 笔记本冷启动 0.05 tok/s，6×RTX 5090 全驻留达 9.2 tok/s
3. 3Kimi K3 2.8T 参数 1.56 TB 下载，约 9.4 s/token

为什么重要　MoE 模型部署不再依赖大显存集群；对数据闭环工程师意味着可在本地工作站跑千亿级模型做标注/评估适合　需要在本地/边缘跑大 MoE 做离线推理、标注、评测的基础设施工程师

来源

github.com

发布

2026/10/24

作者

JustVugg

今日新增

+192