VecSzn/PolyStrata

10 个 MoE 大模型只需 8GB 显存即可本地推理，GLM 5.3 Flash 最大 114GB。

PolyStrata基于Strata，把Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Flint、Qwen3.6等大模型搬到普通PC本地运行，数据不出设备。Qwen3.8-Flash-Next沿用Strata原引擎，其余模型由PolyStrata自研，通过把专家拆分到GPU缓存、RAM和SSD查找表，CPU与GPU并行计算，并用MTP“先猜后检”加速回答约1.6-1.8倍。安装可让AI助手按docs/AI_SETUP.md自动选型，或Windows双击START-HERE.bat、Linux及Apple Silicon Mac运行setup.sh；启动后提供OpenAI兼容API和Anthropic /v1/messages。作者基准中，8GB RTX 4070笔记本上LFM2.5-24B-A2B写70-73 token/s、读3,590-3,620 token/s；与llama.cpp相比，PolyStrata读速可达2.7-3.5倍。GLM和DeepSeek需更大显存且仅Linux，多数模型及AMD支持为实验性，默认每次只处理一个请求。

1. 110 个大模型可跑在 8GB 显存笔记本，GLM/DeepSeek 需 32GB 卡
2. 224,576 专家每词只用 10 个，GPU 缓存热专家、RAM 全量
3. 3读提示比 llama.cpp 快 2.7-3.5 倍，写快 1.5-1.8 倍

为什么重要　对做本地推理和边缘 AI 硬件选型的人，这份材料给出异构 CPU-GPU-RAM-SSD 调度、推测解码和真实速度数据。适合　做本地推理、MoE 工程化或边缘 AI 硬件选型的工程师。

来源

github.com

发布

2026/10/24

作者

VecSzn

Star

464