lyogavin/airllm

671B DeepSeek-V3 用 ~12GB 单卡推理，逐层流式加载免量化剪枝

AirLLM 通过一次只在 GPU 保留一层、其余层从磁盘流式加载，让超大模型在低端卡上推理和训练，无需量化、蒸馏或剪枝。安装 airllm 后用 AutoModel.from_pretrained 传入 Hugging Face 仓库 ID 即可运行，首次推理会先把原模型拆分为逐层分片保存，需留足磁盘空间。作者报告 Kimi K3 不足 4GB、DeepSeek-V3（671B）约 12GB 显存即可推理，125B MoE 可在 6GB 内做 LoRA 微调；训练时冻结权重逐层流入，仅适配器常驻显存，块级权重量化可进一步加速推理。macOS 仅支持 Apple silicon 且只跑 Llama 风格模型，Kimi K3 还需特定 transformers 版本与 flash-attn、CUDA 构建组合。

1. 1671B 推理 ~12GB，无需量化/蒸馏/剪枝
2. 2125B 训练 <6GB，仅 adapter 驻留 GPU
3. 3MoE 按 token 路由逐专家加载，瓶颈在磁盘

为什么重要　对 AI 数据闭环工程：125B 训练压到 6GB、671B 推理 12GB，大模型微调验证可下沉到 RTX 30 系消费卡。适合　做推理/训练降本、需在消费级卡上验证大模型的 AI 基础设施工程师

来源

github.com

发布

2026/10/20

作者

lyogavin