syv-ai/HyperQwen

Qwen3.8-27B 在单张 24 GB 消费级 GPU 上跑出 1,035 tok/s 聚合解码

HyperQwen 在用户实际拥有的 GPU 上快速服务大 Qwen 模型，是固定 vLLM 的补丁系列加模型准备流水线，专注 Qwen3.8-27B 于单块消费级 GPU，提供 OpenAI 兼容 API，分单用户与批处理模式；作者报告 RTX 3090 上单流 127 tok/s、64 并发聚合约 1035 tok/s、回引提示 381 tok/s，并支持 150k 上下文。其实现包括补丁、重量化头、校准草稿词汇、从提示起草的投机解码、KVarN 低比特 KV 缓存与 int8 Marlin GEMM 层选择。部署用 Docker Compose 选单用户或批处理配置启动，首次拉取镜像并重量化模型到 ./models，默认仅本机可访问，设密钥和绑定地址后才对外；batch 适合 API 后端，single 适合聊天。可移植部分（补丁、KVarN、int8 Marlin、SSE keep-alive）已通用，但 int8-QK 注意力内核、草稿词汇表与 DFlash2 均围绕此模型，sm80 有推测故障，多卡并行形状受限；项目征集各 GPU 基准测试补充数据。

1. 1单卡 3090 批量 64 并发达 ~1,035 tok/s 解码
2. 2DFlash2 从 prompt 抽草稿，引用场景 381 tok/s
3. 3KVarN 4/2-bit KV 缓存撑起 240k 上下文

为什么重要　展示了 vLLM 补丁 + 推测解码 + KV 压缩能把 27B 模型在消费级显卡上推到什么吞吐，直接影响推理部署选型适合　需要在消费级 GPU 上部署 27B 级模型的推理工程师与 AI 基础设施团队

来源

github.com

发布

2026/10/19

作者

syv-ai

Star

2.2k