AI 研究助理

基于站内最新资料，回答 AI 前沿问题

回答带出处引用，支持多轮追问，当前页面内容会作为上下文

快速响应
AI 前沿跟踪
今日首页重点内容GitHub 趋势榜
领域
学术研究
大模型
具身智能
AI 基础设施
智能体 · Skill · MCP
机器人
多模态
自动驾驶
数据 / MLOps
AI 硬件
安全对齐
综述与报告
论文大模型重点开源MoE智能体编码

IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

查看原文（PDF）
AI 解读已生成 · AI 生成，数字以原文为准
AI 全文总结值得深入基于论文全文 5.1 万字 · 完整阅读

开源 320B/15B激活 MoE 模型 IQuest-Q1 发布，主打 CLI 多 harness 后训练与长程任务

IQuest-Q1是IQuest Research开源的稀疏MoE代理基础模型（320B总参数、15B激活），面向CLI智能体。训练分三阶段：预训练采用Stable SplitNorm、Muon与μP，并以两阶段课程提升代码比例；预训练与中训练共29T tokens，中训练扩展多域数据和上下文；后训练以多scaffold多版本SFT、领域RL与MOPD整合四个frozen专家，再经模型合并缓解参数冲突。任务合成覆盖通用、推理、编码与网络安全，用环境清理、执行期检查和轨迹审计防奖励黑客。评测中，DeepSWE v1.1得64.6，超过GLM-5.3-Flash、低于Claude Opus-5；CyberGym得84.5；通用推理如GPQA Diamond亦有竞争力。模型还参与人工监督的迭代开发，辅助后继版本改进。局限为纯文本输入、输出需人工审查、工具调用依赖IQuest格式。

  1. 1架构：88 层、3:1 SWA/FA 混合注意力、部分 RoPE
  2. 2后训练：多 harness RL、4 位专家 MOPD 与模型合并
  3. 3成绩：DeepSWE v1.1 64.6、GPQA 93.3、Terminal-Bench 3.0 仅 17.9

为什么重要　对做 agentic RL 与 CLI 工具链的团队，公开了 320B 模型的多阶段训练配方、防奖励黑客与 TITO 基础设施，可直接借鉴。适合　做 agentic 模型训练/评测、CLI 工具链、RL 基础设施的工程师

来源
arxiv.org
发布
2026/10/23

中文（AI 翻译）

我们提出 IQuest-Q1，一个稀疏 Mixture-of-Experts (MoE) 智能体基础模型，总参数量 320B（激活 15B）。IQuest-Q1 通过三阶段流程开发：（1）稳定高效的预训练，结合 Stable SplitNorm、Muon 和 muP，并采用两阶段课程，第二阶段增加编码数据混合，保留安全与最优学习率之间的宽稳定裕度；（2）细粒度 mid-training，扩展跨领域和格式的数据混合，并逐步延长上下文；（3）多 scaffold 与多版本 post-training，结合 SFT、领域专用 RL 和 MOPD，跨各种 scaffold 整合互补训练信号并增强智能体编码能力。

此外，模型合并将不同专家和不同阶段的检查点组合起来，同时缓解其参数更新之间的冲突。由此得到的 IQuest-Q1 在编码和通用任务上均展现出能力。我们以开源模型形式发布 IQuest-Q1，以支持社区研究与开发。

原文

We present IQuest-Q1, a sparse Mixture-of-Experts (MoE) agentic foundation model with 320B total parameters (15B activated).

IQuest-Q1 is developed through a three-stage process: (1) stable and efficient pre-training, combining Stable SplitNorm, Muon, and muP with a two-stage curriculum whose second stage increases the coding-data mixture, preserving a wide stability margin between safe and optimal learning rates; (2) fine-grained mid-training, expanding the data mixture across domains and formats and progressively extending the context; and (3) multi-scaffold with multi-version post-training, combining SFT, domain-specialized RL, and MOPD across various scaffolds to integrate complementary training signals and strengthen agentic coding capabilities.

Furthermore, model merging combines different experts and checkpoints from different stages while mitigating conflicts among their parameter updates.

The resulting IQuest-Q1 demonstrates capabilities in both coding and general tasks. We release IQuest-Q1 as an open-source model to support community research and development.

29T

预训练 tokens

pre+mid 总量

240B+

SFT Stage1

从 mid-trained ckpt 初始化

50B+

SFT Stage2

为 RL 做准备

1.93×

缩放效率

vs Qwen3-MoE 风格基线

≈572B

CMS 激活

临界模型规模外推

注释 · 全部训练 token 数来自 §3.1 与 §4.3；效率为对比 Qwen3-MoE 风格基线。出自 §2.2,§3.1,§4.3

性能总览：展示 IQuest-Q1 与各基线在 8 个 agentic/reasoning 基准上的表现，具体分数见表 2。
后训练管线：展示 SFT、多 harness RL、MOPD 与模型合并如何组合。
展示 IQuest-Q1 从自然语言规格生成的前端应用，覆盖游戏世界、场景编辑与科学探索。
层数
88
隐藏维度
3,072
注意力头
Q/KV 48/8，头维128
滑动窗口
4,096
词表大小
160,000
MTP 配置
训练2独立；推理1递归×8

深度总结

1 / 8
4 专家
后训练管线· 流程

后训练 组合 SFT、多 harness RL、4 专家 术语解释Multi-Teacher On-Policy Distillation，从多个冻结专家在线蒸馏到统一学生模型。 与合并

  1. 01
    SFT Stage1

    从 mid-trained 检查点初始化，240B+ tokens，初始 LR 5×10−5，余弦衰减，掩码用户指令与工具观测。

  2. 02
    模型合并

    与训练交错，按参考 checkpoint 合并参数 delta，并做全局 ℓ2 范数校准。

  3. 03
    SFT Stage2

    50B+ tokens，初始 LR 1.5×10−5，为 RL 准备策略。

  4. 04
    多 harness RL

    共享策略在 Claude Code、Codex 等多版本 harness 上收集轨迹，GRPO 比较重复 rollouts。

  5. 05
    术语解释Multi-Teacher On-Policy Distillation，从多个冻结专家在线蒸馏到统一学生模型。 蒸馏

    从 4 个冻结专家模型蒸馏，clip 优势并优化长度归一化 surrogate。

  6. 06
    最终模型合并

    将专家与 术语解释Multi-Teacher On-Policy Distillation，从多个冻结专家在线蒸馏到统一学生模型。 checkpoint 合并为 IQuest-Q1，缓解参数更新冲突。

注释 · 对应 Figure 6；模型合并在多阶段间穿插。出自 §4.3–§4.6