arxiv.org·2026/10/26
面向公共管理、工业与航天等受监管场景,Aleph Alpha以Apache许可开源英德MoE模型Kolibri,总参数78.1B、每token激活3.46B,混合滑动窗口与全注意力。预训练、中训练与长上下文扩展共训练24T token,重点强化德语并由自有CC pipeline和合成数据补足;后训练先SFT再用覆盖推理、工具、指令、代码和检索的内部任务RL。评测中Kolibri Base整体英/德得分为81.1/81.5,在活跃参数更少的开放模型里领先,仅活跃参数明显更多的Nemotron 3 Super超过,同活跃参数的GLM-4.5 Air更低;官方称其位于英德质量与serving成本Pareto前沿,但外推至更长上下文时各任务表现不均。
为什么重要 开源 MoE 采用 hybrid attention 与德语强化数据,为多语言、低激活参数的工程部署提供了可对照的架构与训练配方。适合 关注 MoE 架构、多语言模型与 RL 数据闭环的模型工程师和训练基础设施团队。
本报告介绍了 Kolibri,这是一个英德混合专家 transformer,总参数量为 78.1B,每 token 激活参数量为 3.46B,并以开放权重形式在 Apache 2.0 许可下发布。我们构建 Kolibri 是为了主权和专用部署,特别关注德语以及公共管理、工业和航空航天等受监管领域。为支持这些场景,我们控制完整模型开发流程,包括数据、架构、训练基础设施、后训练和评估。
我们在预训练、中训练和长上下文扩展上共训练 Kolibri 24T tokens,其中按字节计算,德语占数据混合的 20% 以上。为达到这一占比,我们用自有管线从网络整理并合成生成超过 2T 德语 tokens,以补充德语数据集。后训练结合在精选德语和英语数据上的监督微调,以及在超过 1.2M 内部整理任务上的强化学习,这些任务覆盖推理、工具使用、指令遵循、代码和检索。
该模型每 token 激活其 4.4% 的参数,在本报告评估的开放模型中,它位于英语和德语质量与服务成本的 Pareto frontier。Kolibri 建立在 Kolibri Origin 之上,后者是一个较早迭代,已在规模上验证了我们的完整管线。两个模型都来自我们的 Model Factory,它通过版本控制工作流连接数据、实验、训练、评估和部署。
This report introduces Kolibri, an English-German mixture-of-experts transformer with 78.1B total parameters and 3.46B active parameters per token, released as open weights under the Apache 2.0 licence.
We built Kolibri for sovereign and specialised deployment, with a particular focus on German and on regulated domains such as public administration, industry, and aerospace.
To support these settings, we control the full model-development process, including data, architecture, training infrastructure, post-training, and evaluation.
We train Kolibri on 24T tokens across pre-training, mid-training, and long-context extension, with German accounting for more than 20% of the data mix by bytes.
To reach this share, we complement German datasets with more than 2T German tokens that we curate from the web with our own pipeline and generate synthetically.
Post-training combines supervised fine-tuning on curated German and English data with reinforcement learning on more than 1.2M internally curated tasks, which cover reasoning, tool use, instruction following, code, and retrieval.
The model activates 4.4% of its parameters per token, and among the open models evaluated in this report, it lies on the Pareto frontier of quality and serving cost in English and German.
Kolibri builds on Kolibri Origin, an earlier iteration that validated our full pipeline at scale.
Both models come from our Model Factory, which connects data, experimentation, training, evaluation, and deployment through version-controlled workflows.
材料化池
78 个数据集
德语占比
2T 德语 token
合成数据
即 4.8T tokens
自产管道
占总 token 35.7%
CC 去重
精确去重后文档
注释 · CC 管道从 308B 提取文档产出 14.9B 质量评分文档。出自 §2.3.2 / Table 8
EVIDENCE / METHODS
判断
术语解释质量与 serving cost 联合的最优前沿,表示没有更低成本的更高分模型。 是自建质量与 serving cost 的联合度量,不是纯分数排名
官方称 Kolibri 位于 术语解释质量与 serving cost 联合的最优前沿,表示没有更低成本的更高分模型。,基于 8 张 B200 最快配置下的 decoded bytes/s 与基准分数联合前沿。评估中 Nemotron 3 Super(120B 总、12B 激活)Overall EN 83.1 / DE 85.0 都更高,只是激活参数比 Kolibri 大。部署硬约束若为激活参数 <4B,Kolibri 更优;只追绝对精度则 Nemotron 3 Super 更合适。
注释 · Nemotron 3 Super 的 Overall EN/DE 均高于 Kolibri,但激活参数约 3.5×。出自 图 1 / §2.4.3
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。