博客AI 硬件推理加速Trainium视频生成自回归扩散
A kernel-centric path to real-time video generation on Trainium
AI 解读已生成 · AI 生成，数字以原文为准
Reactor 与 AWS Neuron 用 kernel 级定制，让 Rolling Forcing 在 Trainium 上实时出帧
面向世界模型对实时交互视频的需求，Reactor 与 AWS Neuron Science 在 Trainium 上以 Rolling Forcing 为验证管线，优化自回归扩散模型。团队用 Neuron Kernel Interface 编写硬件内核，应对动态形状、异常访存与滚动 KV 缓存，并融合 RoPE、缓存拷贝、attention 转置；再以 SP 与 TP 混合分片长序列自注意力，把 diffusion 与 cache update 的公共组件批处理。单颗 Trainium2 端到端运行后，官方称达到超过 16 fps 的实时播放门槛，VAE 解码器获 8.25 倍加速，方法可推广到同类实时流式模型。
- 1选型 Rolling Forcing，可稳定生成 30 秒视频且体积相对小
- 2硬指标是超过 16 fps，迟到一帧即破坏交互体验
- 3三类瓶颈：动态 shape、异常访存、KV cache 管理
为什么重要 实时交互视频的瓶颈已从模型质量转到 kernel 与 KV cache 管理，这套自底向上路径可迁移到其他长序列流式推理负载适合 做推理基础设施、kernel 优化与实时多模态部署的工程师
硬件平台AWS Trainium
目标帧率超过 16 fps
视频长度30 秒
优化方法kernel 级自底向上
- 来源
- amazon.science
- 发布
- 2026/09/25
- 产品
- Rolling Forcing 视频生成模型
- 发布方
- Reactor 与 Amazon Neuron Science
- 生成时长
- 30 秒
- 文章日期
- 2026-09-25
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 生成方式 | 离线渲染整段后返回 | 流式逐帧生成并立即消费迟到一帧即破坏体验 | |
| RoPE 位置维度 | LLM 单一位置 | 高、宽、时间三轴3D 交错产生大量小数据传输 | |
| 编译策略 | 通用编译器静态编译 | kernel 级定制优化注意力长度逐 pass 变化 |
中文（AI 翻译）
原文
深度总结
1 / 6发布了什么· 要点
Reactor 与 Amazon Neuron Science 团队公开了一套在 Trainium 上实时运行自回归扩散视频生成的优化路径。
- Reactor 与 Amazon Neuron Science 团队公开了一套在 Trainium 上实时运行自回归扩散视频生成的优化路径。
- 选型 Rolling Forcing 作代理模型，理由是它能稳定生成 30 秒高质量视频且体积相对小。
- 交付目标是帧率高于 16 fps，而非"最终能生成好画面"。
- 正文未给出端到端加速比、延迟或吞吐的具体数值。