arxiv.org·2026/10/26
大型Transformer计算与内存需求大，高效推理挑战突出；空间加速器片上带宽和能效占优，但面向大模型设计昂贵，现有生成器多只支持单算子、忽略多算子流水线，限制吞吐与能效。TranSAGE作为编译框架联合优化调度与多算子流水线，并生成加速器实现；核心包括设计空间探索、多算子数据流优化、动态规划图划分，识别流水线算子簇及数据流参数，再经空间架构原语与lowering pass生成RTL。在代表性LLM上，作者报告较商业GPU/NPU基线最高提升**2.41×**吞吐、**13.04×能效；较现有加速器生成器最高提升11.33×**吞吐、**6.07×**能效。代码公开于GitHub。
为什么重要 给大模型推理加速器生成提供从调度到 RTL 的自动化路径，减少手工设计；但只有摘要，需到 GitHub 核实实验细节。适合 关注 Transformer 推理加速器与编译器生成、需要评估自报增益可信度的 AI 硬件/系统工程师
大规模 Transformer 已在 NLP、计算机视觉和机器人等领域取得显著成功，但其日益增长的计算和内存需求对高效推理构成挑战。空间加速器在片上带宽和能效方面具有优势，但为大型模型设计它们仍然成本高昂且耗时。现有加速器生成器通常只关注单算子支持，忽视了多算子流水线的收益，从而限制了吞吐量和能效。
我们提出 TranSAGE，一个基于编译器的框架，它在多算子流水线下联合优化大规模 Transformer 的调度，并生成相应的加速器实现。我们的方法将设计空间探索（DSE）引擎与多算子数据流优化以及基于动态规划的图划分算法相结合，以高效识别适合流水线的算子簇及其最优数据流参数。我们还设计了空间架构原语和 lowering pass，以自动生成高效的 RTL 实现。
在四个代表性 LLM 上的评估表明，TranSAGE 的吞吐量比商业 GPU/NPU 基线最高提高 2.41 倍，能效最高提高 13.04 倍。与最先进的加速器生成器相比，TranSAGE 的吞吐量最高提高 11.33 倍，能效最高提高 6.07 倍。我们的代码可在 https://github.com/sjtu-zhao-lab/TranSAGE 获取。
Large-scale Transformers have achieved remarkable success across NLP, computer vision, and robotics, but their growing computational and memory demands challenge efficient inference.
Spatial accelerators offer advantages in on-chip bandwidth and energy efficiency, yet designing them for large models remains costly and time-consuming.
Existing accelerator generators typically focus on single-operation support, overlooking the benefits of multi-operation pipelining, which limits throughput and energy efficiency.
We propose TranSAGE, a compiler-based framework that jointly optimizes scheduling for large-scale Transformers under multi-operation pipelining and generates corresponding accelerator implementations.
Our approach integrates a design space exploration (DSE) engine with multi-operation dataflow optimization and a dynamic programming-based graph partitioning algorithm to efficiently identify pipeline-friendly operation clusters and their optimal dataflow parameters.
We further design spatial architecture primitives and lowering passes to automatically generate efficient RTL implementations.
Evaluations on four representative LLMs demonstrate that TranSAGE achieves up to 2.41x higher throughput and 13.04x higher energy efficiency than commercial GPU/NPU baselines.
Compared with state-of-the-art accelerator generators, TranSAGE achieves up to 11.33x higher throughput and 6.07x higher energy efficiency.
Our code is available at https://github.com/sjtu-zhao-lab/TranSAGE.
吞吐/GPU
能效/GPU
吞吐/生成器
能效/生成器
注释 · 均为原文 'up to' 表述，不等同典型收益；未披露基线具体型号出自 摘要
EVIDENCE / METHODS
解读
多操作流水线被当作一等优化对象，区别于只支持单算子的既有生成器
TranSAGE 是一个 compiler-based 框架，把大规模 Transformer 的 scheduling 与 术语解释把多个算子操作组成流水线并行执行，减少等待与访存开销 联合优化。相比之下，既有加速器生成器多只支持单算子支持，忽略了算子间流水线带来的吞吐和能效收益。实现上由三块支撑：DSE 引擎 驱动 多操作数据流优化；动态规划图划分 找到 pipeline-friendly 的算子簇及其最优数据流参数；空间架构原语 与 术语解释编译器中将高层表示逐步降级到低层硬件表示的转换阶段 把高层表示自动降到 RTL。
注释 · 仅摘要层面描述，未进入分配、调度或数据流参数的细节出自 摘要
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。