arxiv.org·2026/10/24·Cécile Luc / Nathanaël Lemonnier 等
针对 TSFM 高预训练成本能否在生命周期内摊薄的问题,论文建立累积碳成本模型,对比 Chronos-2、LightGBM、PatchTST 三类方法。CodeCarbon 实测显示 Chronos-2 单次推理碳排比监督基线高一个量级;在千台资产、每日推理下,其零样本方案约 18个月 与 LightGBM 达到盈亏平衡,查询频率可显著移动该阈值,小规模或低频场景经典模型长期更便宜。为在不摊薄时降本,作者提出基于块输入输出余弦相似度的无梯度结构化剪枝,移除 Chronos-2 编码块中的单个冗余块(约 7.9% 参数),在 Chronos Benchmark II 剩余 25 个任务上 MASE 技能分仅小幅下降、WQL 略升,FLOPs、CO2 与延迟一致下降 6–9%,几乎不牺牲零样本预测。
为什么重要 对工业时间序列预测部署,给出 TSFM vs LightGBM/PatchTST 的碳成本盈亏平衡点与低风险剪枝方案,直接指导何时用 TSFM、何时守经典模型。适合 工业时间序列预测部署、模型压缩、碳核算的工程与研究人员
Time Series Foundation Models(TSFMs)具备强大的零样本预测能力,但其高昂的预训练成本提出了一个现实可持续性问题:与必须定期重新训练的受监督独立模型相比,这笔前期投入是否能在整个部署生命周期中收回?我们在一个现实工业场景中模拟不同方法的累计碳成本:Chronos-2 在大规模或高频查询部署中可在数月内摊薄其预训练成本,但对于小规模或低频查询部署,传统模型会一直更便宜。在需要降低 TSFM 自身成本的情况下,我们展示:通过一个无梯度剪枝标准移除单个 encoder block(7.9% 参数)后,可在 25 任务基准上基本不损失零样本预测性能,同时稳定降低 6 to 9% 的 FLOPs、CO2 排放和延迟。
Time Series Foundation Models (TSFMs) offer strong zero-shot forecasting capabilities, but their high pretraining cost raises a practical sustainability question: does this upfront investment pay off over a full deployment lifecycle, compared to supervised standalone models that must be periodically retrained?
We model the cumulative carbon cost of different approaches across a realistic industrial scenario: Chronos-2 amortizes its pretraining cost within months for large or frequently queried deployments, but a classical model remains cheaper indefinitely for small or rarely queried ones.
For cases where reducing the TSFM's own cost matters, we show that removing a single encoder block (7.9% of parameters) via a gradient-free pruning criterion yields a consistent 6 to 9% reduction in FLOPs, CO2 emissions, and latency, at essentially no cost to zero-shot forecasting performance across a 25-task benchmark.
注释 · 原文称四项独立度量互相印证,延迟降幅最小是因为固定开销不随块缩减出自 表 3
LightGBM 训练
FLOPs 5.3×1010
LightGBM 推理
FLOPs 2,973
PatchTST 训练
FLOPs 5.5×1014
PatchTST 推理
FLOPs 7.6×108
Chronos-2 推理
FLOPs 1.5×109
注释 · 完整预训练 200,000 步成本是 PatchTST 训练碳强度的 60 倍(原文下界)出自 表 1



EVIDENCE / METHODS
表格
剪枝后 MASE 掉 −1.12 个点(约 5% 相对),WQL 升 +0.29 点,整体近无损
| 指标 | Full | Pruned | Δ |
|---|---|---|---|
| MASE 术语解释相对 Seasonal Naive 基线聚合,100×(1−gmean(ratio)),越高越好 (%) | 22.99 | 21.87 | -1.12 |
| WQL 术语解释相对 Seasonal Naive 基线聚合,100×(1−gmean(ratio)),越高越好 (%) | 41.24 | 41.53 | +0.29 |
| MASE win rate (%) | – | 40.0 | — |
| WQL win rate (%) | – | 52.0 | — |
注释 · win rate 是剪枝模型胜过 full 模型的任务占比;40.0% 表示点预测不到一半任务更优出自 表 2
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。