Can we change an AI model’s architecture without retraining it from scratch?AWS 提出 Priming：不到 1% 成本改造 Transformer 架构
AWS 提出 Priming：不到 1% 成本改造 Transformer 架构
可低成本获得最高 2 倍吞吐，并让混合架构对比不再依赖从零训练，影响推理优化
学术研究
资料 35 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 1 分钟前
浏览方式
Random Remasking Scales Masked Diffusion InferenceRD 提升 MDM 推理，Sudoku 97%、3-SAT 99%
RD 提升 MDM 推理，Sudoku 97%、3-SAT 99%
提供免微调、免奖励的测试时纠错与训练方法，对掩码扩散模型推理优化有直接参考。
Loopholing All the Way: Language Modeling with pure Self-Conditioning提出LAW纯自条件语言建模，GSM8K解决率**42.2%**超扩散基线
提出LAW纯自条件语言建模，GSM8K解决率**42.2%**超扩散基线
证明连续生成模型可完全基于自条件，为扩散语言模型提供新训练与采样范式，部分场景接近自回归模型，值得关注。
Efficient Edge-aware Attention Network for Graph Generation提出边感知注意力层，图生成峰值 GPU 内存降 65%，吞吐大幅提升
提出边感知注意力层，图生成峰值 GPU 内存降 65%，吞吐大幅提升
用 PyTorch FlexAttention 实现图生成注意力，在保持生成质量的同时降低 65% 峰值 GPU 内存，对扩展图基础模型训练有直接工程价值。
Flow-based Spectral Kernel Learning for Nonstationary AttentionFSKA 学习非平稳注意力核，省 40%-47% 投影参数
FSKA 学习非平稳注意力核，省 40%-47% 投影参数
可学习非平稳谱核并保持线性注意力扩展，减少 QK 投影参数，对高效注意力架构有参考价值。
The Design Space of Tri-Modal Masked Diffusion Models首个三模态掩码扩散模型从零预训练，系统给出多模态缩放律
首个三模态掩码扩散模型从零预训练，系统给出多模态缩放律
给出模态混合比例、噪声调度与批大小的优化默认值，为扩散式多模态生成提供可复用的训练配方
