Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints合成重写 scaling law：最优重写比例可达 32%
合成重写 scaling law：最优重写比例可达 32%
把合成重写纳入 scaling law，可预测最优重写比例与计算预算，并显示重写训练可超过 rewriter，指导预训练数据工程。
大模型
资料 53 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 5 分钟前
浏览方式
Beyond Data Schedule: Fast LLM Pretraining on Data Mixtures by Loss-ReweightingLARE 五基准平均提升 +7.84 pp，GSM8K +17.06 pp、MATH +9.00 pp
LARE 五基准平均提升 +7.84 pp，GSM8K +17.06 pp、MATH +9.00 pp
不增加数据暴露，仅调整领域损失权重即可同时提升知识、数学与代码能力并减少遗忘，对预训练数据混合有直接工程价值。
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge TransferCSD 跨分词器蒸馏最高提升 4.2 分
CSD 跨分词器蒸馏最高提升 4.2 分
提供统一跨 tokenizer 蒸馏目标，减少启发式对齐，可让弱学生从异构强教师学习。
How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis StrategiesAgentic RL 数据缩放定律：任务、环境、轨迹三轴分解与合成策略
Agentic RL 数据缩放定律：任务、环境、轨迹三轴分解与合成策略
把 agentic 数据从单一 token 数扩展为结构化设计空间，直接指导合成预算该投向哪个轴
Anatomy of Off-Policy Policy Gradient: Importance Sampling, KL Regularization, and Baselines理论分析 off-policy 策略梯度：KL 正则+组均值基线即可保证一致性
理论分析 off-policy 策略梯度：KL 正则+组均值基线即可保证一致性
为 GRPO/RLHF 为何能 off-policy 训练提供理论依据，直接指导 KL 系数与基线项的设计选择。
Projected Distillation: On Learning to Solve Hard Problems from Close, Correct Targets投影蒸馏最小编辑失败尝试，8 of 9 对比领先 GRPO/OPD
投影蒸馏最小编辑失败尝试，8 of 9 对比领先 GRPO/OPD
针对困难问题上 on-policy 学习无信号的问题，提出近 on-policy 蒸馏方法并有理论保证，可改善后训练能力保留与专业化权衡。