OPTIC 压缩 Gemma 4 E4B PLE 100×,保留 97.8%
针对嵌入参数占比高的趋势,显著降低推理 GPU 内存,且速度损失极小。

DOMAIN OBSERVATORY
资料 53 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 5 分钟前
本领域暂无权威综述/报告(暂无权威综述,基于前沿内容归纳)。以下综合[1]–[16]的前沿资料,覆盖旗舰闭源、开放权重、训练后训练、效率、评测与生态。
OPTIC 压缩 Gemma 4 E4B PLE 100×,保留 97.8%
针对嵌入参数占比高的趋势,显著降低推理 GPU 内存,且速度损失极小。

CSD 跨分词器蒸馏最高提升 4.2 分
提供统一跨 tokenizer 蒸馏目标,减少启发式对齐,可让弱学生从异构强教师学习。

Agentic RL 数据缩放定律:任务、环境、轨迹三轴分解与合成策略
把 agentic 数据从单一 token 数扩展为结构化设计空间,直接指导合成预算该投向哪个轴

理论分析 off-policy 策略梯度:KL 正则+组均值基线即可保证一致性
为 GRPO/RLHF 为何能 off-policy 训练提供理论依据,直接指导 KL 系数与基线项的设计选择。
投影蒸馏最小编辑失败尝试,8 of 9 对比领先 GRPO/OPD
针对困难问题上 on-policy 学习无信号的问题,提出近 on-policy 蒸馏方法并有理论保证,可改善后训练能力保留与专业化权衡。
BeNice 实现循环模型 KV 共享,缓存命中率最高提升 31.4%,TTFT p90 下降 83.6%
为循环架构长上下文推理提供新优化路径,可与 multi-latent attention、fp8/nvfp4 量化等组合,降低内存并提升吞吐。

Solvent 8B LLM 将长程推理用于多步逆合成,得分 61.86% 媲美万亿参数模型
展示了 LLM 长程推理与 RL 后训练在分子逆合成任务上的能力,对 AI4Science 工程有参考价值。
