Adaptive Multi-Token Prediction: How far should we go?AMTP 免重训练自适应选择 MTP 投机长度,解码提速至 4.1 倍
AMTP 免重训练自适应选择 MTP 投机长度,解码提速至 4.1 倍
MTP 已进入主流推理栈,免重训练的在线长度控制器对推理引擎有直接工程价值。

DOMAIN OBSERVATORY
资料 49 条 · 常规内容近 60–90 天,综述/报告保留一年最近同步 56 分钟前
(暂无权威综述,基于前沿内容归纳)本批资料覆盖训练、推理、集群、运行时与能效评测,可概括为以下主干:
AMTP 免重训练自适应选择 MTP 投机长度,解码提速至 4.1 倍
MTP 已进入主流推理栈,免重训练的在线长度控制器对推理引擎有直接工程价值。

SGLang v0.5.21 发布:779 PRs,PD 热切换
面向推理服务,PD 实例可免重启在 prefill/decode 间切换,Rust prefix cache 成默认;新增多模型支持。
KTransformers v0.7.1 新增 Qwen/Kimi LoRA
为 Qwen VLM/Kimi 提供 LoRA 微调;CPU-GPU 异构执行结合主机内存与 GPU 加速。