AI 基础设施

vLLM push 式 KV 传输：TTFT 最高提升 3 倍，TPOT 提升 30%

把 KV 传输协调移出关键路径，是 P-D 分离推理在 RDMA 网络上的实用优化；做长 prompt 在线服务的团队可直接借鉴该 connector 设计。

ReplaySSM 重思混合模型状态存储，加速 SSM+Attention 解码

针对 Mamba-2/GDN/KDA 混合架构的固定状态复用问题给出解法，直接影响长上下文解码吞吐与显存占用，值得工程评估。

TokenRouter 支持 token 级 LLM 路由，解码吞吐较现有系统提升 2.01-64.15x

以 request-centric 编程和延迟批调度解决 token 级路由的步调失配与批量延迟，对 LLM 推理服务有直接工程价值，且已开源。

Olmo-core 3 发布全开源训练栈，支持 MoE 扩展至万亿参数

全开源的万亿参数级 MoE 训练栈可直接复用，显著降低大规模训练的工程门槛。

TensorRT 11.1 推出 Global Performance Tuner，自动精度感知的端到端调优

自动、精度感知的调优替代手工逐配置试错，降低 TensorRT 推理部署的优化成本。

torchtitan 在 trn2.48xlarge 上三种方式训练 Qwen3

展示 Trainium 原生 PyTorch 路径，便于迁移 Transformers 权重与 MoE 内核。

TRL v1.16.0 支持 AWS Trainium，Qwen3-0.6B SFT 20步 130s vs 260s

为训练增加 Trainium 支持并默认自动 padding 以减少 Neuron 重编译开销；AsyncGRPO 用 prefix tree 复用共享前缀。

SGLang v0.5.21 发布：779 PRs，PD 热切换

面向推理服务，PD 实例可免重启在 prefill/decode 间切换，Rust prefix cache 成默认；新增多模型支持。

KTransformers v0.7.1 新增 Qwen/Kimi LoRA

为 Qwen VLM/Kimi 提供 LoRA 微调；CPU-GPU 异构执行结合主机内存与 GPU 加速。

Deepgram 将 Nova-3 移植到 Trainium2，每美元转写音频量提升 11–70%

非 NVIDIA 加速卡的语音模型迁移实战：Neuron 栈、kernel 调优与 Rust 运行时，可复用于降本评估

微软研究：把机器人推理卸载到边缘/云端可提升任务成功率与续航

挑战机载 GPU 全本地推理的默认假设，给出分布式推理的容器化 K8s 工具链，直接影响具身智能系统架构选型

Together AI 联手 IBM Cloud/NVIDIA 推出 B300 专用推理集群

为企业以生产规模运行开源模型提供专用算力路径，直接影响推理部署与供应商选型。