AI 基础设施

AirLLM 支持单个 4GB GPU 推理 2.8T 大模型

显著降低大模型本地推理门槛，对边缘部署和低成本实验有直接工程价值。

OrbitWeaver 实现在轨 VLM 推理断点续算，加速 4.07 倍

为边缘/不稳定环境下的推理容错提供阶段感知检查点与 KV cache 恢复方案，思路可迁移至地面边缘部署

Ollama v0.40.11 新增 macOS 语音与 d3 决策模型

为本地推理增加 OpenAI 兼容语音端点与决策模型，便于语音应用与分类路由集成。

vLLM push 式 KV 传输：TTFT 最高提升 3 倍，TPOT 提升 30%

把 KV 传输协调移出关键路径，是 P-D 分离推理在 RDMA 网络上的实用优化；做长 prompt 在线服务的团队可直接借鉴该 connector 设计。

ReplaySSM 重思混合模型状态存储，加速 SSM+Attention 解码

针对 Mamba-2/GDN/KDA 混合架构的固定状态复用问题给出解法，直接影响长上下文解码吞吐与显存占用，值得工程评估。

TokenRouter 支持 token 级 LLM 路由，解码吞吐较现有系统提升 2.01-64.15x

以 request-centric 编程和延迟批调度解决 token 级路由的步调失配与批量延迟，对 LLM 推理服务有直接工程价值，且已开源。

TensorRT 11.1 推出 Global Performance Tuner，自动精度感知的端到端调优

自动、精度感知的调优替代手工逐配置试错，降低 TensorRT 推理部署的优化成本。

Deepgram 将 Nova-3 移植到 Trainium2，每美元转写音频量提升 11–70%

非 NVIDIA 加速卡的语音模型迁移实战：Neuron 栈、kernel 调优与 Rust 运行时，可复用于降本评估

微软研究：把机器人推理卸载到边缘/云端可提升任务成功率与续航

挑战机载 GPU 全本地推理的默认假设，给出分布式推理的容器化 K8s 工具链，直接影响具身智能系统架构选型

Together AI 联手 IBM Cloud/NVIDIA 推出 B300 专用推理集群

为企业以生产规模运行开源模型提供专用算力路径，直接影响推理部署与供应商选型。

MLIPS 免训练共享各层索引池，vLLM 长上下文推理提速 1.14–1.40×

免训练、已在 vLLM 落地，长上下文服务可直接评估换提速与降能耗，但精度有波动。

ProVe 反转投机解码角色：大模型单次前向出 16 token 块，无损加速 2.5x

免训练 draft head 即获 2.5x 无损加速，对大模型自部署推理优化有直接吸引力。