AI 基础设施

UlaCache 统一逻辑地址管理稀疏 KV cache，B300 TP 峰值吞吐 2.51×

为长上下文稀疏注意力的 KV 管理给出系统级方案，逻辑地址抽象与 PB-LRU 可直接借鉴到 serving 工程

NVIDIA Sentry 运行时监控 AI agent 安全

agent 可能绕过工具与凭证控制，运行时外置监控与强制执行为生产安全治理提供参考。

vLLM 提供高吞吐、内存高效的 LLM 推理服务

LLM 服务化的主流开源推理引擎，适合评估吞吐、显存与部署成本。

AWS Agent Registry实现运行时语义搜索发现MCP与A2A工具

解决工具目录扩大时硬编码接线瓶颈，减少token消耗并解耦团队发布

AirLLM 支持单个 4GB GPU 推理 2.8T 大模型

显著降低大模型本地推理门槛，对边缘部署和低成本实验有直接工程价值。

OrbitWeaver 实现在轨 VLM 推理断点续算，加速 4.07 倍

为边缘/不稳定环境下的推理容错提供阶段感知检查点与 KV cache 恢复方案，思路可迁移至地面边缘部署

MLIPS 免训练共享各层索引池，vLLM 长上下文推理提速 1.14–1.40×

免训练、已在 vLLM 落地，长上下文服务可直接评估换提速与降能耗，但精度有波动。

NVIDIA 将 Run:ai 平台全量开源，纳入 DSX AI Factory 体系

生产级 GPU 编排与负载调度开源，直接影响自建训练或推理集群的调度选型与厂商锁定评估

Ollama v0.40.11 新增 macOS 语音与 d3 决策模型

为本地推理增加 OpenAI 兼容语音端点与决策模型，便于语音应用与分类路由集成。

ProVe 反转投机解码角色：大模型单次前向出 16 token 块，无损加速 2.5x

免训练 draft head 即获 2.5x 无损加速，对大模型自部署推理优化有直接吸引力。

OpenAI 扩展 Habitat，ChatGPT 读取提速 12×

展示可靠多租户、全球缓存与 Azure Cosmos DB 的扩展方案，对大规模 ChatGPT 服务存储有参考价值。

AMTP 免重训练自适应选择 MTP 投机长度，解码提速至 4.1 倍

MTP 已进入主流推理栈，免重训练的在线长度控制器对推理引擎有直接工程价值。