AI 硬件

Project Maya 支持私有部署 321B/748B MoE 大模型

降低超大 MoE 私有化门槛，打通 NVIDIA/AMD 与量化部署，可评估本地推理价值。

微软 1.21 亿次调用追踪：Deep Research 上下文中位数涨到 68K，80% 走前缀缓存

给出生产级 Agent 负载的 KV 驻留真实分布，直接支撑 HBM 容量规划、前缀缓存命中率优化与调度策略设计

Conjugate Compilation：投机解码的跨模型联合编译优化

将draft与target模型纳入同一编译优化边界并以实测共同执行性能作反馈，可直接提升现网投机解码吞吐

MOSAIC为每层KV缓存学习预算，最高以4倍更少缓存达均匀分配效果

逐层KV预算可即插即用于多种驱逐方法，帮助长上下文服务以更少显存保持任务分数。

SPOT 用 0.62M 参数模型预测提交顺序，为扩散语言模型实现无损加速

扩散 LM 并行解码的速度-质量权衡是关键瓶颈；把“生成哪个位置”单列为可学习子问题，且小模型+目标模型验证即可无损提速，对推理工程可直接复用。

提出多目标 RL 生成 Pareto 最优 RTL 电路，相对 Hypervolume 提升 +13.3 与 +14.4 个百分点

让 LLM 生成 RTL 电路不只优化单一质量，而是优化整组候选的 Pareto 质量与多样性，供设计者按功耗/性能/面积需求事后选择。

Amazon 开源 TorchNeuron：PyTorch 代码近乎零改动即可运行于 Trainium

降低 PyTorch 训练负载迁移 Trainium 的门槛，Neuron SDK 提供周期级 profiler 与 NKI 近汇编级内核控制。

NVIDIA OCP展示BlueField-4 CMX服务器

面向上下文内存的DPU/服务器方案，或影响长上下文推理基础设施。

Nvidia Vera用第二代SCF和LPDDR5X提升带宽

解释Vera核心、互连和内存路径，影响AI服务器推理与数据吞吐评估。

AWS Trainium 实时视频生成 kernel 方案

自回归 diffusion 动态形状与缓存优化可迁移，利好端侧/云端实时生成。

FIGFLEX 在 LLaMA-2-7B 上 3-bit 困惑度 5.85，吞吐/面积高 1.56x

针对低比特量化“省内存不省计算”问题，算法-硬件协同设计提升了精度灵活性与吞吐，对 LLM 推理硬件设计有参考价值。

单摄实时3D全身重建C++引擎输出多人体BVH

为端侧/实时数字人、动作捕捉提供纯C++推理路径，便于集成。