Offloaded inference for real-world physical AI robotics微软研究：把机器人推理卸载到边缘/云端可提升任务成功率与续航
微软研究：把机器人推理卸载到边缘/云端可提升任务成功率与续航
挑战机载 GPU 全本地推理的默认假设，给出分布式推理的容器化 K8s 工具链，直接影响具身智能系统架构选型
AI 基础设施
资料 48 条 · 常规内容近 60–90 天，综述/报告保留一年最近同步 2 分钟前
浏览方式
Expanding our enterprise inference capacity with IBM Cloud and NVIDIATogether AI 联手 IBM Cloud/NVIDIA 推出 B300 专用推理集群
Together AI 联手 IBM Cloud/NVIDIA 推出 B300 专用推理集群
为企业以生产规模运行开源模型提供专用算力路径，直接影响推理部署与供应商选型。
Impactful scheduling for GPU clustersAi2 新 GPU 调度器：以时间预算、公平份额与时间片缩短排队、保持 GPU 忙碌
Ai2 新 GPU 调度器：以时间预算、公平份额与时间片缩短排队、保持 GPU 忙碌
对自管 GPU 集群的调度与利用率优化有直接参考价值，可借鉴其优先级设计。
TorchNeuron: running HF models on AWS Trainium is easier than everTorchNeuron 让在 AWS Trainium 上运行 HF 模型比以往更容易
TorchNeuron 让在 AWS Trainium 上运行 HF 模型比以往更容易
信息不足，影响待观察
同一事件 · 另有 1 个来源报道▾
How Deepgram optimized voice AI at scale with AWS TrainiumDeepgram 将 Nova-3 移植到 Trainium2，每美元转写音频量提升 11–70%
Deepgram 将 Nova-3 移植到 Trainium2，每美元转写音频量提升 11–70%
非 NVIDIA 加速卡的语音模型迁移实战：Neuron 栈、kernel 调优与 Rust 运行时，可复用于降本评估
How NVIDIA OpenShell Reference Architecture Secures and Governs AI Agent Workloads at ScaleNVIDIA OpenShell 参考架构治理 AI agent 负载
NVIDIA OpenShell 参考架构治理 AI agent 负载
长时自主任务会下载代码、请求权限并扩大风险，参考架构可用于规模化治理。
Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes8 个 DGX Spark 节点运行前沿 AI 模型，需 数百 GB 内存
8 个 DGX Spark 节点运行前沿 AI 模型，需 数百 GB 内存
展示桌面级 Spark 节点扩展运行大内存模型的路径，对本地多模型编排与硬件选型有参考。
Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 1TensorRT 详解引擎构建中的调度：图变换、融合、量化等决策相互耦合
TensorRT 详解引擎构建中的调度：图变换、融合、量化等决策相互耦合
讲清 TensorRT 引擎构建中调度的本质与耦合决策，是推理性能优化的基础背景。
