aws.amazon.com·2026/10/20·Pierre Lienhart
为什么重要 展示 Trainium2 上语音模型批处理推理的成本优化路线，含内核重写与 Rust 免 Python 运行时，对推理硬软件选型有参考价值。适合 关注 Trainium/Neuron 推理优化、语音批处理与 Rust 服务运行时的 AI Infra 工程师
| 对比项 | 之前 / 基线 | 现在 / 本方案 | |
|---|---|---|---|
| 离线每美元音频量 | 原计算方案 | Trainium2 配置高 11–70% | |
| 数据并行运行时 | Python MP 基线 | Rust 运行时高 7.5% | |
| FFN 内核延迟 | NKILib 参考内核 | 手写内核bs=96 低 2.0x |
随着语音成为 AI 的一等模态，Deepgram 的模型覆盖语音转文字、文字转语音和语音智能体。他们目前每年处理数千万亿（quadrillions）音频 token，服务超过 20 万名开发者和 1400 家组织。客户通过 Deepgram API 使用这些模型，或在其自有环境中运行，包括在 Amazon SageMaker AI 上。
对 Deepgram 而言，服务效率决定了在给定基础设施预算下系统能处理多少音频。高吞吐的批处理负载对这一预算构成很大压力，每个加速卡小时被利用得越高效，同一机群上能服务的音频就越多。这使得推理效率成为自然的优化目标，Deepgram 因此转向 AWS 的 AI 芯片。
他们与 AWS 合作，把 Nova-3 语音转文字模型引入 AWS Trainium2，用于联络中心分析、医疗转写等离线批处理负载。合作始于 Deepgram 以标准 PyTorch 代码交付 Nova-3。
在数月时间里，Deepgram 与 AWS Forward Deployed Engineering（FDE）团队用 PyTorch 重构把 Nova-3 移植到 AWS Trainium2，并针对新硬件进行调优。最终配置在单台 Amazon Elastic Compute Cloud（Amazon EC2）trn2.3xlarge 实例上运行八个模型副本。
在 Deepgram 面向吞吐的离线批处理负载上，该配置每美元处理的音频量比原来多 11% 到 70%。
Deepgram worked with the AWS Forward Deployed Engineering team to port its Nova-3 speech-to-text model to AWS Trainium2 for offline batch inference.
This post covers porting to the AWS Neuron stack, kernel-level tuning, a data-parallel Rust runtime, and the throughput and cost results on batch transcription.
EVIDENCE / METHODS
指标
单台 trn2.3xlarge 实例运行 8 个 Nova-3 模型副本
单台 trn2.3xlarge 实例运行 8 个 Nova-3 模型副本
Deepgram 年处理 quadrillions 音频 token，服务超 200,000 开发者与 1,400 组织
离线批处理每美元音频处理量较原方案提升 11–70%
Rust 运行时在吞吐最大化 batch size 下较 Python 多进程基线高 7.5%