Stream low-latency speech from AI agents using Kokoro TTS on Amazon SageMaker AI

逐句流式送 Kokoro-82M，首音频字节从 329.3 ms 降到 156.7 ms，部署端加速 3.5×

为解决语音代理等待完整回复才合成造成的数秒静默，AWS 将 Kokoro-82M（82M 参数）托管在 Amazon SageMaker AI 实时端点，容器暴露 POST /invocations 和 WebSocket 双向流，客户端用 IncrementalSentenceChunker 按句切分，每句即发合成，音频以二进制与 JSON 控制帧复用，避免 SSE base64 约 33% 的膨胀和 MP3 帧错位。部署须处理 SageMaker 实际下发的二进制帧、保持会话开启至显式 close，并通过 speech-infra/agent-infra CLI 创建端点与 Bedrock AgentCore 上的 Strands 代理；容器中旧 PyTorch 需先升级。文中实测仅发首句使首音频延迟下降 52.4%，端到端 run_bidi 比 run_batch 快 2.4 到 3.5 倍。双向区分规则须按整块 JSON 解析判断控制帧而非音频，清理 destroy 不删 S3 权重缓存和 ECR 镜像，需手动删除。

1. 1逐句把 agent 文本实时送 TTS，不等完整回复再合成
2. 2容器必须显式处理二进制 WS 帧，并保持会话不关闭
3. 3base64 经 SSE 让音频载荷膨胀约三分之一

为什么重要　低时延语音 agent 的可落地模板：单 GPU 实例跑 82M TTS，双向 WebSocket 复用二进制/JSON，附实测加速比与真实命令。适合　构建低延迟语音 agent、跑 SageMaker/Bedrock AgentCore 推理的工程团队

来源

aws.amazon.com

发布

2026/10/23

作者

Joseph Cottingham