数据 / MLOps / 博客

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

aws.amazon.com·2026/10/23·Joseph Cottingham

内容工具 · 模型与重新生成

AI 解读尚未生成

AI 全文总结基于页面正文 2.2 万字 · 完整阅读

SageMaker 部署 Kokoro-82M，用 $Q_{ma x}$ 实测自动扩缩

自托管TTS端点遇流量高峰时，自动扩缩目标凭猜测会静默超SLO或GPU空转；该部署在Amazon SageMaker AI实时端点以自定义容器运行Kokoro-82M，用两个实测值替代猜测： $Q_{ma x} = 50$ 是单实例在3000ms首音频字节SLO内可承受的最高并发， $T_{t o t a l} = 320 s$ 是真实扩容端到端时间。TTS无token生成循环，默认吞吐指标不适用，改为扩展AWS原生ConcurrentRequestsPerModel并实测与CloudWatch单位换算一致。CDK栈仅在存在可执行plan工件时合成扩缩资源。工具链按drift、qmax、ttotal、plan、validate执行：闭环比负载阶梯测得50并发满足而下一级违约；强制扩容显示主要耗时在EC2实例供应与镜像拉取；plan推导出扩容阈值37.5、缩容阈值25和不对称冷却，容器准入以队列深度等于 $Q_{ma x}$ 返503，另有首音频字节延迟告警。部署在ml.g5.xlarge上，报告两个警告：扩容触发瞬间实例利用率过高、小规模缩容会落回上限，需提高下限。方法不限于TTS，可推广到并发绑定的实时SageMaker端点，但具体数字仅适用Kokoro-82M。

为什么重要　用 $Q_{ma x}$ 与 $T_{total}$ 替代猜测，帮助 GPU 推理服务平衡成本与延迟 SLO。

来源: aws.amazon.com
发布: 2026/10/23
作者: Joseph Cottingham

中文（AI 翻译）

在 Amazon SageMaker AI 上部署自定义文本转语音模型的团队经常猜测自动扩缩阈值，而错误猜测要么浪费 GPU 开销，要么违背延迟 SLO。

本文部署 Kokoro-82M 作为自定义容器，并基于两个实时端点测量值 $Q_{ma x}$ 和 $T_{total}$ 推导出实测的自动扩缩策略，而不是靠猜测。

原文

Teams deploying custom text-to-speech models on Amazon SageMaker AI often guess at autoscaling thresholds, and a wrong guess either wastes GPU spend or breaches a latency SLO.

This post deploys Kokoro-82M as a custom container and derives a measured autoscaling policy from two live-endpoint measurements, $Q_{ma x}$ and $T_{total}$ , instead of guesswork.

SageMaker 部署 Kokoro-82M，用 $Q_{ma x}$ 实测自动扩缩

Q_{ma x}

返503，另有首音频字节延迟告警。部署在ml.g5.xlarge上，报告两个警告：扩容触发瞬间实例利用率过高、小规模缩容会落回上限，需提高下限。方法不限于TTS，可推广到并发绑定的实时SageMaker端点，但具体数字仅适用Kokoro-82M。

为什么重要　用 $Q_{ma x}$ 与 $T_{total}$ 替代猜测，帮助 GPU 推理服务平衡成本与延迟 SLO。

来源

aws.amazon.com

发布

2026/10/23

作者

Joseph Cottingham

中文（AI 翻译）

在 Amazon SageMaker AI 上部署自定义文本转语音模型的团队经常猜测自动扩缩阈值，而错误猜测要么浪费 GPU 开销，要么违背延迟 SLO。

本文部署 Kokoro-82M 作为自定义容器，并基于两个实时端点测量值 $Q_{ma x}$ 和 $T_{total}$ 推导出实测的自动扩缩策略，而不是靠猜测。

原文

Teams deploying custom text-to-speech models on Amazon SageMaker AI often guess at autoscaling thresholds, and a wrong guess either wastes GPU spend or breaches a latency SLO.

This post deploys Kokoro-82M as a custom container and derives a measured autoscaling policy from two live-endpoint measurements, $Q_{ma x}$ and $T_{total}$ , instead of guesswork.

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

SageMaker 部署 Kokoro-82M，用 $Q_{ma x}$ 实测自动扩缩

原文摘要

中文（AI 翻译）

原文

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

SageMaker 部署 Kokoro-82M，用 $Q_{ma x}$ 实测自动扩缩

原文摘要

中文（AI 翻译）

原文

SageMaker 部署 Kokoro-82M，用 Qmax​ 实测自动扩缩

原文摘要

中文（AI 翻译）

原文

SageMaker 部署 Kokoro-82M，用 Qmax​ 实测自动扩缩

原文摘要

中文（AI 翻译）

原文

SageMaker 部署 Kokoro-82M，用 $Q_{ma x}$ 实测自动扩缩

SageMaker 部署 Kokoro-82M，用 $Q_{ma x}$ 实测自动扩缩