在Amazon SageMaker AI上精准配置TTS自动扩缩容目标

发生了什么

AWS ML Blog发布教程，建议用Q_max和T_total替代猜测来配置Amazon SageMaker AI上的TTS自动扩缩容目标。Q_max是单个实例在未违反服务等级目标(SLO)前能维持的最高并发量，T_total是端到端的扩容时间。通过测量这两个指标，可以计算出扩容阈值、缩容阈值和冷却时间。该教程以Kokoro-82M模型为例，展示了如何使用AWS CDK堆栈部署模型，并基于实际测量数据替代猜测进行自动扩缩容配置。