Write your own training loop — without managing GPUs — with Amazon SageMaker training session APIs

SageMaker 新增按 token 计费的训练原语

Amazon SageMaker AI 新增 training session APIs，把 LLM 微调的 GPU 计算拆成本地 Python 可逐步调用的操作，支持 SFT、偏好优化、RL 和自定义目标。它比配置式托管微调更可控，比 Training Jobs、HyperPod 少运维。ServiceClient 建立有状态会话，TrainingClient 与 SamplingClient 执行 forward_backward、optim_step、sample 等调用；模型与 LoRA 常驻托管加速器，服务负责分布式、故障恢复、检查点和隔离，并按处理 token 计费，本地奖励计算不占 GPU 时；活动会话还提供 OpenAI 兼容聊天接口，可被既有 OpenAI 客户端采样。GSM8K 示例用 GRPO 让本地代码做奖励与优势计算，GPU 完成采样、梯度更新和刷新采样器；官方称留出准确率从 56%升至 75%。配套 cookbook 的 Code RL 配方覆盖 DeepCoder 编程题、SandboxFusion 测试、多轮工具调用、重叠采样、流式梯度、检查点恢复与 MLflow；上手可从 recipe 或数学题示例开始，使用前需确认模型、区域、配额并停止会话。

1. 1训练循环在本地 Python 中编写，GPU 操作通过 API 调用。
2. 2奖励、优势与数据加载在本地运行，不占用 GPU 计费。
3. 3cookbook 提供 SFT、RL、KTO 等可复用训练配方。

为什么重要　做自定义 RL/后训练时，可免维护 GPU 集群，本地奖励慢也不产生空闲 GPU 费用。适合　在 AWS 上做自定义后训练、RL 或定制损失算法的 ML 工程师。

来源

aws.amazon.com

发布

2026/10/23

作者

Nicolas Jourdan