数据 / MLOps / 博客

Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide

aws.amazon.com·2026/10/24·Daniel Quang

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于页面正文 2.7 万字 · 完整阅读

SageMaker AI 用 $339 训练 token 把 gpt-oss-20b 的 Wordle 解题率从 61% 拉到 84%

SageMaker AI 的 MTRL 面向只能以整局结果评判的 agentic 任务，训练作业把 prompt 发给 Bedrock AgentCore 或自有算力上的 agent，由其调用 policy model 多轮执行并回报最终 reward；示例将 Wordle 环境、guess_word 工具与奖励函数放入单个 Python 文件，数据集只保存 secret word，GRPO 依据相同词多次 rollout 的 reward 差异更新 LoRA。官方流程含配置 IAM、部署并冒烟测试 runtime、准备无标签数据、启动训练、用 MLflow 监控、按服务温度与推理强度评估并清理资源。作者报告 GPT-OSS 经 $339 训练 token 成本，在服务设置下把保留词求解率从 61% 提到 84%；训练内验证 37% 是低温验证假象，需按实际服务设置评估。奖励设计要用结果项压过策略 shaping，防止失败局拿正分；并发凭证、失败 rollout、工具调用漂移与平台期是主要坑，管道可迁到公共模型未见过的内部流程。

1100 步训练消耗 12.9 亿 token，105,486 次 rollout，耗时 12h40m
2奖励首版设计出现倒挂：输局得正分、快解反低于慢解
3训练曲线 37% 是 temperature 0 假象，服务设置下实际 84%

为什么重要　展示多轮 RL 全链路：AgentCore 托管 agent + 回合级奖励 + GRPO/LoRA，可直接迁移到企业内部多步工作流训练适合　需要在 AWS 上为内部多步工作流训练小模型的 MLOps / RL 工程师

来源: aws.amazon.com
发布: 2026/10/24
作者: Daniel Quang

491.6M / $58.99

Prefill

每回合重读历史导致累积

159.7M / $47.92

Sample

含推理 token

643.3M / $231.59

Train

反向传播更新 LoRA

105,486

Rollout 总数

12h40m 完成

~$79

AgentCore

vCPU+内存，另计

注释 · Train 维度随轨迹长度线性增长，缩短推理可直接降费出自 Pricing 节

base·low·T0
15%
trained·low·T0
69%
base·medium·T1
61%
trained·medium·T1
84%

注释 · medium effort + temperature 1.0 是服务设置；low effort 为训练设置出自 Step 7 / Figure 7

训练算法: GRPO + LoRA adapter
Agent 托管: Amazon Bedrock AgentCore Runtime
支持模型: Nova 2 Lite / GPT-OSS-20B / Gemma 4 31B / Qwen 3.6 27B
数据集: 640 训练词 + 128 验证词，无标签
计费维度: Prefill / Sample / Train 三维按百万 token 计价
部署区域: us-east-1 与 us-west-2（Gemma/Qwen 仅 us-west-2）

克隆仓库并部署 Agent 到 AgentCore

$ git clone https://github.com/aws-samples/sample-multi-turn-rl-wordle
  cd sample-multi-turn-rl-wordle/Wordle
  agentcore validate
  agentcore deploy

生成训练与验证数据集并上传 S3

$ uv run python make_dataset.py
  aws s3 cp training-data.jsonl s3://<YOUR_BUCKET>/wordle-mtrl/train/
  aws s3 cp validation-data.jsonl s3://<YOUR_BUCKET>/wordle-mtrl/validation/

启动 100 步 MTRL 训练

$ uv run python run_mtrl_training.py \
   --model openai-reasoning-gpt-oss-20b \
   --agent-runtime-arn <RUNTIME_ARN> \
   --role-arn arn:aws:iam::<ACCOUNT>:role/<JOB_ROLE> \
   --train-dataset s3://<YOUR_BUCKET>/wordle-mtrl/train/training-data.jsonl \
   --val-dataset s3://<YOUR_BUCKET>/wordle-mtrl/validation/validation-data.jsonl \
   --s3-output-path s3://<YOUR_BUCKET>/wordle-mtrl/output/ \
   --mlflow-app-arn

在服务设置下评估基线与训练后模型

$ uv run python run_mtrl_eval.py --runs base:1.0 trained:1.0 \
   --model-package-arn <OUTPUT_MODEL_PACKAGE_ARN> \
   --agent-runtime-arn <RUNTIME_ARN> \
   --role-arn arn:aws:iam::<ACCOUNT>:role/<JOB_ROLE> \
   --dataset s3://<YOUR_BUCKET>/wordle-mtrl/validation/validation-data.jsonl \
   --s3-output-path s3://<YOUR_BUCKET>/wordle-mtrl/eval/ \
   --mlflow-app-arn arn:aws:sagemaker:<REGION>:<ACCOUNT>:mlflow-app

中文（AI 翻译）

Amazon SageMaker AI 上的多轮强化学习（Multi-Turn Reinforcement Learning，MTRL）让模型基于整个多步骤任务的结果来训练，而不是基于带标签的单个步骤。

这篇实操指南以 Wordle 为例走通完整流水线：在 Amazon Bedrock AgentCore 上部署智能体与奖励，准备数据集，进行训练，并在 serving 设置下评估。

原文

Multi-Turn Reinforcement Learning (MTRL) on Amazon SageMaker AI trains models on the outcome of a whole multi-step task rather than labeled steps.

This hands-on guide walks the full pipeline using Wordle: deploying the agent and reward on Amazon Bedrock AgentCore, preparing the dataset, training, and evaluating at serving settings.

表格

Token 单价与成本拆解

GPT-OSS-20B 在 us-east-1 的 Train 单价 $0.36/1M，是总成本最大项

维度	Token 数	单价/1M	费用
Prefill	491,616,806	$0.12	$58.99
Sample	159,737,098	$0.30	$47.92
Train	643,308,554	$0.36	$231.59
合计	1,294,662,458	—	$338.50

注释 · 四维计费：模型越啰嗦、轨迹越长，Train 费用越高出自 Pricing 表格

数据 / MLOps / 博客

Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide

aws.amazon.com·2026/10/24·Daniel Quang

阅读原文

内容工具 · 模型与重新生成

AI 解读已生成 · AI 生成，数字以原文为准

AI 全文总结值得深入基于页面正文 2.7 万字 · 完整阅读

SageMaker AI 用 $339 训练 token 把 gpt-oss-20b 的 Wordle 解题率从 61% 拉到 84%

1100 步训练消耗 12.9 亿 token，105,486 次 rollout，耗时 12h40m
2奖励首版设计出现倒挂：输局得正分、快解反低于慢解
3训练曲线 37% 是 temperature 0 假象，服务设置下实际 84%

来源: aws.amazon.com
发布: 2026/10/24
作者: Daniel Quang

491.6M / $58.99

Prefill

每回合重读历史导致累积

159.7M / $47.92

Sample

含推理 token

643.3M / $231.59

Train

反向传播更新 LoRA

105,486

Rollout 总数

12h40m 完成

~$79

AgentCore

vCPU+内存，另计

注释 · Train 维度随轨迹长度线性增长，缩短推理可直接降费出自 Pricing 节

base·low·T0
15%
trained·low·T0
69%
base·medium·T1
61%
trained·medium·T1
84%

注释 · medium effort + temperature 1.0 是服务设置；low effort 为训练设置出自 Step 7 / Figure 7

训练算法: GRPO + LoRA adapter
Agent 托管: Amazon Bedrock AgentCore Runtime
支持模型: Nova 2 Lite / GPT-OSS-20B / Gemma 4 31B / Qwen 3.6 27B
数据集: 640 训练词 + 128 验证词，无标签
计费维度: Prefill / Sample / Train 三维按百万 token 计价
部署区域: us-east-1 与 us-west-2（Gemma/Qwen 仅 us-west-2）

克隆仓库并部署 Agent 到 AgentCore

$ git clone https://github.com/aws-samples/sample-multi-turn-rl-wordle
  cd sample-multi-turn-rl-wordle/Wordle
  agentcore validate
  agentcore deploy

生成训练与验证数据集并上传 S3

$ uv run python make_dataset.py
  aws s3 cp training-data.jsonl s3://<YOUR_BUCKET>/wordle-mtrl/train/
  aws s3 cp validation-data.jsonl s3://<YOUR_BUCKET>/wordle-mtrl/validation/

启动 100 步 MTRL 训练

$ uv run python run_mtrl_training.py \
   --model openai-reasoning-gpt-oss-20b \
   --agent-runtime-arn <RUNTIME_ARN> \
   --role-arn arn:aws:iam::<ACCOUNT>:role/<JOB_ROLE> \
   --train-dataset s3://<YOUR_BUCKET>/wordle-mtrl/train/training-data.jsonl \
   --val-dataset s3://<YOUR_BUCKET>/wordle-mtrl/validation/validation-data.jsonl \
   --s3-output-path s3://<YOUR_BUCKET>/wordle-mtrl/output/ \
   --mlflow-app-arn

在服务设置下评估基线与训练后模型

$ uv run python run_mtrl_eval.py --runs base:1.0 trained:1.0 \
   --model-package-arn <OUTPUT_MODEL_PACKAGE_ARN> \
   --agent-runtime-arn <RUNTIME_ARN> \
   --role-arn arn:aws:iam::<ACCOUNT>:role/<JOB_ROLE> \
   --dataset s3://<YOUR_BUCKET>/wordle-mtrl/validation/validation-data.jsonl \
   --s3-output-path s3://<YOUR_BUCKET>/wordle-mtrl/eval/ \
   --mlflow-app-arn arn:aws:sagemaker:<REGION>:<ACCOUNT>:mlflow-app

中文（AI 翻译）

Amazon SageMaker AI 上的多轮强化学习（Multi-Turn Reinforcement Learning，MTRL）让模型基于整个多步骤任务的结果来训练，而不是基于带标签的单个步骤。

这篇实操指南以 Wordle 为例走通完整流水线：在 Amazon Bedrock AgentCore 上部署智能体与奖励，准备数据集，进行训练，并在 serving 设置下评估。

原文

Multi-Turn Reinforcement Learning (MTRL) on Amazon SageMaker AI trains models on the outcome of a whole multi-step task rather than labeled steps.

This hands-on guide walks the full pipeline using Wordle: deploying the agent and reward on Amazon Bedrock AgentCore, preparing the dataset, training, and evaluating at serving settings.

表格

Token 单价与成本拆解

GPT-OSS-20B 在 us-east-1 的 Train 单价 $0.36/1M，是总成本最大项

维度	Token 数	单价/1M	费用
Prefill	491,616,806	$0.12	$58.99
Sample	159,737,098	$0.30	$47.92
Train	643,308,554	$0.36	$231.59
合计	1,294,662,458	—	$338.50

注释 · 四维计费：模型越啰嗦、轨迹越长，Train 费用越高出自 Pricing 表格

Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide

SageMaker AI 用 $339 训练 token 把 gpt-oss-20b 的 Wordle 解题率从 61% 拉到 84%

配图

100 步训练资源消耗

训练前后解题率对比

关键规格

MTRL 训练数据流

快速上手 / 部署

原文摘要

中文（AI 翻译）

原文

Token 单价与成本拆解

Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide

SageMaker AI 用 $339 训练 token 把 gpt-oss-20b 的 Wordle 解题率从 61% 拉到 84%

配图

100 步训练资源消耗

训练前后解题率对比

关键规格

MTRL 训练数据流

快速上手 / 部署

原文摘要

中文（AI 翻译）

原文

Token 单价与成本拆解