Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod

基座多语言推理正确率仅22.0%；SFT教不会行为，GRPO只在有提升空间时有效。

AWS 博客报告在 Amazon SageMaker HyperPod 上用 LoRA 微调 GPT-OSS-20B，解决其收到法语等指令后仍用英语思考；基座多语推理评测中推理语言正确率仅 22%。作者用 Multilingual-Thinking 数据做 SFT，使推理语言正确率达 100%，但答案语言仍常回退英语；再在 SFT 检查点上叠加 GRPO，以答案语言、推理语言和简洁度为奖励，将答案语言正确率提升至 70%。为检验边界，作者在 Qwen 模型上对照：有空间的多语任务上 GRPO 仍有增益，而在基座已很强的 GSM8K 上因组内优势坍缩无增益。结论是缺失行为先用 SFT，已有但不稳定的行为再用 GRPO，并先确认 pass@k 远高于 pass@1；复现基于 Amazon EKS、FSx for Lustre、TRL 或 veRL/vLLM，结束后删除集群与存储。

1. 1基座50例多语言推理仅22.0%目标语言，法/西/意0.0%。
2. 2SFT：LoRA $r=8$ $\alpha =16$，1,000步，4× ml.g6e.12xlarge。
3. 3训练栈：HyperPod+EKS，TRL或veRL/Ray/vLLM，FSx+EFA。

为什么重要　面向非英语用户的 reasoning 模型定制需区分 SFT 与 GRPO，本文给出基座差距、训练配置和 HyperPod 栈，直接影响训练管道与成本评估。适合　为非英语用户定制 open-weight reasoning model 的 AI/MLOps 工程师。

来源

aws.amazon.com

发布

2026/10/21

作者

Mijanur Palash