非同期強化学習の安定性を革新する手法「SAO」：GLM-5.2の性能を支える技術的ブレイクスルー

📝 概要

大規模言語モデル（LLM）のポストトレーニングにおいて、エージェントとしての推論能力や長期間のタスク遂行能力を高める強化学習（RL）の重要性が増しています。本記事で紹介する「SAO（Single-Rollout Asynchronous Optimization）」は、従来の非同期強化学習が抱えていた安定性と効率性の課題を解決するために開発された新しい最適化手法です。これまで主流だったGRPOのようなグループサンプリングに代わり、シングルロールアウトサンプリングと厳格なクリッピング戦略を採用することで、モデルの安定した学習と高い性能向上を実現しました。この手法は最新モデル「GLM-5.2」の学習パイプラインにも導入されており、今後のエージェント型AI開発における重要な基盤技術となることが期待されます。

📋 詳細レポート

エージェントタスクのような長期的な文脈を必要とする強化学習において、従来の同期型・バッチ処理型の手法は効率の面で限界がありました。これに対し、モデルの更新を随時行う非同期型RLが登場しましたが、これまではスループット（処理量）の向上が優先され、学習の安定性やタスクの有効性については十分に検証されてきませんでした。SAOは、これらの課題を技術的なアプローチで克服しています。

エージェント型強化学習における非同期化の課題

従来、LLMの強化学習で広く用いられてきた「GRPO」などのフレームワークは、1つのプロンプトに対して複数の出力を生成する「グループサンプリング」を前提としています。しかし、この方式は非同期的なエージェント学習の設定には適合しにくく、オフポリシー（学習データと現在のポリシーの乖離）による不安定さを招く原因となっていました。SAOは、この構造的な不一致を解消するために設計されました。

SAOを構成する主要な技術的アプローチ

• シングルロールアウトサンプリング (Single-rollout sampling): プロンプトごとに1つのロールアウト（試行）のみを使用する手法です。これにより、グループサンプリングに起因する非効率性を排除し、オフポリシーの影響を軽減して汎化性能を向上させます。
• 実用的なバリューモデル設計: シングルロールアウト戦略を補完するため、価値関数（Value Model）のトレーニング設計を最適化し、学習の精度を高めています。
• 厳格な二面トークンレベル・クリッピング (Two-sided token-level clipping): 最適化の安定性を確保するため、トークン単位で厳格な二段階のクリッピングを適用します。これにより、大規模なステップ数（1,000ステップ以上）でも崩壊することなく安定した学習継続が可能になります。

ベンチマークによる性能検証と実用性

SAOの有効性は、複数の難関ベンチマークによって実証されています。コーディング能力を測る「SWE-Bench Verified」や、高度な推論を必要とする「BeyondAIME」、「IMOAnswerBench」において、GRPOおよびその派生手法を継続的に上回るスコアを記録しました。また、環境の変化に適応し続ける必要がある「シミュレーション上のオンライン学習設定」においても、シングルロールアウト方式が特に有効であることが示されています。

大規模モデルへの適用と今後の展望

SAOは理論的な提案に留まらず、オープンな大規模言語モデルである「GLM-5.2（パラメータ数 750B、活性化パラメータ数 40B）」のエージェントRLパイプラインに実際に導入されました。1,000ステップに及ぶ安定した学習実績と、特定ドメインでの高いパフォーマンスは、今後の自律型AIエージェントの開発において、非同期強化学習が標準的な選択肢となり得ることを示唆しています。