BEACON：マイルストーンで導く長期ホライズン Agent

長期タスクを担う Agent — 検証可能な成果が出るまでに数十ステップを要するタイプ — は、短いタスクの Agent とは違う壊れ方をします。タスクが長くなるにつれて性能が緩やかに落ちるのではなく、崖のように落ちます。

浙江大学 ZJU-REAL 研究室の最近の論文 Milestone-Guided Policy Learning for Long-Horizon Language Agents は、その崖を十分に明確に診断しています。自分でモデルを学習させない人にとっても役に立つほど明確です。手法名は BEACON、コードはオープンソースです。

私たちが丁寧に読んだのは、この論文が描く問題が、プロダクト側で私たちが繰り返し直面しているものと同じだからです。以下では論文の主張、結果を突き合わせるために自分で数式を追う必要があった箇所、そして Agent アーキテクチャに移せると考える部分を扱います。

二つの失敗モード、どちらも測定可能

最も評価したいのは、手法から始めていない点です。まず検死から入ります。Qwen2.5-1.5B を GRPO で ALFWorld 上で学習させ、崩壊を二つの定量化された原因に分解しています。

信用の誤帰属

軌跡レベルの RL は一回の実行をフラットな行動列として扱い、すべての行動が一つの終端スコアを共有します。そのため同じ正しい行動でも、成功軌跡では正の勾配、失敗軌跡では負の勾配を受け取ります。それが「正しかったか」はその後に起きたことで決まってしまいます。

著者はこれを Contradictory Action Ratio として定量化します。同一状態で実行された同じ行動が、軌跡をまたいで逆符号の advantage を受け取る割合です。ピークは 40% 超。これらの勾配が打ち消し合った後、実効的な学習信号は 20% を下回ります。

サンプルの浪費

軌跡を三つに分類します。完全成功、部分成功（サブゴールを少なくとも一つ達成したがタスクは失敗）、完全失敗です。

• 部分成功は学習を通じて 39〜47% で安定して推移します。
• 完全成功は常に 27% 未満です。

ところが GRPO では部分成功も完全失敗も同じ 0 点です。73% を超えるサンプルが学習信号を一切生みません。

二つの問題は horizon が伸びるほど複合的に悪化します。長いタスクほど成功率が低く（部分成功が増え）、下流のランダム性が信用を汚染する機会も増えるからです。具体的には ALFWorld で、短いタスク 76.7%、長いタスク 53.5% です。

核心的な洞察：長いタスクには元から構造がある

長期タスクはマイルストーンで区切られたフェーズに自然に分解されます。マイルストーンとは、サブゴール達成を示す検証可能な状態遷移のことです。フラットな最適化はその構造をただ捨てています。

著者はこれをマイルストーン・マルコフ性として定式化します。あるマイルストーン状態に到達したら、残りの軌跡の分布は主に「どのサブゴールが残っているか」に依存し、そこに至るまでの全履歴には依存しない、というものです。

鍵を手に入れたら、次に何が起きるかは鍵をどう使うかで決まる。どうやって見つけたかでは決まらない。

この近似マルコフ性こそが、信用をセグメント間で切り離せる根拠です。

手法：三つのステップ

1. マイルストーンで分割する

検出器 Φ がマイルストーンの時刻を検出し、軌跡をセグメントに切ります。過小評価されていると思う設計判断は、Φ が学習済みモデルも人手のアノテーションも必要としない点です。環境フィードバックから観測可能な状態変化を読むだけ — ALFWorld の物体状態遷移、WebShop のページ遷移、ScienceWorld が明示的に出すサブゴール信号です。

追加モデルゼロ、追加ロールアウトゼロ。これがプロセス報酬モデルやモンテカルロ価値推定に対するコスト優位のすべてです。

2. セグメント内の時間的報酬シェーピング

r_t = R_ms * γ^(t_k − t)   第 k セグメントがマイルストーン達成で終わる場合
    = 0                    それ以外

マイルストーンで終わるセグメントだけが報酬を得て、その中ではマイルストーンに近い行動ほど多く得ます。完了セグメント内のすべての行動が信号を持つため、部分成功が捨てられなくなります。

3. デュアルスケール advantage

軌跡レベルは終端報酬に対する標準的な GRPO 正規化です。アイデアの本体はセグメントレベル — 比較グループの定義にあります。

G_k = { i : K_i ≥ k }          # マイルストーン k に「同じく到達した」軌跡だけ

A_seg(i,t) = r_t − (1/|G_k|) · Σ_{j∈G_k}  R_k(j) / |Seg_k(j)|
                               └── グループ平均の「1 ステップあたり」リターン ──┘

第 k セグメントの行動は、同じくマイルストーン k に到達した軌跡とだけ比較されます。ここから著者は分散分離の性質を導きます。後続セグメントの成否は、数学的に現在のセグメントの信用を汚染できません。

最終的な advantage は A_traj + λ · A_seg で、標準的な PPO clipped surrogate で最適化します。ハイパーパラメータ γ=0.95、λ=1.0 は全ベンチマークで固定、タスクごとの調整はしていません。

結果

ALFWorld、Qwen2.5-1.5B：

他の二環境の成功率：

1.5B のモデルが ALFWorld（91.4 対 48.0）と WebShop（75.6 対 23.7）で GPT-4o を上回り、ScienceWorld では同等（45.3 対 45.4）です。ただし公平を期すと、クローズドモデルは ReAct プロンプトであり学習はしていません。サンプル利用率は 23.7% から 82.0% に上がり、収束も速く、50 イテレーションで成功率 60% に達します（GRPO は 120 必要）。

最も説得力があるのは、利得が horizon とともに拡大することです。7B では GRPO 比の相対改善が、短いタスクの +13% から長いタスクの +39% へ拡大します。GiGPO は +11% から +22% にとどまります。理由が重要です。GiGPO は状態の再出現からステップレベルの比較グループを作りますが、方策が強くなり軌跡が多様化するほど再出現は疎になり、信号源そのものが痩せていきます。マイルストーンのアンカーは方策が強くなっても減衰しません。

問題が難しくなるほど利得が増える手法である、というのは平均点が高いことよりずっと強い主張です。

矛盾に見える指標

論文は Credit Concentration Ratio を定義します。マイルストーン行動の平均 advantage 絶対値を、非マイルストーン行動のそれで割った値です。1 を超えると信用がマイルストーンに集中していることを意味します。

つまり最も性能の良い手法が、重要ステップへの信用集中が最も弱いということになります。これは「マイルストーンに近い行動ほど報酬が高い」と真っ向から矛盾して読めます。実際には矛盾していません。二つの記述は別の量を測っており、間に二つの変換が挟まっています。

変換 1：シェープされた報酬。セグメント内で報酬はマイルストーンに向けて単調増加します。γ=0.95、セグメント長 5 なら、五つの行動は 0.8145、0.857、0.9025、0.95、1.0 を得ます。ただしこれは報酬であって、勾配に届く信用ではありません。

変換 2：グループのベースラインを引く。ベースラインはグループ平均の1 ステップあたりリターン（セグメントのリターン ÷ セグメント長）です。長さ L のセグメントでは (1−γ^L) / (L(1−γ)) になります。

グループ平均が 5 ステップのところ自分が 8 ステップかかったなら、1 ステップあたりリターンはベースラインを下回り、セグメント全体の advantage が負に傾きます。ここが重要です。回り道への罰は減衰そのものからではなく、減衰が 1 ステップあたりベースラインを通じて働くことから生じます。減衰単体はセグメント内の順序をつけるだけです。この時点では、完了セグメント内部の CCR はまだ 1 より大きいままです。

変換 3：軌跡レベル項を足す。CCR が 1 を下回るのはここで、二つの非対称な効果によります。第一に、失敗軌跡の末尾セグメントはどの比較グループにも入りません。G_k = {i : K_i ≥ k} であり未完了の末尾の添字は K_i + 1 > K_i なので、その軌跡は除外されます。末尾はセグメントレベル advantage を一切得ず、軌跡レベル項だけをフルの絶対値で受け取ります。しかもそれらはすべて非マイルストーン行動なので、分母を押し上げます。第二に、失敗軌跡では負の軌跡レベル項が、マイルストーン行動上の正のセグメントレベル信用を打ち消し、絶対値をゼロへ圧縮します。

論文自身の Figure 8 がこれを裏づけます。マイルストーン S3 と S4 を達成した後に失敗した軌跡では：

最後の二つの値が完全に同一である点が「末尾セグメントは軌跡レベル項しか受け取らない」ことの指紋で、そこから A_traj ≈ −2.20 を読み取れます。二つのマイルストーン行動は正ですが絶対値は 0.5 前後にすぎません。負の軌跡レベル項がセグメントレベル信用の大半を食べたからです。この軌跡の CCR は 0.23、成功軌跡では 2.95。全体の 0.84 はその混合です。

つまり CCR が測っているのは勾配の絶対値の集中度であって、「誰が報酬をもらったか」ではありません。低い CCR は設計目標ではなく、セグメント内の密な配分とデュアルスケールの重ね合わせの副産物です。それでも著者の結論は有効で、良い洞察です。勾配のエネルギーを重要ステップに全部注ぎ込んではいけません。GiGPO の 2.36 は、その間の準備的な行動がほとんど信号を得ていないことを意味し、それこそがマイルストーン到達を可能にしている行動なのです。

論文が明言していない点

アブレーション表に奇妙なセルがあります。γ=1（セグメント内で均一な信用）は 71.8 で、シェーピングなし（γ=0、81.2）より悪く、GRPO の 72.8 すら下回ります。論文はこれを「誤解を招く勾配」に帰しています。

数式を追うと答えはもっと鋭くなります。γ=1 では完了セグメント内の全行動が同じ報酬になるため、長さによらずすべての完了セグメントの 1 ステップあたりリターンはちょうど R_ms です。ベースラインもそれと等しくなり：

A_seg(i,t) ≡ R_ms − R_ms = 0    すべての行動について

セグメントレベルのチャネルは誤解を招くのではなく、恒等的に消滅し、手法は厳密に GRPO へ縮退します。表と照合すると 71.8 対 GRPO 72.8 — 1 点差は実行ごとのノイズです。

これは減衰の役割を捉え直させます。セグメント内の行動を区別するだけでなく、セグメントレベル信号が存在するための必要条件なのです。減衰がなければ、1 ステップあたりベースラインが信号をその場で打ち消します。

明白な反論を潰す三つの実験

この点は評価に値します。著者は懐疑的な読者が投げる三つの問いに先回りしています。

• これは実質的に模倣学習では？ オラクル軌跡での SFT は 43%、BEACON は 91.4%。方策はオラクルより優れた実行戦略を見つけており、模倣ではありません。
• 利得は単に分割から来ているのでは？ ランダム分割は 74.2% で GRPO より 1.4 ポイント高いだけ。実際のマイルストーンでは 91.4%、差は 17.2 ポイント。利得はタスク固有の構造から来ています。
• 検出器が不正確なら？ マイルストーンの 50% をランダムに落としても 82.8% を維持し、GRPO より 10 ポイント高いままです。劣化は緩やかです。

Agent 設計に移せるもの

BEACON は学習手法であり、多くのプロダクトは — 私たちも含めて — モデルを学習させるのではなく編成しています。数式は移せません。しかし診断は移せますし、アーキテクチャに驚くほど直接対応します。

部分的な進捗は一級の永続的な状態でなければなりません。この論文の最も鋭い数字は、実行の 39〜47% が実際にサブゴールを達成しているのに、何もしなかった実行と同じ評価を受けるという点です。長時間走る Agent セッションが三つのサブゴールを終えてから停止した場合も同じ問題です。システムが「実行中」と「完了」しか記録していなければ、その進捗は捨てられ、リトライはゼロから始まります。マイルストーンはそれを記録するための語彙を与えてくれます。

マイルストーンは自己申告ではなく観測可能な副作用から取るべきです。Φ が安いのは、方策に「進捗したか」を尋ねるのではなく、検証可能な状態遷移を読むからです。Agent ランタイムは同じ資産を持ちながら、しばしば無視しています。書き込まれたファイル、終了コード 0 のテスト、成功を返したコネクタ呼び出し、ナレッジベースに保存された文書。これらが ground truth です。モデルが「ステップ 1 完了」と主張することは ground truth ではありません。

マイルストーン境界は原則に基づく圧縮点であり復帰点です。マイルストーン・マルコフ性は、マイルストーンに到達すればそれ以前の重要度が大きく下がると言っています。これは「トークン閾値に達したから圧縮する」よりはるかに良い根拠であり、同じ境界は失敗後に再開する自然なチェックポイントでもあります。

検証は一つではなく二つのスケールで。Agent ワークフローを作るすべての人に強調したいアブレーションがこれです。軌跡レベルの信号を外すと ALFWorld は 91.4% から 23.4% へ落ちます。セグメントレベルのフィードバックしかないと、方策は中間マイルストーンには到達しつつ本来のゴールから逸れる振る舞いを強化します。各サブタスクは見事に実行され、成果物は間違っている、という状態です。サブタスクの受け入れ検証と最終成果物の受け入れ検証は互いの代替になりません。必要な重みはタスクによって変わります。WebShop は軌跡レベルなしでも 67.9% を保ちます（マイルストーンが最終成功と密接に対応しているため）が、ALFWorld は崩壊します。

制限も正直に

最大の制約は Φ がそもそも入手可能かどうかです。三つのベンチマークはいずれもルールからマイルストーンを導いています — 環境応答へのパターンマッチ、ページ遷移、明示的なサブゴール信号。ブラウザ自動化、コードベースのリファクタリング、ディープリサーチのようなオープンな設定にはそうした既製の検証可能な遷移がなく、著者も自動マイルストーン発見を未解決問題として挙げています。構造化環境で検証されたパラダイムであって、そのまま持ち出せるエンジニアリングのレシピではありません。

マイルストーンの粒度も敏感です。疎すぎれば GRPO へ縮退し、密すぎればセグメント advantage がノイズになります。マルコフ性は近似にすぎず、分散分離はその上に立っています。実験は 7B、離散テキスト行動空間までで、連続制御やマルチエージェント設定は未検証です。

それでも中心的な主張には反論しづらいと感じます。長いタスクには利用可能な合成的構造があり、その構造を一級のオブジェクトとして扱うほうが、モデルが文脈内で覚えていてくれることを期待するより優れている。私たちはこの考え方を Orkas の長期タスク対応に適用しており、形になり次第さらに設計を共有します。