BEACON: agentes de longo horizonte guiados por marcos

Agentes de longo horizonte — aqueles que rodam por dezenas de passos antes que algo esteja verificavelmente concluído — falham de um jeito que agentes de horizonte curto não falham. O desempenho não degrada suavemente conforme as tarefas ficam mais longas. Ele despenca.

Um artigo recente do laboratório ZJU-REAL da Universidade de Zhejiang, Milestone-Guided Policy Learning for Long-Horizon Language Agents, diagnostica esse penhasco com precisão suficiente para ser útil mesmo que você nunca treine uma política. O método se chama BEACON; o código é aberto.

Lemos com atenção porque o problema descrito é o mesmo que encontramos repetidamente no lado do produto. A seguir: o argumento do artigo, um ponto em que precisamos refazer a matemática para reconciliar um resultado, e o que acreditamos que se transfere para a arquitetura de agentes.

Dois modos de falha, ambos mensuráveis

O que mais valorizamos é que o artigo não começa pelo método. Começa por uma autópsia: Qwen2.5-1.5B treinado com GRPO no ALFWorld, com o colapso decomposto em duas causas quantificadas.

Atribuição incorreta de crédito

RL em nível de trajetória trata uma execução como uma sequência plana de ações. Toda ação compartilha uma única pontuação terminal. Assim, a mesma ação correta ganha gradiente positivo numa execução bem-sucedida e negativo numa que falhou — se ela estava "certa" depende do que aconteceu depois.

Os autores quantificam isso como Contradictory Action Ratio: a fração de ações que recebem advantages de sinais opostos entre trajetórias apesar de executadas em estados idênticos. O pico passa de 40%. Depois que esses gradientes se cancelam, o sinal efetivo de aprendizado cai abaixo de 20%.

Ineficiência de amostras

Separe as trajetórias em três grupos — sucesso total, sucesso parcial (ao menos um subobjetivo concluído, tarefa ainda falha) e falha total:

• Sucessos parciais se mantêm em 39–47% das amostras ao longo do treinamento.
• Sucessos totais ficam abaixo de 27%.

No GRPO, sucesso parcial e falha total pontuam zero igualmente. Mais de 73% das amostras não produzem nenhum sinal de aprendizado.

Os dois problemas se agravam conjuntamente com o horizonte: tarefas mais longas têm menor taxa de sucesso (mais sucessos parciais) e dão à aleatoriedade posterior mais chances de corromper o crédito. Concretamente, no ALFWorld: 76,7% em tarefas curtas, 53,5% nas longas.

A percepção central: tarefas longas já têm estrutura

Tarefas de longo horizonte se decompõem em fases delimitadas por marcos — transições de estado verificáveis que assinalam a conclusão de um subobjetivo. A otimização plana simplesmente descarta essa estrutura.

Os autores formalizam isso como a Propriedade de Markov de Marcos: uma vez alcançado um estado de marco, a distribuição sobre o restante da trajetória depende principalmente de quais subobjetivos restam, não de todo o histórico de como você chegou lá.

Depois que você tem a chave, o que acontece a seguir depende do que você faz com ela — não de como você a encontrou.

É essa propriedade de Markov aproximada que torna o crédito desacoplável entre segmentos.

O método, em três passos

1. Particionar nos marcos

Um detector Φ sinaliza os instantes de marco e corta a trajetória em segmentos. A decisão de projeto que consideramos subestimada: Φ não precisa de modelo treinado nem de anotação humana. Ele lê mudanças de estado observáveis direto do feedback do ambiente — transições de estado de objetos no ALFWorld, transições de página no WebShop, sinais explícitos de subobjetivo no ScienceWorld.

Zero modelos extras, zero rollouts extras. É toda a vantagem de custo sobre modelos de recompensa de processo e estimação de valor por Monte Carlo.

2. Modelagem temporal de recompensa dentro de cada segmento

r_t = R_ms * γ^(t_k − t)   se o segmento k termina em um marco concluído
    = 0                    caso contrário

Só segmentos que terminam em um marco ganham recompensa, e dentro deles as ações mais próximas do marco ganham mais. Toda ação de um segmento concluído passa a carregar sinal, então sucessos parciais deixam de ser descartados.

3. Advantage em escala dupla

O nível de trajetória é a normalização GRPO padrão sobre recompensas terminais. A ideia mora no nível de segmento — na definição do grupo de comparação:

G_k = { i : K_i ≥ k }          # só trajetórias que TAMBÉM alcançaram o marco k

A_seg(i,t) = r_t − (1/|G_k|) · Σ_{j∈G_k}  R_k(j) / |Seg_k(j)|
                               └── retorno MÉDIO POR PASSO do grupo ──┘

Ações no segmento k são comparadas apenas com trajetórias que também alcançaram o marco k. Disso os autores derivam uma propriedade de isolamento de variância: o sucesso ou fracasso de segmentos posteriores não pode, matematicamente, contaminar o crédito do segmento atual.

O advantage final é A_traj + λ · A_seg, otimizado com um surrogate PPO padrão. Os hiperparâmetros γ=0,95 e λ=1,0 são fixos em todos os benchmarks — sem ajuste por tarefa.

Resultados

ALFWorld, Qwen2.5-1.5B:

Taxa de sucesso nos outros dois ambientes:

O modelo de 1,5B supera o GPT-4o no ALFWorld (91,4 vs 48,0) e no WebShop (75,6 vs 23,7), e empata no ScienceWorld (45,3 vs 45,4). Ressalva justa: os modelos fechados são usados com prompt ReAct, não treinados. A utilização de amostras sobe de 23,7% para 82,0%, e a convergência é mais rápida — 60% de sucesso na iteração 50, contra a iteração 120 do GRPO.

O resultado mais convincente é que os ganhos escalam com o horizonte. No 7B, a melhoria relativa sobre o GRPO vai de +13% em tarefas curtas a +39% nas longas; o GiGPO só vai de +11% a +22%. A razão importa: o GiGPO monta grupos de comparação em nível de passo a partir de estados repetidos, e conforme a política melhora e as trajetórias se diversificam, a recorrência de estados fica mais rara — sua própria fonte de sinal se corrói. Âncoras de marco não decaem conforme a política fica mais forte.

Um método cujo benefício cresce à medida que o problema fica mais difícil é uma afirmação bem mais forte do que uma média maior.

A métrica que parece uma contradição

O artigo define um Credit Concentration Ratio — a magnitude média do advantage em ações de marco dividida pela das ações que não são de marco. Acima de 1 significa que o crédito se concentra nos marcos.

Ou seja, o método de melhor desempenho é o que menos concentra crédito nos passos-chave — o que se lê como contradição direta de "ações mais próximas do marco recebem mais recompensa". Não é. As duas afirmações medem quantidades diferentes, com duas transformações no meio.

Transformação 1 — recompensa modelada. Dentro de um segmento, a recompensa realmente cresce monotonicamente rumo ao marco. Com γ=0,95 e segmento de comprimento 5, as cinco ações recebem 0,8145; 0,857; 0,9025; 0,95; 1,0. Mas isso é recompensa, não o crédito que chega ao gradiente.

Transformação 2 — subtrair a baseline do grupo. A baseline é o retorno médio por passo do grupo (retorno do segmento ÷ comprimento do segmento). Para um segmento de comprimento L, o retorno por passo é (1−γ^L) / (L(1−γ)):

Se o seu segmento levou 8 passos enquanto a média do grupo foi 5, seu retorno por passo fica abaixo da baseline e o advantage do segmento inteiro pende para o negativo. Repare no que isso significa: a punição por rodeios não vem do decaimento em si — vem do decaimento agindo através da baseline por passo. O decaimento sozinho apenas ordena ações dentro de um segmento. Até aqui, o CCR dentro de um segmento concluído ainda é maior que 1.

Transformação 3 — somar o termo de trajetória. É aqui que o CCR cai abaixo de 1, por dois efeitos assimétricos. Primeiro, o segmento final de uma trajetória que falhou não entra em nenhum grupo de comparação: como G_k = {i : K_i ≥ k} e a cauda incompleta tem índice K_i + 1 > K_i, aquela trajetória fica de fora. A cauda não recebe advantage de segmento, só o termo de trajetória em magnitude cheia — e todas essas são ações que não são de marco, inflando o denominador. Segundo, em trajetórias que falharam o termo negativo de trajetória cancela o crédito positivo de segmento nas ações de marco, comprimindo sua magnitude para perto de zero.

A própria Figura 8 do artigo confirma. Numa trajetória que falhou após concluir os marcos S3 e S4:

Os dois últimos valores são idênticos — a impressão digital de "o segmento final só recebe o termo de trajetória", o que permite ler A_traj ≈ −2,20. As duas ações de marco são positivas, mas com magnitude de apenas ~0,5, porque o termo negativo de trajetória consumiu a maior parte do crédito de segmento. O CCR dessa trajetória é 0,23; numa trajetória bem-sucedida é 2,95. O 0,84 global é a mistura.

Portanto o CCR mede a concentração da magnitude do gradiente, não quem foi recompensado. CCR baixo não é um objetivo de projeto — é subproduto da alocação densa dentro do segmento somada à sobreposição em escala dupla. A conclusão dos autores continua válida, e é boa: não despeje toda a energia do gradiente nos passos-chave. O 2,36 do GiGPO significa que as ações preparatórias do meio quase não recebem sinal — e são exatamente elas que tornam possível alcançar um marco.

Algo que o artigo não explicita

Há uma célula estranha na tabela de ablação. Definir γ=1 — crédito uniforme dentro de cada segmento — dá 71,8, pior do que nenhuma modelagem (γ=0, 81,2) e até abaixo dos 72,8 do GRPO. O artigo atribui isso a "gradientes enganosos".

Refazendo a matemática, a resposta é mais afiada. Com γ=1, toda ação de um segmento concluído recebe a mesma recompensa, então todo segmento concluído — independentemente do comprimento — tem retorno por passo exatamente igual a R_ms. A baseline é igual a isso, e:

A_seg(i,t) ≡ R_ms − R_ms = 0    para toda ação

O canal de segmento não engana. Ele desaparece identicamente, e o método se reduz exatamente ao GRPO. Confira com a tabela: 71,8 contra 72,8 do GRPO — um ponto de diferença, que é ruído entre execuções.

Isso reenquadra para que serve o decaimento. Ele não é só diferenciar ações dentro de um segmento; é condição necessária para que o sinal de segmento exista. Sem ele, a baseline por passo cancela o sinal na hora.

Três experimentos que fecham as objeções óbvias

Crédito devido — os autores se antecipam às três perguntas de um leitor cético:

• Isso não é só clonagem de comportamento? SFT sobre trajetórias oráculo chega a 43%; o BEACON chega a 91,4%. A política encontra estratégias melhores que o oráculo, então não está imitando.
• Os ganhos vêm apenas do fatiamento? Particionamento aleatório dá 74,2%, apenas 1,4 ponto acima do GRPO. Marcos reais dão 91,4% — uma diferença de 17,2 pontos. O benefício vem da estrutura intrínseca à tarefa.
• E se o detector for pouco confiável? Descartar 50% dos marcos aleatoriamente ainda rende 82,8%, dez pontos acima do GRPO. A degradação é suave.

O que se transfere para o design de agentes

BEACON é um método de treinamento, e a maioria dos produtos — o nosso incluído — orquestra modelos em vez de treiná-los. As fórmulas não se transferem. O diagnóstico sim, e ele mapeia para a arquitetura de forma surpreendentemente direta.

Progresso parcial precisa ser um estado de primeira classe e persistido. O número mais afiado do artigo é que 39–47% das execuções concluem subobjetivos reais e são pontuadas igual a execuções que não fizeram nada. Uma sessão longa de agente que conclui três subobjetivos e então trava tem o mesmo problema: se o sistema registra apenas "em execução" e "concluído", esse progresso é jogado fora e a nova tentativa começa do zero. Marcos dão o vocabulário para registrá-lo.

Marcos devem vir de efeitos colaterais observáveis, não de autorrelato. Φ é barato porque lê transições de estado verificáveis em vez de perguntar à política se houve progresso. Runtimes de agentes têm o mesmo ativo disponível e frequentemente o ignoram: um arquivo escrito, um teste que saiu com código zero, uma chamada de conector que retornou sucesso, um documento gravado na base de conhecimento. Isso é verdade de campo. Um modelo afirmando "passo um concluído" não é.

Fronteiras de marco são pontos principiados de compactação e de retomada. A Propriedade de Markov de Marcos diz que, alcançado um marco, o que veio antes importa bem menos. É uma justificativa muito melhor para compactar contexto do que "batemos no limite de tokens", e a mesma fronteira é o checkpoint natural para retomar após uma falha.

Verifique em duas escalas, não em uma. Esta é a ablação que sublinharíamos para quem constrói fluxos de agentes: remover o sinal de trajetória derruba o ALFWorld de 91,4% para 23,4%. Só com feedback de segmento, a política reforça comportamentos que atingem marcos intermediários enquanto se desviam do objetivo real — cada subtarefa executada lindamente, a entrega errada. Aceitação de subtarefa e aceitação da entrega final não são substitutas. Vale notar que o peso necessário varia por tarefa: o WebShop ainda mantém 67,9% sem o nível de trajetória, porque seus marcos se alinham de perto ao sucesso final; o ALFWorld colapsa.

Limitações, ditas com honestidade

A maior restrição é se Φ é sequer obtenível. Os três benchmarks derivam marcos de regras — correspondência de padrões nas respostas do ambiente, transições de página, sinais explícitos de subobjetivo. Cenários abertos como automação de navegador, refatoração de bases de código e pesquisa profunda não têm essas transições verificáveis prontas, e os autores listam a descoberta automática de marcos como problema em aberto. Isso se lê como um paradigma validado em ambientes estruturados, não uma receita de engenharia para levar como está.

A granularidade dos marcos também é sensível: esparsa demais e o método degenera rumo ao GRPO; densa demais e os advantages de segmento viram ruído. A propriedade de Markov é apenas aproximada, e o isolamento de variância se apoia nela. Os experimentos param em 7B com espaços de ação textuais discretos — controle contínuo e cenários multiagente não foram testados.

Ainda assim, a tese central é difícil de contestar: tarefas longas têm estrutura composicional explorável, e tratar essa estrutura como objeto de primeira classe supera esperar que o modelo a acompanhe no contexto. Estamos aplicando esse raciocínio ao suporte a tarefas de longo horizonte no Orkas, e compartilharemos mais do design conforme ele chegar.