Tamamlandı Demek, Tamamlandığını Doğrulamak Değildir: Uzun Vadeli Ajanlar İçin Kilometre Taşı Tasarımı

Bu, uzun soluklu ajan tasarımı üzerine bir serinin ikinci notu; seriyi başlatan, şu çalışmayı dikkatle okumamızdı: BEACON (Zhejiang Üniversitesi, arXiv:2605.06078).

Buradaki ilk not döngü algılamanın ilerleyemeyen bir ajanı yakalayamayacağını savunuyordu; çünkü tekrar girdi tarafındaki, ilerleme ise çıktı tarafındaki bir sinyaldir. Bu sav ancak ilerlemenin karşılaştırılarak ölçülebileceği bir şey varsa geçerlidir. Bu not o şey hakkında.

Soruyu doğru biçimde sorun

Soru, "ajan bir adımı bitirdiğini nasıl bilir" değil. Soru şu: " sistem yalnızca bitirdiğini duyurması yerine, gerçekten bitirdiğini nasıl bilir?"

Arada tek bir katman fark var, ama güvenilirlikleri kıyaslanamaz.

İki yarı zaten elimizdeydi ve onları hiç birleştirmemiştik

Kendi uygulamamızı okurken şaşırtıcı olan kısım buydu.

İlk yarı. Kilometre taşları üründe zaten mevcut. Bir araç kalıcı bir görev planını tutuyor: uzun bir görevin nasıl parçalara ayrıldığı ve her adımın hangi durumda olduğu — bekliyor, sürüyor, tamamlandı, engellendi. Belirtilen amacı, uzun bir görev için istikrarlı bir ilerleme dayanağı sağlamak. Peki bir adım nasıl "tamamlandı" oluyor? Model bunu ilan ediyor.

İkinci yarı. Her araç çağrısından sonra ana makine bir dizi deterministik olguyu kaydeder: bir dosyanın içerik özetinin gerçekten değişip değişmediği, bir komutun çıkış kodunun ne olduğu, zaman aşımına uğrayıp uğramadığı. Bunlar ana makine tarafında kaydedilir ve model bağlamına hiç girmez; tam da bu nedenle uydurulamazlar.

Boşluk tam burada. Bir satır şöyle diyor: Bitirdim. Diğeri şöyle diyor: bir dosyanın özeti A'dan B'ye değişti. Hiçbir şey bunları yan yana koymadı.

Eksik olan bir veri yapısı veya gözlemlenebilirlik değil. İkisi arasındaki köprü.

Makaledeki en yararlı şey formül değil

BEACON en çok çift ölçekli avantajıyla bilinir, ancak alınmaya değer kısmı Φ algılayıcısını nasıl konumlandırdığıdır.

Φ ne eğitilmiş bir modele ne de insan etiketlemesine ihtiyaç duyar. Yalnızca ortam geri bildiriminde gözlemlenebilen durum değişikliklerini okur: ALFWorld'de nesne durum geçişleri (başarıyla alındı, ısıtma bitti), WebShop'ta sayfa geçişleri; ScienceWorld'de ise yalnızca ortamın zaten ürettiği alt hedef sinyalini kullanır.

Ek model sıfır, ek örnekleme maliyeti sıfır. Alternatiflerle karşılaştırın: süreç ödül modeli pahalı etiketleme gerektirir ve kandırılabilir; Monte-Carlo değer tahmini ise her karar noktasında ek deneme yürütmeleri gerektirir. Φ'nin kaçındığı maliyet budur.

Bir ajan ürünü geliştiren herkes, makalenin ortamlarında olmayan bir avantaja sahiptir: araç çağrıları, açık başarı ve başarısızlık bilgileriyle en baştan yapılandırılmıştır. Makalenin sinyalleri ortamdan çıkarması gerekiyordu. Bizimkiler zaten orada.

Bunu kuracak olsaydınız, üç katman

Birinci katman: deterministik kanıtları tek bir akışta toplayın. Hiçbir anlamsal yargı yok; yalnızca geri döndürülemez, doğrulanabilir değişikliklerin mekanik kaydı. Bir dosyanın içerik özeti değişti. Bir komut sıfır koduyla çıktı. Harici bir API çağrısı başarı döndürdü. Bir satır veritabanına kalıcı olarak işlendi. Bunların hepsi bugün mevcut. Yalnızca dağınıklar; şimdiye kadar kesinleştirilmiş olguların tek bir kaydında hiç toplanmadılar.

İkinci katman: iki yarıyı bağlayın. En yüksek değeri sağlayan adım. Model bir adımı tamamlandı ilan ettiğinde, sözüne güvenmekle yetinmeyin; o zaman aralığındaki birinci katman kanıtlarına bakın. Kanıt varsa şöyle işaretleyin: tamamlandığı doğrulandı. Kanıt yoksa şöyle işaretleyin: tamamlandığı bildirildi. Bu, modelin herhangi bir şey ilan etmesini engellemez; yalnızca desteklenenle desteklenmeyeni ayırır.

Üçüncü katman: her yetenek türü için Φ tanımlayın. Yazarlar, Φ'nin alan bilgisi gerektirdiğini ve iyi genellenemediğini kabul ediyor; dolayısıyla tek bir evrensel algılayıcı beklemeyin. Kodlama görevleri test çıkış kodlarını izler. Veri analizi görevleri çıktı dosyasının oluşup oluşmadığını izler. Mesajlaşma görevleri API yanıtını izler. Bu katman, her seferinde bir yetenek eklenerek yavaş yavaş geliştirilir.

Eklediğimiz bir ölçüt: önem değil, geri döndürülemezlik

Bu, makalede yok.

BEACON'un kilometre taşları işe yarar, çünkü geri alamayacağınız durum geçişlerini işaretlerler. Anahtarı aldığınızda dünya artık farklıdır. Dolayısıyla ölçüt şu olmalı: bu eylem geri döndürülemez bir dış yan etki üretti mi, şu değil: bu adım önemli miydi.

Geri döndürülemez: dosya yazmak, kodu commit etmek, mesaj göndermek, ücretli API çağırmak, veritabanına kalıcı olarak işlemek. Geri döndürülebilir: dosya okumak, aramak, sayfa getirmek, düşünmek.

Bundan iki sonuç çıkar. Eylem türü kararı belirlediği için mekanik olarak karara bağlanabilir; anlamsal anlayış gerekmez ve "model bu adımın önemli olduğunu düşündü" öznelliği sızmaz. Ayrıca kurtarma noktalarıyla örtüşür: geri döndürülebilir eylemler kolayca yeniden yapılabildiğinden, anlamlı olan tek devam biçimi geri döndürülemez bir sınırdan sürdürmektir.

İki sayı: biri cesaret, biri temkin için

Cesaret vereni, bozulma deneyi. Kilometre taşlarının yarısını rastgele çıkarın; skor, 72.8'lik taban çizgisine karşı hâlâ 82.8, yani on puan önde. Bozulma uçurum gibi değil, kademeli. Bunu kullanıma sunacak herkes için önemli kısım şu: açmaya cesaret etmeden önce Φ'yi kusursuz hâle getirmeniz gerekmiyor. Yarısını kapsamak bile karşılığını veriyor.

Temkin gerektireni, bölümlendirme karşılaştırması.

İlk not da bu sayıları alıntılamıştı, ancak burada sonuç daha doğrudan. Kilometre taşlarınız sezgiyle belirleniyorsa yaklaşık olarak rastgele bir bölünmeye denk gelirler ve emek boşa gider. Kilometre taşları, tam da görevin gerçek yapısıyla örtüştüklerinde değerlidir.

Bunun hangi noktalarda ihtiyatla ele alınması gerekiyor?

Makalenin kendi eki, otomatik kilometre taşı keşfini açık bir problem olarak listeliyor. Üç kıyaslama testinin tümü kilometre taşlarını kurallardan elde ediyor: ortam yanıtlarında örüntü eşleme, sayfa geçişleri veya ortamın doğrudan verdiği bir sinyal. Gerçekten açık uçlu ortamlarda — tarayıcı kullanımı, kod tabanı yeniden yapılandırmaları, derin araştırma — böyle hazır, doğrulanabilir geçişler yok.

Dolayısıyla bu, olduğu gibi alıp kullanabileceğiniz bir çözüm değil, yapılandırılmış ortamlarda doğrulanmış bir paradigmadır. Onu bir ajan ürününde işe yarar kılan, makalenin zaten sunduğu bir yanıt değil, araç çağrısının yapılandırılmış sınırıdır.

Diğer tuzak ayrıntı düzeyi. Çok seyrekse hiçbir şey yapmış olmazsınız; çok yoğunsa bölüm düzeyindeki sinyal gürültüye dönüşür. Ürün açısından bu, görev ayrıştırmasının ayrıntı düzeyidir ve burada makalenin ortamlarında olmayan bir kolaylık vardır. Plan adımları tasarım gereği kullanıcıya görünürdür; dolayısıyla ayrıntı düzeyi, tamamen algoritmayla ayarlanmak yerine bir insanın adımı anlayıp anlayamadığına dayandırılabilir.

Yalnızca bir şey yapacaksanız

İkinci katmanı yapın.

Ucuzdur; çünkü birinci katmanın verileri zaten vardır ve ikinci katman bunları yalnızca modelin bildirimleriyle ilişkilendirir. Bağımsız olarak doğrulanabilir; çünkü doğrulananların bildirilenlere oranı başlı başına izlemeye değer bir metriktir. Ve diğer her şeyin ön koşuludur: doğrulanmış kilometre taşı kavramı olmadan, ilk nottaki ilerleyememe algılamasının da sonraki nottaki sıkıştırma sınırının da dayanacağı bir temel yoktur.

Ayrıca iç rahatlatan bir özelliği vardır. Kullanıma sunulması davranışı değiştirmez; model adımları tam olarak eskisi gibi bildirir, yalnızca ek bir işaret bulunur. Veriler biriktikten sonra, kanıtsız gelen bildirimlere müdahale edip etmeyeceğinize karar verebilirsiniz.

Sonraki not bağlam sıkıştırmayı ele alıyor: token eşiğinde kesmenin, nelerin güvenle unutulabileceğiyle neden pek ilgisi olmadığını ve bu notu genişletmenin en doğal yoluna, yani bir kilometre taşı doğrulandıktan sonra ondan önceki her şeyin özetlenip kaldırılabileceği varsayımına bir düzeltmeyi.