Mengapa GPT-6 Astra jadi jago memahami ruang, dan apa artinya bagi 3D dan robot

Pada awal September, OpenAI merilis GPT-6 Astra, dan dua jenis video langsung menyebar dengan cepat. Di jenis pertama, model ini membangun rumah lengkap dengan perabotnya di Blender dari nol, lalu mengekspornya ke Unreal Engine 5, tempat Anda bisa masuk, membuka pintu, menyalakan lampu, dan menjalankan mesin espresso. Di jenis kedua, model ini mengarahkan lengan robot dan robot humanoid.

Bagaimana sebuah model bahasa tiba-tiba jadi jago memahami ruang? Apakah OpenAI sengaja mengoptimalkannya untuk itu? Lalu apa arti jalur ini bagi pembuatan 3D dan bagi “otak” robot? Kami membaca pengumuman, kartu sistem, dan blog pengembang OpenAI, evaluasi robot yang terbit sejak itu, serta analisis para peneliti. Versi singkatnya:

• Kemajuannya nyata, tetapi timpang: 3D, pelokalan visual, dan tugas interaktif melonjak, sementara kecerdasan umum nyaris tidak bergerak.
• Hasil pada robot sangat bergantung pada antarmuka. Model yang sama, jika dipakai dengan cara berbeda, mendapat skor yang sangat berbeda.
• Kemampuan ini kemungkinan besar berasal dari latihan di lingkungan yang menilai hasilnya sendiri, bukan dari arsitektur baru.
• Untuk pembuatan 3D dan otak robot, yang perlu diantisipasi adalah pembagian kerja baru, bukan satu model yang menggantikan model lain.

Angka resmi: lonjakan besar, tetapi tidak merata

Dibandingkan dengan GPT-5.6 Sol, pendahulu langsungnya, angka yang dipublikasikan OpenAI adalah sebagai berikut:

• BenchCAD: 83,3% → 95,9%. Model melihat render sebuah objek dari beberapa sudut dan menulis kode CAD yang membangunnya kembali — membuat model dari gambar.
• ScreenSpot-Pro (tanpa alat): 76,9% → 92,7%. Model harus menunjuk tombol atau elemen yang tepat pada tangkapan layar beresolusi tinggi dari perangkat lunak profesional.
• Pembacaan partitur: 0,19 → 0,84 pada kuartet gesek OpenScore, yaitu mengubah partitur cetak yang padat menjadi data musik terstruktur.
• ARC-AGI-3, benchmark teka-teki interaktif: 7,8% → 66% dengan kerangka uji standar benchmark tersebut, atau 99,9% dengan kerangka milik OpenAI sendiri.

Sebaliknya, Artificial Analysis Intelligence Index dari pihak ketiga hanya naik dari 60,9 ke 61,2 — masih di bawah Claude Fable 5.1 yang mencatat 65,7.

Jadi, Astra tidak menjadi lebih pintar di semua bidang. Ia menjadi jauh lebih baik dalam tugas yang menggabungkan melihat, bertindak, dan menyesuaikan. Yoav Artzi, peneliti di Cornell dan Google DeepMind, menyebutnya “lompatan besar” dalam penalaran spasial.

Apa yang sebenarnya dilakukannya di Blender

Blog pengembang OpenAI menguraikan sebuah proyek lengkap. Brief awalnya singkat: rancang rumah yang indah dengan perabot minimalis tetapi sangat detail serta taman yang asri, dan buat adegannya terasa sinematik.

• Astra menulis Blender Python (bpy) untuk membangun arsitektur, detail pertukangan kayu, perabot, tanaman, material, lampu, dan kamera.
• Ia merender pratinjau, mencari masalah, dan memperbaiki kodenya sendiri — tanaman yang saling menembus, atau wastafel baja yang normal permukaannya membuat cekungannya tampak penyok.
• Ia lebih dulu menggambar denah lantai untuk disetujui, lalu membangun ulang rumah itu menjadi hunian satu lantai berbentuk U dengan tiga kamar tidur dan satu ruang kerja.
• Ia mengekspor adegan ke Unreal Engine 5 sebagai penjelajahan sudut pandang orang pertama, tempat pintu, laci, lampu, dan mesin espresso semuanya berfungsi.

Hasil akhirnya bukan gambar, melainkan adegan Blender yang bisa terus Anda sunting.

Batasannya juga sama jelasnya:

• Geometri buatan manusia yang teratur berhasil dengan baik: bangunan, perabot, komponen CAD, dan model hard-surface seperti kapal luar angkasa atau bola Dyson.
• Bentuk organik tidak. Minta ia memodelkan manusia atau sapi, tulis peneliti Wentao Zhu, dan hasilnya buruk.
• Dalam proyek OpenAI sendiri, hutan, pakis, dan bebatuannya adalah aset siap pakai dari Poly Haven. Alur kerja yang umum di komunitas adalah membuat model dengan alat 3D seperti Tripo, lalu menyerahkan material, shape key ekspresi wajah, dan rigging kepada Astra.

Satu gagasan menjelaskan pola ini: kode adalah geometri yang dikompresi. Sebuah lemari hanyalah beberapa kotak, satu ekstrusi, dan satu array — segelintir baris. Wajah, pohon, atau kain yang menjuntai butuh jauh lebih banyak. Astra menulis program, jadi apa pun yang bisa dijelaskan dengan program pendek ia tangani sendiri, sedangkan yang membutuhkan program panjang sebaiknya ia serahkan ke generator khusus. Aturan yang sama muncul lagi pada robot.

Robot: hasilnya kuat, tetapi perhatikan kondisinya

RoboDojo adalah benchmark robot dengan 42 tugas simulasi dan papan peringkat berisi 40 kebijakan robot terlatih. Para penulis salah satu evaluasi memasang Astra langsung sebagai kebijakannya: tanpa fine-tuning, tanpa keterampilan menggenggam siap pakai, tanpa data kedalaman. Ia melihat tiga tampilan kamera berwarna dan status robot, lalu di setiap langkah menyebutkan ke mana lengan harus bergerak.

• Astra mencatat rata-rata keberhasilan 22,48% dan menempati peringkat pertama. Dengan pengaturan yang sama, GPT-5.5 hanya mencapai 0,88%.
• Profilnya timpang. Ia unggul pada tugas terbuka (31% berbanding 2,1% untuk DM0.5) dan generalisasi (30,5% berbanding 11%), tetapi tertinggal pada presisi (4% berbanding 16,8%), tugas jangka panjang, dan memori.

Sederhananya: untuk tugas yang butuh pemahaman, ia menang; untuk tugas yang butuh tangan yang mantap, ia kalah.

Pelajaran yang lebih besar adalah seberapa besar hasilnya bergantung pada antarmuka:

1. Hanya gambar berwarna, satu posisi target per langkah (RoboDojo): 4% pada tugas presisi; dari 33 percobaan robot nyata yang dijalankan dengan tombol henti darurat siaga, satu berhasil penuh.
2. Tiga kamera, hingga 20 panggilan model per percobaan (pengujian Robocurve pada lengan robot nyata): 19 dari 20 balok masuk ke mangkuk, tetapi hanya 2 dari 20 kepingan puzzle masuk ke alurnya.
3. Kamera kedalaman, plus izin menulis kode geometrinya sendiri (makalah Agent as Policy v1 · Tabel 1): 4 dari 5 perakitan empat pasang, 5 dari 5 pembalikan dadu, dan susunan balok dengan skor 5/5, 5/5, dan 4/5 — dengan rata-rata waktu percobaan yang berhasil sekitar 21–54 menit, tergantung tugas.
4. Memanggil keterampilan robot yang sudah ada atau model VLA: tugas panjang bisa diselesaikan. Dalam satu laporan, sistem hibrida tempat Astra meninjau dan mengoreksi tindakan VLA berhasil dalam 48% percobaan, pada tugas yang jika dikerjakan Astra sendirian hanya berhasil 26%.

Ini tugas yang berbeda dan tidak bisa dibandingkan secara langsung, tetapi semuanya menunjuk ke arah yang sama. Studi robotika Anthropic pada bulan Juli menemukan hal serupa: skor robotika sebuah model sama bergantungnya pada tubuh robot dan antarmuka kendali seperti pada modelnya sendiri. Setiap klaim tentang seberapa bagus Astra dalam urusan ruang perlu disertai keterangan “dengan antarmuka apa”.

Tiga hal yang perlu diingat saat demo-demo itu lewat di linimasa Anda:

1. Video viral “mengurai bagian-bagian yang saling mengait, memasukkan tali melewati tiga cincin” adalah putar ulang kinematik dalam simulasi. Halaman metode milik penulisnya menyebutkan bahwa video itu dimulai dari kondisi yang sudah tergenggam dan mengasumsikan genggaman ideal: yang ditampilkan adalah jalur yang direncanakan, bukan robot yang dikendalikan secara langsung.
2. “25 kali lebih baik daripada model lama” membandingkan Astra dengan GPT-5.5, bukan dengan pendahulu langsungnya, GPT-5.6 Sol. Dalam perbandingan perakitan dua pasang (AGP v1 · Tabel 2), Sol dan Claude Opus 5 juga menyelesaikan 5/5 percobaan; rata-rata waktu percobaan Astra yang berhasil adalah 9,2 menit, dibandingkan 14,2 menit untuk Sol. Dalam perbandingan piramida terpisah (AGP v1 · Lampiran C, Tabel 5), Astra berhasil 10/10 kali, sedangkan Sol 7/10.
3. Robot dapur HomeBody dari Stanford: Astra yang berpikir — ke mana harus pergi, apa yang harus diambil, apa yang dikerjakan lebih dulu — dan bahkan membangun kembaran digital dapurnya. Berjalan, menggenggam, dan menjaga keseimbangan berasal dari SLAM, estimasi kedalaman, perencanaan gerak, dan pengendali tingkat rendah yang sudah dilatih sebelumnya.

Dari mana kemampuan ini berasal

OpenAI secara resmi menyatakan dua hal: Astra mendapat “pelatihan terarah untuk lingkungan profesional”, dan seperti model penalaran OpenAI lainnya, ia dilatih dengan pembelajaran penguatan (reinforcement learning). OpenAI tidak mengungkapkan data pelatihannya, apakah Blender dilibatkan, atau apakah data robot digunakan. Uraian berikut adalah kesimpulan dari bukti publik.

Intinya adalah sebuah siklus: ambil satu langkah, lihat hasilnya, temukan yang salah, perbaiki.

• Saat bekerja, Astra menulis kode Blender, merender, memeriksa, dan menyunting; pada robot, ia melihat, menetapkan target, mengeksekusi, memeriksa, dan mengoreksi. Dalam kata-kata Wentao Zhu: “Yang dilakukan model ini sederhana: menulis kode (Blender), merender, memeriksa gambarnya, menemukan yang salah, memutuskan apa yang perlu diubah, lalu mengulanginya.”
• Saat pelatihan, siklus yang sama kemungkinan menjadi sumbernya. OpenAI dilaporkan membeli puluhan ribu Mac mini dan Mac Studio untuk melatih penggunaan komputer: beri model sebuah tugas, biarkan ia membaca tangkapan layar dan mengirim aksi mouse dan keyboard ke Mac, lalu beri imbalan pada percobaan yang berhasil.

1. Pembelajaran penguatan berskala besar di lingkungan yang menilai hasilnya sendiri (kemungkinan: sedang-tinggi). Komputer, kode, dan perangkat lunak 3D semuanya bisa memverifikasi hasil secara otomatis, sehingga melatih keterampilan umum untuk memeriksa, menemukan kesalahan, dan memperbaikinya. Lonjakan di ARC-AGI-3 yang interaktif, dari 7,8% ke 66%, adalah sinyal yang sama.
2. Keterampilan menunjuk dari penggunaan komputer terbawa ke robot (sedang). ScreenSpot-Pro naik dari 76,9% ke 92,7%, jadi model menjadi jauh lebih baik dalam mengenai titik yang tepat pada gambar. Di HomeBody, Astra mengambil objek dengan menyebutkan titik seperti itu pada gambar kamera; data kedalaman dan kalibrasi lalu mengubahnya menjadi posisi 3D.
3. Blender dan CAD sendiri menjadi lingkungan pelatihan (sedang-rendah, belum dikonfirmasi). BenchCAD melonjak, OpenAI mengedepankan demo 3D, dan Yoav Artzi menduga ada pelatihan dengan data 3D dalam jumlah besar seperti adegan Blender. Belum ada konfirmasi resmi apa pun.
4. Arsitektur baru (rendah). Astra dilaporkan menggunakan kedalaman berulang (recurrent depth) di sebagian jaringannya, tetapi kepala ilmuwan OpenAI, Jakub Pachocki, mengatakan bahwa kedalaman graf komputasi model-model frontier saat ini, termasuk Astra, masih dalam rentang dua kali lipat kedalaman GPT-4.

Pandangan kami: kemampuan spasial ini kemungkinan besar tidak datang dari arsitektur spasial khusus, melainkan dari mengubah tugas-tugas spasial menjadi lingkungan latihan yang menilai hasilnya sendiri, lalu melatih model di sana dengan pembelajaran penguatan serbaguna.

Apa artinya bagi pembuatan 3D

Kini ada dua cara membuat 3D:

• Agen mengendalikan engine. Seperti Astra di Blender atau CAD, agen menghasilkan adegan yang bisa disunting, lengkap dengan material, lampu, dan sendi. Prosesnya lambat — dari hitungan menit hingga semalaman — tetapi strukturnya akurat, bisa disunting, dan bisa diperiksa.
• Model menghasilkan aset. TRELLIS, Hunyuan3D, Tripo, Meshy, dan model sejenis menghasilkan mesh dalam hitungan detik hingga menit. Model ini kuat untuk bentuk organik dan detail, tetapi hasilnya sulit disunting, dan topologi, UV, serta rigging sering perlu dikerjakan ulang.

Kami memperkirakan keduanya akan saling melengkapi, sementara nilainya bergeser:

• Agen mengambil alih langkah yang paling padat karya: tata letak, pencahayaan, pengambilan kamera, revisi, dan QA.
• Generator menjadi alat pembuat aset untuk manusia, hewan, dan tanaman, dan harus bisa dipanggil oleh agen, misalnya sebagai server MCP atau API.
• Layanan “satu prompt, satu objek” berada di bawah tekanan paling besar. Hasil yang siap produksi (topologi bersih, UV, rig) dan siap simulasi (sendi, massa, gesekan) menjadi arena persaingan baru.

Peluang baru terbesar bukanlah 3D yang lebih cantik, melainkan dunia tempat berlatih.

• Di HomeBody, Astra membangun kembaran digital dapur di simulator dari geometri SLAM, tampilan kamera, dan data sendi milik robot itu sendiri, lalu merencanakan tugas dengannya.
• Tim Wentao Zhu mendemonstrasikan fisika invers: hanya dengan sebuah video dan gaya tarikan, model menyimpulkan massa, gesekan, dan redaman sebuah laci, lalu mereproduksi gerakannya dalam simulasi.

Dengan kata lain, kemampuan 3D bermuara pada dunia latihan bagi robot. Masalahnya: massa dan gesekan tidak bisa dibaca dari video saja, jadi pada titik tertentu harus ada sesuatu yang benar-benar mendorong objek nyata.

Model dunia murni juga belum tersingkir dari persaingan. Atlas dari World Labs, yang dirilis 1 September, menghasilkan dan merekonstruksi seluruh dunia 3D dari beberapa foto, dengan realisme dan kesinambungan yang tidak bisa ditandingi agen yang mengendalikan engine. Kedua jalur ini kemungkinan besar pada akhirnya akan saling memanggil.

Apa artinya bagi otak robot

Kami memperkirakan otak robot akan terbagi menjadi beberapa lapisan, alih-alih satu model yang mengerjakan semuanya:

• Model umum mengambil alih pemahaman tugas, perencanaan langkah, pemilihan keterampilan, diagnosis kegagalan, dan adaptasi ke robot baru — “generalisasi semantik” yang dulu dibanggakan model VLA. Pada sumbu tugas terbuka dan generalisasi di RoboDojo, Astra sudah mengalahkan kebijakan robot yang dilatih khusus.
• Model khusus tetap memegang kendali frekuensi tinggi, kontak, ketangkasan, dan keseimbangan seluruh tubuh.
• Pergeserannya adalah bahwa model-model khusus itu akan semakin sering dibangun oleh model umum. Tim Wentao Zhu meminta Astra menyiapkan simulasi, menulis fungsi reward, dan melatih kebijakan pembelajaran penguatan; sekitar satu setengah hari kemudian, Astra menghasilkan tangan cekatan yang bisa memutar pena.

Mengapa loop kendali cepat tetap terpisah? Jawabannya ada pada tiga batasan keras:

• Latensi: Anthropic memperkirakan lokomosi waktu nyata membutuhkan sekitar 83 Hz, sementara inferensi model berjalan pada 0,2–0,4 Hz — selisihnya kira-kira dua orde besaran.
• Biaya: sekitar $1 hingga $27 per tugas dalam evaluasi di atas, sementara robot rumah tangga melakukan ratusan tindakan sehari.
• Keamanan: dalam uji RoboHarm dari Robocurve, Astra menolak 2 dari 100 instruksi berbahaya. Keamanan membutuhkan pagar pengaman sendiri yang tidak bergantung pada cloud.

Gemini Robotics 2 dari Google DeepMind, yang diumumkan pada bulan Juli, sudah berbentuk seperti ini: model penalaran berwujud (embodied reasoning) untuk perencanaan, model aksi, dan model yang lebih kecil yang berjalan langsung di robot.

Apakah ini membuktikan model autoregresif menang?

Sebagian orang membaca Astra sebagai bukti bahwa generasi autoregresif (AR) — menghasilkan token satu per satu, seperti cara kerja model GPT — lebih unggul. Kami setuju separuhnya:

• Keunggulan AR yang sebenarnya adalah generasi bisa bergantian dengan umpan balik dari luar: tulis sedikit kode, jalankan, lihat hasilnya, lanjutkan menulis. Model difusi menghasilkan seluruh hasil sekaligus dan sulit menerima umpan balik di tengah jalan.
• AR juga cocok untuk struktur diskret dengan panjang bervariasi seperti program, scene graph, dan topologi mesh, serta bisa memakai ulang infrastruktur pelatihan dan penyajian yang sudah dibangun untuk LLM.
• Untuk sinyal kontinu seperti gambar, video, dan aksi motorik, AR murni tidak punya keunggulan. Bidang ini bergerak ke arah backbone autoregresif dengan head difusi atau flow matching: Atlas dari World Labs, DreamZero dari peneliti NVIDIA, dan π0.5 semuanya menempuh jalur itu.
• Bagian cerdas dari jalur Astra adalah ia mengalihdayakan lapisan kontinu ke renderer, kernel CAD, mesin fisika, dan perencana gerak. Puluhan tahun rekayasa grafika dan robotika menjadi dekodernya — presisi, bisa disunting, dan tanpa pelatihan. Harganya: engine-engine itulah yang menentukan batas atasnya.

Apa artinya jika Anda bekerja dengan agen

Kami membangun aplikasi desktop tempat agen mengerjakan tugas, jadi temuan soal antarmuka inilah yang paling kami pedulikan. Model yang sama mendapat skor yang sangat berbeda tergantung pada apa yang bisa dilihatnya, alat apa yang bisa dipanggilnya, dan apakah ia bisa memeriksa keluarannya sendiri. Sebagian besar kemampuan itu hidup di dalam siklus tersebut, bukan hanya di bobot model.

Siklus itulah yang harus disediakan ruang kerja agen: alat untuk bertindak, file untuk dikerjakan, dan hasil yang bisa diperiksa agen sebelum diserahkan kembali. Di Orkas, Anda bisa menjalankan GPT-6 Astra dengan kunci API OpenAI Anda sendiri atau dengan masuk menggunakan akun ChatGPT, menghubungkan Codex sebagai agen eksternal, atau menggunakan model yang dikelola Orkas. Orkas juga menerima server MCP khusus, sehingga server komunitas untuk alat desktop bisa ditambahkan sebagai konektor. Kami belum menguji server Blender secara menyeluruh dari awal sampai akhir, jadi anggap itu sebagai jalur yang Anda siapkan sendiri.

Yang kami petik dari sini

• Kepekaan ruang Astra adalah pengambilan keputusan di dalam siklus: lihat, tulis kode atau tetapkan target, eksekusi, periksa, perbaiki.
• Ia kuat pada geometri teratur, perakitan adegan, dan penilaian yang memadukan makna dengan ruang, serta lemah pada bentuk organik dan kontak halus — karena batas apa yang bisa dijelaskan oleh program pendek.
• Kemampuan ini kemungkinan besar berasal dari pembelajaran penguatan berskala besar di lingkungan yang menilai hasilnya sendiri, bukan dari arsitektur baru. Resep pelatihannya belum diungkapkan.
• Dalam pembuatan 3D, agen mengambil alih penyutradaraan dan perakitan, sementara generator menjadi alat pembuat aset, dan kembaran digital menjadi jembatan ke robot.
• Dalam otak robot, model umum menjadi mandor sekaligus pabrik, sementara kendali cepat tetap dipegang model khusus di perangkat.

Sinyal yang layak dipantau: apakah perusahaan pembuatan 3D membuka antarmuka untuk agen; apakah muncul benchmark agen Blender yang standar; apakah tugas presisi bisa melewati 30% hanya dengan gambar berwarna; dan apakah model frontier mencapai kendali visual loop tertutup 10 Hz.

Catatan: sebagian besar evaluasi robot di atas memakai sampel kecil, 5 hingga 20 percobaan per pengaturan, dan sebagian besar tidak dilakukan secara buta. Anggap kesimpulan ini sebagai bacaan sementara, bukan vonis.

Sumber: pengumuman GPT-6 Astra dan kartu sistem dari OpenAI; laporan peluncuran Fortune; tulisan Wentao Zhu, GPT-6 Astra: 3D, Embodied AI, and Beyond; dan esai Sebastian Raschka tentang looped transformer, yang mengutip Pachocki. Sumber lain ditautkan di tempat dikutip.

Jika Anda ingin mencoba GPT-6 Astra atau model lain di Orkas, bagian model dan penyedia yang didukung dalam dokumentasi mencantumkan apa saja yang bisa dihubungkan saat ini.