Warum GPT-6 Astra räumlich so gut geworden ist – und was das für 3D und Roboter bedeutet

Anfang September hat OpenAI GPT-6 Astra veröffentlicht, und zwei Arten von Clips verbreiteten sich schnell. In den einen baut das Modell in Blender von Grund auf ein vollständig eingerichtetes Haus und exportiert es dann nach Unreal Engine 5, wo man hineingehen, Türen öffnen, das Licht einschalten und die Espressomaschine laufen lassen kann. In den anderen steuert es Roboterarme und humanoide Roboter.

Wie kann ein Sprachmodell plötzlich so gut räumlich denken? Hat OpenAI gezielt darauf optimiert? Und was bedeutet dieser Weg für die 3D-Generierung und für die „Gehirne“ von Robotern? Wir haben OpenAIs Ankündigung, die System Card und den Entwicklerblog gelesen, dazu die seither veröffentlichten Roboter-Evaluierungen und Analysen von Forschenden. Die Kurzfassung:

• Die Fortschritte sind echt, aber einseitig: 3D, visuelles Grounding und interaktive Aufgaben haben einen Sprung gemacht, während sich die allgemeine Intelligenz kaum bewegt hat.
• Roboterergebnisse hängen stark von der Schnittstelle ab. Dasselbe Modell erzielt, anders eingesetzt, sehr unterschiedliche Werte.
• Die Fähigkeit stammt höchstwahrscheinlich aus Übung in Umgebungen mit automatischer Bewertung, nicht aus einer neuen Architektur.
• Für 3D-Generierung und Robotergehirne ist eher eine neue Arbeitsteilung zu erwarten, als dass ein Modell das andere ersetzt.

Die offiziellen Zahlen: große Fortschritte, ungleich verteilt

Gegenüber GPT-5.6 Sol, dem direkten Vorgänger, sehen die von OpenAI veröffentlichten Zahlen so aus:

• BenchCAD: 83,3 % → 95,9 %. Das Modell sieht Renderings eines Objekts aus mehreren Blickwinkeln und schreibt CAD-Code, der es nachbaut – Modellieren nach Bildern.
• ScreenSpot-Pro (ohne Tools): 76,9 % → 92,7 %. Es muss in einem hochauflösenden Screenshot professioneller Software genau auf einen bestimmten Button oder ein Element zeigen.
• Notenlesen: 0,19 → 0,84 bei den Streichquartetten von OpenScore; dicht gedruckte Partituren werden zu strukturierten Musikdaten.
• ARC-AGI-3, ein interaktiver Rätsel-Benchmark: 7,8 % → 66 % mit dem Standard-Harness des Benchmarks oder 99,9 % mit OpenAIs eigenem.

Der unabhängige Artificial Analysis Intelligence Index stieg dagegen von 60,9 auf 61,2 – und liegt damit unter Claude Fable 5.1 mit 65,7.

Astra ist also nicht auf ganzer Linie klüger geworden. Es ist viel besser bei Aufgaben geworden, die Hinsehen, Handeln und Nachjustieren verbinden. Yoav Artzi, Forscher bei Cornell und Google DeepMind, sprach von einem „qualitativen Sprung“ beim räumlichen Denken.

Was es in Blender tatsächlich gemacht hat

Der Entwicklerblog von OpenAI geht ein komplettes Projekt Schritt für Schritt durch. Die Ausgangsvorgabe war kurz: ein schönes Haus mit minimalistischen, aber sehr detailreichen Möbeln und einem hübschen Garten entwerfen und die Szene filmisch wirken lassen.

• Astra schrieb Blender-Python (bpy), um Architektur, Tischlerarbeiten, Möbel, Bepflanzung, Materialien, Lichter und Kameras zu bauen.
• Es renderte Vorschauen, suchte nach Problemen und korrigierte seinen eigenen Code – Pflanzen, die sich gegenseitig durchdrangen, ein Stahlspülbecken, dessen Oberflächennormalen das Becken eingedrückt aussehen ließen.
• Es zeichnete zuerst einen Grundriss zur Freigabe und baute das Haus dann als eingeschossiges, U-förmiges Wohnhaus mit drei Schlafzimmern und einem Büro neu.
• Es exportierte die Szene nach Unreal Engine 5 als Rundgang aus der Ich-Perspektive, in dem Türen, Schubladen, Lichter und eine Espressomaschine funktionieren.

Das Ergebnis ist kein Bild. Es ist eine Blender-Szene, die Sie weiter bearbeiten können.

Die Grenzen sind ebenso deutlich:

• Regelmäßige, von Menschen gemachte Geometrie funktioniert gut: Gebäude, Möbel, CAD-Teile und Hard-Surface-Modelle wie ein Raumschiff oder eine Dyson-Sphäre.
• Organische Formen nicht. Lässt man es einen Menschen oder eine Kuh modellieren, ist das Ergebnis dürftig, schreibt der Forscher Wentao Zhu.
• In OpenAIs eigenem Projekt sind Wald, Farne und Felsen vorhandene Assets von Poly Haven. Ein verbreiteter Workflow in der Community erzeugt das Modell in einem 3D-Tool wie Tripo und übergibt dann Materialien, Shape Keys für Gesichtsausdrücke und Rigging an Astra.

Eine Idee erklärt das Muster: Code ist komprimierte Geometrie. Ein Schrank besteht aus ein paar Quadern, einer Extrusion und einem Array – eine Handvoll Zeilen. Ein Gesicht, ein Baum oder ein drapiertes Tuch brauchen weit mehr. Astra schreibt Programme: Was sich mit einem kurzen Programm beschreiben lässt, erledigt es selbst; was ein langes braucht, sollte es an einen spezialisierten Generator abgeben. Dieselbe Regel taucht bei Robotern wieder auf.

Roboter: starke Ergebnisse, aber achten Sie auf die Bedingungen

RoboDojo ist ein Roboter-Benchmark mit 42 simulierten Aufgaben und einer Rangliste von 40 trainierten Roboter-Policies. Die Autoren einer Evaluierung setzten Astra direkt als Policy ein: kein Fine-Tuning, keine fertigen Greiffähigkeiten, keine Tiefendaten. Es sah drei Farbkamerabilder und den Zustand des Roboters und gab bei jedem Schritt an, wohin sich der Arm bewegen sollte.

• Astra kam im Schnitt auf 22,48 % Erfolg und belegte Platz eins. Unter denselben Bedingungen schaffte GPT-5.5 0,88 %.
• Das Profil ist einseitig. Bei offenen Aufgaben (31 % gegenüber 2,1 % für DM0.5) und bei der Generalisierung (30,5 % gegenüber 11 %) liegt Astra vorn, bei Präzision (4 % gegenüber 16,8 %), Langzeitaufgaben und Gedächtnis aber zurück.

Vereinfacht gesagt: Wo es auf Verständnis ankommt, gewinnt es; wo eine ruhige Hand gefragt ist, verliert es.

Die größere Lehre ist, wie stark das Ergebnis von der Schnittstelle abhängt:

1. Nur Farbbilder, eine Zielposition pro Schritt (RoboDojo): 4 % bei Präzisionsaufgaben; von 33 Versuchen am echten Roboter, die vor und nach einem Sicherheitsstopp gewertet wurden, ein einziger vollständiger Erfolg.
2. Drei Kameras, bis zu 20 Modellaufrufe pro Versuch (Robocurves Tests an echten Armen): 19 von 20 Klötzen in einer Schüssel, aber nur 2 von 20 Puzzleteilen in ihrer Aussparung.
3. Eine Tiefenkamera plus die Erlaubnis, eigenen Geometriecode zu schreiben (das Paper Agent as Policy v1 · Tabelle 1): 4 von 5 Montagen mit vier Teilepaaren, 5 von 5 Würfeldrehungen und Klotzbauten mit 5/5, 5/5 und 4/5 – bei durchschnittlich etwa 21–54 Minuten pro erfolgreichem Versuch, je nach Aufgabe.
4. Aufruf vorhandener Roboterfähigkeiten oder eines VLA-Modells: Lange Aufgaben werden erledigt. In einem Bericht war ein Hybrid, bei dem Astra die Aktionen eines VLA überprüft und korrigiert, in 48 % der Fälle erfolgreich – bei Aufgaben, bei denen Astra allein 26 % erreichte.

Das sind unterschiedliche Aufgaben, die sich nicht direkt vergleichen lassen, aber sie weisen in dieselbe Richtung. Anthropics Robotikstudie aus dem Juli kam zum selben Ergebnis: Der Robotik-Score eines Modells hängt ebenso sehr vom Roboterkörper und von der Steuerungsschnittstelle ab wie vom Modell selbst. Jede Aussage darüber, wie gut Astra räumlich denkt, braucht den Zusatz „mit welcher Schnittstelle“.

Drei Dinge sollten Sie im Hinterkopf behalten, wenn die Demos vorbeiziehen:

1. Der virale Clip „ineinander verhakte Teile entwirren, ein Seil durch drei Ringe fädeln“ ist eine kinematische Wiedergabe in der Simulation. Laut der Methodenseite des Autors beginnt er in einem bereits gegriffenen Zustand und setzt ideale Griffe voraus: Er zeigt einen geplanten Pfad, keinen live gesteuerten Roboter.
2. „25-mal besser als das alte Modell“ vergleicht Astra mit GPT-5.5, nicht mit seinem direkten Vorgänger GPT-5.6 Sol. Im Vergleich zur Montage von zwei Teilepaaren (AGP v1 · Tabelle 2) schafften auch Sol und Claude Opus 5 jeweils 5/5 Versuche; erfolgreiche Versuche dauerten bei Astra durchschnittlich 9,2 Minuten, bei Sol 14,2. Im separaten Pyramidenvergleich (AGP v1 · Anhang C, Tabelle 5) schaffte Astra 10/10 und Sol 7/10 Versuche.
3. Stanfords Küchenroboter HomeBody: Astra übernimmt das Denken – wohin gehen, was aufheben, was zuerst tun – und hat sogar den digitalen Zwilling der Küche gebaut. Gehen, Greifen und Gleichgewicht kommen von SLAM, Tiefenschätzung, Bewegungsplanung und vortrainierten Low-Level-Controllern.

Woher die Fähigkeit kommt

OpenAI hat offiziell zwei Dinge gesagt: Astra erhielt „gezieltes Training für professionelle Umgebungen“, und wie die anderen Reasoning-Modelle von OpenAI wird es mit Reinforcement Learning trainiert. Nicht offengelegt hat OpenAI die Trainingsdaten, ob Blender eine Rolle spielte und ob Roboterdaten verwendet wurden. Was folgt, sind Schlussfolgerungen aus öffentlich verfügbaren Belegen.

Im Zentrum steht eine Schleife: einen Schritt machen, das Ergebnis ansehen, finden, was falsch ist, es beheben.

• Bei der Arbeit schreibt Astra Blender-Code, rendert, prüft und bearbeitet; an einem Roboter schaut es hin, setzt ein Ziel, führt aus, prüft und korrigiert. Mit den Worten von Wentao Zhu: „Was das Modell tut, ist einfach: (Blender-)Code schreiben, rendern, das Bild prüfen, herausfinden, was falsch ist, entscheiden, was geändert werden soll, und wiederholen.“
• Im Training ist dieselbe Schleife die wahrscheinliche Quelle. Berichten zufolge kaufte OpenAI Zehntausende Mac minis und Mac Studios, um Computernutzung zu trainieren: dem Modell eine Aufgabe geben, es Screenshots lesen und Maus- und Tastaturaktionen an einen Mac senden lassen und dann die erfolgreichen Durchläufe belohnen.

1. Groß angelegtes Reinforcement Learning in Umgebungen mit automatischer Bewertung (Wahrscheinlichkeit: mittel bis hoch). Computer, Code und 3D-Software können Ergebnisse automatisch überprüfen; das trainiert die allgemeine Fähigkeit, zu prüfen, den Fehler zu finden und ihn zu beheben. Der Sprung beim interaktiven ARC-AGI-3 von 7,8 % auf 66 % ist dasselbe Signal.
2. Zeigefähigkeiten aus der Computernutzung übertragen sich auf Roboter (mittel). ScreenSpot-Pro stieg von 76,9 % auf 92,7 %; das Modell trifft also eine exakte Stelle in einem Bild viel besser. In HomeBody greift Astra Objekte, indem es genau so einen Punkt im Kamerabild benennt; Tiefe und Kalibrierung machen daraus eine 3D-Position.
3. Blender und CAD waren selbst Trainingsumgebungen (mittel bis niedrig, unbestätigt). BenchCAD machte einen Sprung, OpenAI stellt 3D-Demos in den Vordergrund, und Yoav Artzi vermutet Training auf großen Mengen von 3D-Daten wie Blender-Szenen. Offiziell bestätigt ist davon nichts.
4. Eine neue Architektur (niedrig). Astra nutzt Berichten zufolge in einem Teil des Netzes rekurrente Tiefe, doch OpenAIs Chefwissenschaftler Jakub Pachocki hat gesagt, dass der Rechengraph aktueller Frontier-Modelle, Astra eingeschlossen, in der Tiefe höchstens um den Faktor zwei von GPT-4 abweicht.

Unsere Einschätzung: Die räumliche Fähigkeit stammt höchstwahrscheinlich nicht aus einer eigens dafür entworfenen Architektur. Sie entstand, indem räumliche Aufgaben zu Übungsumgebungen mit automatischer Bewertung gemacht wurden, auf denen mit allgemeinem Reinforcement Learning trainiert wurde.

Was das für die 3D-Generierung bedeutet

Es gibt jetzt zwei Wege, 3D zu erstellen:

• Ein Agent steuert die Engine. Wie Astra in Blender oder CAD liefert er eine bearbeitbare Szene mit Materialien, Lichtern und Gelenken. Das ist langsam – Minuten bis eine ganze Nacht –, aber strukturell genau, bearbeitbar und überprüfbar.
• Ein Modell erzeugt das Asset. TRELLIS, Hunyuan3D, Tripo, Meshy und ähnliche Modelle geben in Sekunden bis Minuten ein Mesh aus. Sie sind stark bei organischen Formen und Details, aber das Ergebnis lässt sich schwer bearbeiten, und Topologie, UVs und Rigging müssen oft nachgearbeitet werden.

Wir erwarten, dass sich beide ergänzen, während sich die Wertschöpfung verschiebt:

• Agenten übernehmen die arbeitsintensivsten Schritte: Layout, Beleuchtung, Kameraführung, Überarbeitungen und Qualitätssicherung.
• Generatoren werden zu Asset-Werkzeugen für Menschen, Tiere und Pflanzen und müssen für Agenten aufrufbar sein, etwa als MCP-Server oder über eine API.
• Dienste nach dem Muster „ein Prompt, ein Objekt“ stehen am stärksten unter Druck. Produktionsreife Ergebnisse (saubere Topologie, UVs, Rigs) und simulationsreife Ergebnisse (Gelenke, Masse, Reibung) werden zum neuen Wettbewerbsfeld.

Die größte neue Chance ist nicht schöneres 3D. Es ist eine Welt, in der man üben kann.

• In HomeBody baute Astra aus der SLAM-Geometrie, den Kamerabildern und den Gelenkdaten des Roboters selbst einen digitalen Zwilling der Küche in einem Simulator und plante damit Aufgaben.
• Das Team von Wentao Zhu demonstrierte inverse Physik: Allein aus einem Video und der Zugkraft erschloss das Modell Masse, Reibung und Dämpfung einer Schublade und reproduzierte die Bewegung in der Simulation.

Mit anderen Worten: 3D-Fähigkeiten führen zu einer Übungswelt für Roboter. Der Haken: Masse und Reibung lassen sich nicht allein aus Video ablesen, also muss irgendwann etwas gegen ein echtes Objekt drücken.

Native Weltmodelle sind ebenfalls nicht aus dem Rennen. Atlas von World Labs, veröffentlicht am 1. September, erzeugt und rekonstruiert ganze 3D-Welten aus wenigen Fotos – mit einem Realismus und einer Kontinuität, an die ein Agent, der eine Engine steuert, nicht heranreicht. Die beiden Wege werden sich höchstwahrscheinlich am Ende gegenseitig aufrufen.

Was das für Robotergehirne bedeutet

Wir erwarten, dass sich das Robotergehirn in Schichten aufteilt, statt dass ein einziges Modell alles erledigt:

• Allgemeine Modelle übernehmen das Verstehen der Aufgabe, das Planen der Schritte, die Auswahl von Fähigkeiten, die Diagnose von Fehlschlägen und die Anpassung an neue Roboter – die „semantische Generalisierung“, auf die VLA-Modelle bisher stolz waren. Auf den RoboDojo-Achsen für offene Aufgaben und Generalisierung schlägt Astra die trainierten Roboter-Policies bereits.
• Spezialisierte Modelle behalten Hochfrequenzregelung, Kontakt, Geschicklichkeit und Ganzkörpergleichgewicht.
• Die Verschiebung besteht darin, dass diese spezialisierten Modelle zunehmend vom allgemeinen Modell gebaut werden. Das Team von Wentao Zhu ließ Astra eine Simulation aufsetzen, die Belohnung schreiben und eine Reinforcement-Learning-Policy trainieren; etwa anderthalb Tage später lieferte Astra eine geschickte Hand, die einen Stift dreht.

Dass die schnelle Regelschleife getrennt bleibt, liegt an drei harten Grenzen:

• Latenz: Anthropic beziffert Echtzeit-Fortbewegung auf etwa 83 Hz, während Modellinferenz mit 0,2–0,4 Hz läuft – rund zwei Größenordnungen Unterschied.
• Kosten: etwa 1 bis 27 Dollar pro Aufgabe in den genannten Evaluierungen, und ein Haushaltsroboter führt Hunderte Aktionen am Tag aus.
• Sicherheit: In Robocurves RoboHarm-Test verweigerte Astra 2 von 100 gefährlichen Anweisungen. Sicherheit braucht eigene Schutzmechanismen, die nicht von der Cloud abhängen.

Gemini Robotics 2 von Google DeepMind, im Juli vorgestellt, hat bereits diese Form: ein Embodied-Reasoning-Modell für die Planung, ein Aktionsmodell und ein kleineres Modell, das direkt auf dem Roboter läuft.

Beweist das, dass autoregressive Modelle gewinnen?

Manche sehen in Astra einen Beleg dafür, dass autoregressive (AR) Generierung – ein Token nach dem anderen erzeugen, wie es GPT-Modelle tun – im Vorteil ist. Wir stimmen zur Hälfte zu:

• Der eigentliche Vorteil von AR ist, dass sich die Generierung mit externem Feedback abwechseln kann: etwas Code schreiben, ausführen, das Ergebnis ansehen, weiterschreiben. Ein Diffusionsmodell erzeugt das ganze Ergebnis auf einmal und tut sich schwer, mittendrin Feedback aufzunehmen.
• AR passt auch zu diskreten Strukturen variabler Länge wie Programmen, Szenengraphen und Mesh-Topologie und nutzt den Trainings- und Inferenz-Stack, der für LLMs gebaut wurde.
• Für kontinuierliche Signale wie Bilder, Video und motorische Aktionen hat reines AR keinen Vorteil. Das Feld bewegt sich hin zu einem autoregressiven Backbone mit einem Diffusions- oder Flow-Matching-Kopf: Atlas von World Labs, DreamZero von NVIDIA-Forschenden und π0.5 gehen alle diesen Weg.
• Das Clevere an Astras Weg ist, dass er die kontinuierliche Schicht an Renderer, CAD-Kernel, Physik-Engines und Bewegungsplaner auslagert. Jahrzehnte an Grafik- und Robotik-Engineering werden zum Decoder – exakt, bearbeitbar und ohne Training. Der Preis: Die Engines bestimmen die Obergrenze.

Was das bedeutet, wenn Sie mit Agenten arbeiten

Wir bauen eine Desktop-App, in der Agenten die Arbeit erledigen; deshalb interessiert uns der Befund zur Schnittstelle am meisten. Dasselbe Modell schnitt sehr unterschiedlich ab, je nachdem, was es sehen konnte, welche Tools es aufrufen konnte und ob es seine eigene Ausgabe prüfen konnte. Ein großer Teil der Fähigkeit steckt in dieser Schleife, nicht nur in den Gewichten.

Genau diese Schleife muss ein Arbeitsbereich für Agenten bereitstellen: Werkzeuge zum Handeln, Dateien zum Bearbeiten und Ergebnisse, die der Agent prüfen kann, bevor er sie zurückgibt. In Orkas können Sie GPT-6 Astra mit Ihrem eigenen OpenAI-API-Schlüssel oder per Anmeldung mit Ihrem ChatGPT-Konto nutzen, Codex als externen Agenten verbinden oder die von Orkas bereitgestellten Modelle verwenden. Orkas akzeptiert außerdem benutzerdefinierte MCP-Server, sodass Community-Server für Desktop-Tools als Konnektoren hinzugefügt werden können. Einen Blender-Server haben wir nicht End-to-End getestet; betrachten Sie das also als Weg zum Selbermachen.

Was wir mitnehmen

• Astras Raumgefühl ist Entscheiden innerhalb einer Schleife: hinsehen, Code schreiben oder ein Ziel setzen, ausführen, prüfen, korrigieren.
• Es ist stark bei regelmäßiger Geometrie, beim Zusammensetzen von Szenen und bei Urteilen, die Bedeutung und Raum verbinden, und schwach bei organischen Formen und feinem Kontakt – aufgrund dessen, was ein kurzes Programm beschreiben kann.
• Die Fähigkeit stammt höchstwahrscheinlich aus groß angelegtem Reinforcement Learning in Umgebungen mit automatischer Bewertung, nicht aus einer neuen Architektur. Das Trainingsrezept wurde nicht offengelegt.
• In der 3D-Generierung übernehmen Agenten Regie und Zusammenbau, während Generatoren zu Asset-Werkzeugen werden; digitale Zwillinge sind die Brücke zu Robotern.
• Im Robotergehirn wird das allgemeine Modell zum Vorarbeiter und zur Fabrik, während die schnelle Regelung bei spezialisierten Modellen auf dem Gerät bleibt.

Signale, die es zu beobachten lohnt: ob 3D-Generierungsfirmen Schnittstellen für Agenten öffnen; ob ein Standard-Benchmark für Blender-Agenten entsteht; ob Präzisionsaufgaben allein mit Farbbildern die 30 % überschreiten; und ob ein Frontier-Modell visuelle Regelung im geschlossenen Regelkreis mit 10 Hz erreicht.

Eine Einschränkung: Die meisten der genannten Roboter-Evaluierungen beruhen auf kleinen Stichproben, 5 bis 20 Durchläufen pro Konfiguration, und die meisten sind nicht verblindet. Verstehen Sie diese Schlussfolgerungen als vorläufige Einschätzung, nicht als Urteil.

Quellen: OpenAIs Ankündigung von GPT-6 Astra und System Card; Fortunes Bericht zum Launch; Wentao Zhus GPT-6 Astra: 3D, Embodied AI, and Beyond; und Sebastian Raschkas Essay über Looped Transformers, der Pachocki zitiert. Weitere Quellen sind dort verlinkt, wo sie zitiert werden.

Wenn Sie GPT-6 Astra oder ein anderes Modell in Orkas ausprobieren möchten, listet der Abschnitt Unterstützte Modelle und Anbieter der Dokumentation auf, was sich heute anbinden lässt.