GPT-6 Astra erreicht 99,9% oder 62,7% bei ARC-AGI-3, je nach Testaufbau

Astra, OpenAIs nächstes Modell, erreichte 99,9% beim Denkvermögen-Benchmark ARC-AGI-3. Es erreichte auch 62,7% bei genau demselben Benchmark. Beide Zahlen sind echt, und ARC Prize hat beide selbst am 3. September 2026 veröffentlicht. Der Unterschied liegt daran, unter welchem Testaufbau Astra lief, nicht an einer Änderung am Modell.

Tech AI Wire hat Astras Weg zur Veröffentlichung schon zuvor begleitet, darunter OpenAIs Verlangsamung der Entwicklung wegen Bedenken zu Cyber-Fähigkeiten und eine Trainingspause nach einem Agenten-Sicherheitsvorfall. Dies ist sein erstes öffentliches Benchmark-Ergebnis.

Zwei Testaufbauten, ein Modell

ARC Prize betreibt zwei verschiedene Testaufbauten, und der Unterschied zwischen ihnen ist, welches Gedächtnis dem Modell erlaubt wird.

Der Standard-Testaufbau ist anbieterneutral. ARC Prizes eigener Bericht schreibt, er lasse das Modell "Notizen mitführen, die es selbst behalten möchte, während der gesamten Umgebung", also sichtbare Notizen, die das Modell sich zwischen den Schritten selbst schreibt. Der Provider-Adapter-Testaufbau ist spezifisch für OpenAI. ARC Prize beschreibt ihn so, dass er "verdeckten Denkzustand zwischen Anfragen bewahrt" und "Komprimierung für längere Gespräche nutzt, sodass das Modell frühere Arbeit wiederverwenden kann".

Einfach gesagt: Der neutrale Test zwingt Astra, aufzuschreiben, was es sich merken will, offen sichtbar. OpenAIs eigener Test lässt es verdecktes Denken automatisch weitertragen und lange Verläufe komprimieren, statt sie zu verlieren.

Testaufbau	Ergebnis	Was er erlaubt
Standard (neutral)	62,7%	Nur sichtbare Notizen, vom Modell selbst geschrieben
Provider Adapter (OpenAIs eigener)	99,9%	Verdeckter Denkzustand zwischen Anfragen, plus Komprimierung

Superpower Daily berichtet, der Provider-Adapter-Lauf sei zudem rund 3,66-mal schneller gewesen, gemessen an der gesamten verstrichenen Zeit, und habe 49 Prozent weniger Token insgesamt verbraucht. Was auch immer dieser verdeckte Zustand tut, er tut es effizient.

Die ehrliche Einordnung, von denen, die den Test durchgeführt haben

ARC Prize verbirgt die Lücke nicht. Die Organisation veröffentlichte beide Zahlen im selben Beitrag und ließ die Leser sehen, welcher Testaufbau welche Zahl hervorgebracht hat.

Superpower Daily stellt die eigentliche Frage klar. "Die entscheidende Frage jetzt ist, wie viel von Astras scheinbarer Fähigkeit dem Modell selbst gehört", schreibt das Portal, "und wie viel dem Kontextverwaltungssystem drumherum." FourWeekMBA rahmt die Lücke ähnlich und schreibt, ein Unterschied "von mehr als dreißig Punkten... ist kein Beweis für Unredlichkeit. Es ist ein Beleg dafür, dass eine Flaggschiff-Benchmark-Zahl vom Testaufbau abhängen kann."

Abgesehen von der Frage zum Testaufbau berichtete ARC Prize von einer wirklich neuen Fähigkeit. Bei den Levels, die Astra abgeschlossen hat, schlug es die menschliche Referenzleistung laut ARC Prize bei 96 Prozent davon, mit im Schnitt 51,7 Prozent weniger Aktionen, als ein Mensch benötigte. Das Modell baut sich für jede neue Umgebung eine eigene, kompakte Notation, eine algebraisch anmutende Kurzschrift für Regeln und Zustände, statt in langen, ausführlichen Schritten zu denken. François Chollet, Mitgründer von ARC Prize, nannte das Ergebnis laut OfficeChai einen "Sprung in einer Stufenfunktion" bei Effizienz und Fähigkeit des Modells.

Was das für Entwickler bedeutet

Fragen Sie bei jeder Benchmark-Zahl, welcher Testaufbau sie hervorgebracht hat, egal ob bei Astra oder einem anderen Modell. Eine Lücke von 37 Punkten zwischen zwei legitimen Tests desselben Modells ist jetzt ein dokumentiertes, reales Phänomen, keine bloße Hypothese. Veröffentlicht ein Anbieter eine Zahl, ohne die Testbedingungen zu nennen, ist genau diese Auslassung der eigentliche Befund.

Wenn Sie Modelle für Ihren eigenen Anwendungsfall bewerten, bauen Sie Ihren eigenen Testaufbau, statt einem veröffentlichten zu vertrauen, dass er zu Ihrem Einsatz passt. Der Vorteil des Provider Adapters, verdeckter Zustand über Anfragen hinweg getragen, ist genau die Art von Infrastruktur, die die meisten Produktivsysteme einem Modell nicht standardmäßig mitgeben. Testen Sie unter Bedingungen, die dem ähneln, was Ihre Anwendung dem Modell tatsächlich mitgibt.

Beachten Sie, was tatsächlich Bestand hatte: Die Quote von 96 Prozent, bei der Astra Menschen schlug, und die Effizienz von 51,7 Prozent weniger Aktionen blieben unabhängig davon bestehen, welcher Testaufbau die Schlagzeilen-Zahl hervorbrachte. Wenn Sie ein Benchmark-Ergebnis lesen, trennen Sie zwei Arten von Aussagen. Die Schlagzeilen-Zahl bewegte sich je nach Aufbau um 37 Punkte. Eine konkrete, mechanismusnahe Aussage wie die Aktionseffizienz spiegelt eher etwas Reales über das Modell selbst.

Immer mehr Labore bringen agentische Modelle mit eigenen Zustandsverwaltungs-Schichten heraus. Rechnen Sie damit, dass die Lücke zwischen einem "neutralen" Benchmark und einem "anbieteroptimierten" zu einem festen Merkmal jeder größeren Veröffentlichung wird, nicht zu einem einmaligen Sonderfall bei diesem einen Modell.