38,3 statt 13,3 Prozent: OpenAI verdreifacht seinen ARC-AGI-3-Wert – in der eigenen Testumgebung
OpenAI hat am 29. Juli 2026 berichtet, GPT-5.6 Sol erreiche auf dem öffentlichen Set des interaktiven Benchmarks ARC-AGI-3 statt 13,3 Prozent ganze 38,3 Prozent – und dabei rund sechsmal weniger Ausgabe-Token –, sobald zwei allgemeine Einstellungen der Responses-API aktiv sind: „Retained Reasoning“ hält die Denkspur des Modells über die einzelnen Spielzüge hinweg, „Compaction“ fasst älteren Kontext zusammen, statt ihn abzuschneiden. Der Wert liegt über den 30,2 Prozent, die die ARC Prize Foundation für Claude Opus 5 verifiziert hat – gemessen wurde er aber nicht in der offiziellen Testumgebung, in der GPT-5.6 Sol bei 13,33 Prozent (öffentliches Set) beziehungsweise 7,78 Prozent (semi-privates Set) steht.
Was OpenAI beschreibt: Die Autoren Ilan Bigio und Ted Sanders benennen zwei Eigenschaften der offiziellen ARC-AGI-3-Harness als Ursache des niedrigen Werts. Erstens werde das private Reasoning des Modells nach jeder Aktion verworfen, sodass es seine Überlegungen bei jedem Zug neu herleiten muss. Zweitens arbeite die Harness mit „rolling truncation“, die den ältesten Gesprächsteil verwirft, sobald der Verlauf 175.000 Zeichen überschreitet. OpenAI hat die Harness nachgebaut und beides ersetzt: erhaltene Denkspur über die Züge hinweg plus Compaction, eine Funktion der Responses-API, die älteren Kontext zusammenfasst statt zu löschen. Ergebnis nach eigener Angabe: 38,3 Prozent auf dem öffentlichen Set gegenüber 13,3 Prozent, bei rund sechsmal weniger Ausgabe-Token je Spiel.
Was ARC Prize misst: Auf der Ergebnis-Seite zu GPT-5.6 Sol steht der Satz „Sol at max reasoning effort is the only performant model (as of July 2026) averaging 13.33% on Public and 7.78% on Semi-Private“. Die dortige Tabelle staffelt ARC-AGI-3 nach Reasoning-Effort: 7,78 Prozent (max), 6,99 (extra high), 2,15 (high), 1,07 (medium), 0,33 (low). Für Claude Opus 5 nennt ARC Prize 30,2 Prozent und ordnet ein: „Claude Opus 5 (High) is the highest-performing model on ARC-AGI-3“ – dieser Wert stammt vom öffentlichen Demo-Set und wurde nur auf der Stufe „High“ gefahren, weil das Testfenster kurz war.
Die Antwort der Benchmark-Betreiber: ARC Prize verteidigt den eigenen Ansatz als bewusst harness-freies Setup mit einem einheitlichen Verfahren ohne anbieterspezifische Einstellungen – Fortschritt auf dem Benchmark solle echte Zugewinne an allgemeiner Intelligenz abbilden und nicht die Vertrautheit mit dem Format oder den Optionen einer bestimmten API. François Chollet unterscheidet dabei zwischen unzulässigen, eigens für den Benchmark gebauten Umgebungen und zulässigen allgemeinen API-Einstellungen: gemeint seien „general-purpose API settings that were not developed for ARC-AGI-3 and that are available to all API users“. Ein „potential parity issue“ räumt er ein, wenn verschiedene Anbieter mit verschiedenen Einstellungen antreten – handhabbar sei es, „as long as the settings and the cost are clearly reported“.
Was das für unsere eigene Berichterstattung bedeutet: Wir hatten den ARC-AGI-3-Sprung von Opus 5 am 28. Juli bereits relativiert – nicht gegen den Ranglisten-Bestwert von 7,78 Prozent, sondern gegen die rund 20 Prozent, die ARC Prize für die Fable-Klasse auf denselben Demo-Umgebungen misst. Der jetzige Fall zieht in dieselbe Richtung, nur von der anderen Seite: Die Schlagzeile „GPT-5.6 Sol schlägt Claude Opus 5“ hält nur, solange man 38,3 Prozent aus OpenAIs Harness gegen 30,2 Prozent aus der ARC-Harness stellt. Innerhalb der ARC-Messung bleibt es bei 30,2 zu 13,33 Prozent auf dem öffentlichen Set. Ungeprüft ist, wie Opus 5 oder andere Modelle unter Erhalt der Denkspur und mit Compaction abschneiden würden – diese Gegenprobe hat bislang niemand veröffentlicht.