Alle Depeschen

DepescheForschung

Zwei Gerüste holen die volle Punktzahl auf ARC-AGI-3 – mit demselben Modell, das in der offiziellen Messung bei 30 Prozent steht

Nvidia hat am 21. August 2026 berichtet, sein Agenten-Gerüst AVO erreiche auf dem öffentlichen Set des interaktiven Benchmarks ARC-AGI-3 den Höchstwert 100,00 RHAE: alle 183 Level in 25 Umgebungen, mit 6.624 Umgebungs-Aktionen und damit rund zwölf Prozent weniger als das MIT-Gerüst VISTA, das denselben Wert am 5. August mit 7.542 Aktionen gemeldet hatte. Basismodell ist in beiden Fällen Claude Opus 5 – dasselbe Modell, das die ARC Prize Foundation in ihrer eigenen Testumgebung am 24. Juli mit 30,16 Prozent führt. Nvidia schreibt ausdrücklich, die Zahlen beträfen nur das öffentliche Set, nicht das semi-private oder private Wettbewerbsset.

Die Metrik erklärt den Rest. Der technische Bericht der ARC Prize Foundation (arXiv, eingereicht am 24. März 2026, überarbeitete Fassung 17. April) definiert RHAE – Relative Human Action Efficiency – über die Zahl der Züge: „For each level that the test taker completes, count the number of actions that it took“, verglichen mit einer menschlichen Grundlinie, „which we define as the second-best human action“. Der Punktwert je Level ist S = min(1,0, h/a)², also das quadrierte Verhältnis von menschlichen zu maschinellen Aktionen, gedeckelt bei 1,0. Die Quadrierung bestraft Umwege scharf: Wer zehnmal so viele Züge braucht wie der menschliche Maßstab, bekommt rechnerisch nicht zehn, sondern ein Prozent für dieses Level. Beim Start lagen die Spitzenmodelle entsprechend bei 0,37 Prozent (Gemini 3.1 Pro Preview), 0,26 Prozent (GPT-5.4 High), 0,25 Prozent (Opus 4.6 Max) und 0,00 Prozent (Grok-4.20).

Das erste Gerüst mit voller Punktzahl kam nicht von einem Modellanbieter. VISTA – „A Visual Harness for Reasoning in an Interactive World“, von Qiushi Han, Keya Hu, Linlu Qiu, Cathy Wu und Kaiming He am MIT – meldet seit dem 5. August 2026 mit Claude Opus 5.0 einen RHAE-Wert von 100,00 über alle 25 öffentlichen Spiele, bei 7.542 Agenten-Aktionen gegenüber 17.135 menschlichen; mit GPT-5.6 Sol sind es 98,27 bei 10.063 Aktionen. Die Projektseite beansprucht für sich, „the first system to reach a perfect or near-perfect score without program synthesis“ zu sein – also ohne den Umweg, für jede Umgebung ein Programm zu schreiben.

Nvidias Beitrag vom 21. August setzt genau dort an: „Using Claude Opus 5, AVO completed the full 25-environment public set with a 100.00 RHAE score“, mit 6.624 Aktionen gegenüber VISTAs 7.542. Der Vorbehalt steht im selben Beitrag und ist unmissverständlich: „These results cover the 25-environment ARC-AGI-3 public set using the official scorecard and RHAE metric. They are not results on the semi-private or fully private competition sets.“ Das zugehörige Paper (arXiv 2603.24517, 25. März 2026) behandelt einen anderen Gegenstand – die evolutionäre Suche nach schnelleren GPU-Kernen, dort bis zu 3,5 Prozent über cuDNN und bis zu 10,5 Prozent über FlashAttention-4; die ARC-Zahlen stehen bislang nur im Blogbeitrag und sind damit anbieter-selbstberichtet.

Die Bestenlisten von ARC Prize ordnen das ein. Verifiziert und in der eigenen Testumgebung gefahren steht Claude Opus 5 (high effort) seit dem 24. Juli 2026 bei 30,16 Prozent auf dem öffentlichen Set. Die davon getrennte Community-Bestenliste, auf der Gerüst-Ergebnisse landen, führt am 21. August unter anderem „Tycho“ mit 100,0 Prozent (29. Juli), „Retrodict“ mit 99,9 Prozent (19. Juli), „baseline1“ mit 99,0 Prozent (15. Juli) sowie Nvidias frühere Einträge NOOA mit 85,1 Prozent (9. Juli) und DreamTeam mit 38,1 Prozent (4. Mai). Volle Punktzahl ist dort also seit gut drei Wochen nichts Neues – neu ist der Aktionsaufwand. Für die Belastbarkeit dieser Werte ist die Testrichtlinie der Stiftung deutlich: „We do not verify submissions on the community leaderboard by default.“

⚠️ Was offen bleibt: Weder AVO noch VISTA sind auf der Community-Bestenliste verzeichnet, geprüft hat die Zahlen also niemand außer den Urhebern selbst. Kosten oder Rechenaufwand der ARC-Läufe nennt Nvidia nicht (die sieben Tage Laufzeit im Beitrag beziehen sich auf die GPU-Kernel-Suche). Ob die Gerüste auf dem semi-privaten Set ähnlich abschneiden, ist ungemessen – und genau dieser Vergleich wäre der Test darauf, ob hier allgemeine Fähigkeit oder Anpassung an bekannte Umgebungen gemessen wurde.