OpenAI ersetzt in einer nachgebauten Harness zwei Voreinstellungen: Die Funktion Retained Reasoning bewahrt die Denkspur über mehrere Spielzüge, Compaction fasst alten Kontext zusammen. In dieser Umgebung erreicht GPT-5.6 Sol laut Anbieter 38,3 statt 13,3 Prozent und benötigt dabei etwa sechsmal weniger Ausgabe-Token.
ARC Prize misst Sol in seiner eigenen Umgebung mit 13,33 Prozent auf dem öffentlichen und 7,78 Prozent auf dem semi-privaten Set. Claude Opus 5 kommt dort auf 30,2 Prozent. OpenAI vergleicht also verschiedene Harnesses; unbekannt ist, wie andere Modelle mit denselben allgemeinen API-Einstellungen abschneiden würden.
ARC-Prize-Chef François Chollet hält allgemeine API-Einstellungen für vertretbar, wenn Einstellungen und Kosten offengelegt werden. Er sieht aber ein mögliches Gleichheitsproblem, wenn Anbieter mit unterschiedlichen Umgebungen antreten. Der Wert von 38,3 Prozent ist daher ein Harness-Ergebnis, kein neuer offizieller ARC-Rang.