OpenAI kategorisierte vier Fehlertypen: (1) zu strenge Tests, die korrekte Lösungen ablehnen; (2) vage formulierte Aufgaben, bei denen versteckte Testanforderungen von der Anweisung abweichen; (3) oberflächliche Tests, die unvollständige Lösungen durchgehen lassen; (4) irreführende Prompts, die in die falsche Richtung weisen. Als konkretes Beispiel nennt OpenAI eine Aufgabe, die ein einzelnes Leerzeichen verlangte, während der versteckte Test zwei erwartete.
Quantitativ markierte OpenAIs Verfahren 200 der Aufgaben (27,4 %) als fehlerhaft; fünf erfahrene, unabhängig arbeitende Softwareentwickler flaggten 249 (34,1 %). OpenAI zieht daraus den Schluss, dass aus Projekt-Historien wiederverwendete Aufgaben anfällig für solche Mängel sind, und ruft zu strengeren, manipulationsresistenten Benchmarks auf, die von erfahrenen Entwicklern erstellt werden.
Einordnung: Die OpenAI-Primärquelle war zum Abruf hinter einem Bot-Schutz gesperrt; die Zahlen und Fehlerkategorien sind über die unabhängige Berichterstattung von The Decoder belegt. Die Kritik betrifft nicht die Idee von Coding-Benchmarks generell, sondern die Datenqualität einer konkreten, verbreiteten Sammlung – und mahnt, Einzel-Benchmarkwerte nicht als absolute Fähigkeitsmaße zu lesen.