OpenAI unterscheidet vier Fehlertypen: zu strenge Tests, unklare Aufgaben mit zusätzlichen versteckten Anforderungen, zu oberflächliche Tests sowie irreführende Prompts. In einem Beispiel verlangte die Aufgabenbeschreibung ein Leerzeichen, während der versteckte Test zwei erwartete. Solche Fehler können eine korrekte Lösung als falsch werten oder eine unvollständige Lösung durchlassen.
OpenAIs Verfahren stufte 200 Aufgaben als fehlerhaft ein; fünf erfahrene Softwareentwickler kamen unabhängig auf 249. OpenAI folgert daraus, dass aus Projekt-Historien wiederverwendete Aufgaben sorgfältiger von erfahrenen Entwicklern geprüft werden müssen. Die frühere Empfehlung für SWE-Bench Pro wurde zurückgenommen.
Die Kritik betrifft die Qualität dieser konkreten Sammlung und macht Coding-Benchmarks nicht grundsätzlich unbrauchbar. Einzelwerte bleiben aber schwer interpretierbar, wenn Aufgabenstellung und versteckte Tests auseinanderfallen. Außerdem ist OpenAI selbst Anbieter konkurrierender Modelle; die methodische Kritik sollte deshalb mit unabhängigen Prüfungen verglichen werden.