DepescheForschung9. Juli 2026

OpenAI findet Mängel in rund 30 % der SWE-Bench-Pro-Aufgaben und zieht seine Empfehlung zurück

OpenAI hat den beliebten Coding-Benchmark SWE-Bench Pro geprüft und in etwa 30 % der Aufgaben Fehler gefunden: Die eigene Methode markierte 200 Aufgaben (27,4 %) als fehlerhaft, fünf unabhängig prüfende Entwickler sogar 249 (34,1 %). Die Fehler reichen von zu strengen versteckten Tests über vage Aufgabenstellungen bis zu irreführenden Prompts – in einem Fall verlangte die Aufgabe ein Leerzeichen, der versteckte Test aber zwei. OpenAI zog daraufhin seine frühere Empfehlung für den Test zurück.

Aussagen gegen die Quellen geprüft · 10. Juli 2026

OpenAI kategorisierte vier Fehlertypen: (1) zu strenge Tests, die korrekte Lösungen ablehnen; (2) vage formulierte Aufgaben, bei denen versteckte Testanforderungen von der Anweisung abweichen; (3) oberflächliche Tests, die unvollständige Lösungen durchgehen lassen; (4) irreführende Prompts, die in die falsche Richtung weisen. Als konkretes Beispiel nennt OpenAI eine Aufgabe, die ein einzelnes Leerzeichen verlangte, während der versteckte Test zwei erwartete.

Quantitativ markierte OpenAIs Verfahren 200 der Aufgaben (27,4 %) als fehlerhaft; fünf erfahrene, unabhängig arbeitende Softwareentwickler flaggten 249 (34,1 %). OpenAI zieht daraus den Schluss, dass aus Projekt-Historien wiederverwendete Aufgaben anfällig für solche Mängel sind, und ruft zu strengeren, manipulationsresistenten Benchmarks auf, die von erfahrenen Entwicklern erstellt werden.

Einordnung: Die OpenAI-Primärquelle war zum Abruf hinter einem Bot-Schutz gesperrt; die Zahlen und Fehlerkategorien sind über die unabhängige Berichterstattung von The Decoder belegt. Die Kritik betrifft nicht die Idee von Coding-Benchmarks generell, sondern die Datenqualität einer konkreten, verbreiteten Sammlung – und mahnt, Einzel-Benchmarkwerte nicht als absolute Fähigkeitsmaße zu lesen.

// Einordnung der Redaktion

Warum das relevant ist

Coding-Benchmarks sind die Grundlage, auf der Modelle verglichen und Fortschritt behauptet werden – auch auf dieser Seite zitieren wir SWE-Bench-Zahlen. Wenn ein Drittel der Aufgaben eines verbreiteten Tests fehlerhaft ist, sind darauf gestützte Ranglisten mit Vorsicht zu lesen: Ein Modell kann an einer versteckten, von der Aufgabenstellung abweichenden Testbedingung scheitern, ohne dass seine Programmierfähigkeit das Problem wäre. OpenAI verweist außerdem darauf, dass die Erfolgsquote auf der öffentlichen Fassung binnen acht Monaten von 23,3 % auf 80,3 % sprang – ein Muster, das eher auf Anpassung an den Test als auf echten Fähigkeitszuwachs deuten kann. Einordnung: OpenAI ist selbst Anbieter konkurrierender Modelle; die Kritik ist aber methodisch belegt (kategorisierte Fehlertypen, unabhängige Zweitprüfung durch fünf Entwickler) und deckt sich mit der breiteren Debatte um „Benchmark-Sättigung“.