Die Zahlen im Detail, alle aus dem Bericht vom 13. August 2026. Von den 2.226 untersuchten Papieren wurden „266 papers were fully reproduced, with every extracted claim verified, and 632 more were partially reproduced with nothing falsified“; insgesamt seien „3,978 individual claims … confirmed with real experiments“. Auf der anderen Seite stehen „49 papers where all claims were falsified and nothing could be verified, and, maybe most interestingly, 242 papers where independent reproduction teams reached opposite verdicts on the same claims“. Dazu kommen „502 papers with toy-scale evidence only, and 280 where nothing could be established either way (missing artifacts were the most common cause)“ – bei jedem achten Papier scheiterte die Prüfung also schon daran, dass Code oder Daten fehlten.
Zum Maßstab: Der Bericht gibt an, die ICML 2026 habe „23,918 submissions“ erhalten und „6,352 papers“ angenommen. An einer zweiten Stelle nennt derselbe Text „6,341 accepted ICML 2026 papers“ – eine kleine Unstimmigkeit in der Primärquelle, die wir so weitergeben, statt uns auf eine der beiden Zahlen festzulegen. Der Anteil von 34 Prozent stammt aus dem Bericht selbst.
Gearbeitet wurde mit den handelsüblichen Coding-Agenten: „Participants used Claude Code, Codex, Cursor, OpenResearch’s orx, and everything in between.“ Die Vorsortierung der 6.816 Logbücher zu Urteilen übernahm ein Modell – GLM-5.2 als „logbook judge“. Entscheidend ist die zweite Stufe: „We adversarially re-verified every claimed falsification: re-reading the paper, re-reading the logbook, and re-deriving the math …“ Jede behauptete Falsifikation wurde also von Menschen gegengeprüft, bevor sie als solche gezählt wurde. Die Verifikationen dagegen sind nach der Darstellung des Berichts nicht in gleicher Weise einzeln nachgeprüft worden – die 51-Prozent-Seite ruht damit auf schwächerem Fundament als die 23-Prozent-Seite.
Vier Fehler benennt der Bericht namentlich als bestätigt: fehlerhafte Beweisführung in „Towards Optimal Robustness in Learning-Augmented Paging“, ein mathematisches Gegenbeispiel zu „Attention’s forward pass and Frank-Wolfe“, eine falsche Verlustfunktion in „Self-Distillation Enables Continual Learning“ und Padding-Artefakte in „Do Transformers Need Three Projections?“.
Die Grenzen benennen die Autoren selbst, und zwar ungewöhnlich konkret: „Pure agent execution hits real limits. Agents got stuck in local loops, misread scale-dependent behavior (several ‚verified‘ verdicts on the paging paper came from checks that stopped before the log-k growth became visible), and occasionally built an entire falsification on top of a units mismatch.“ Der Gegenbefund steht direkt daneben: „The challenge’s most reliable results came from workflows where a human was steering: re-pointing the agent, questioning an assumption …“ Das ist bemerkenswert, weil es die Fehlerrichtung offenlegt – ein Agent, der zu früh aufhört, meldet nicht „unklar“, sondern „verifiziert“.
⚠️ Zur Beleglage: Einzige Quelle ist der Bericht von Hugging Face, den wir am 15. August 2026 selbst geöffnet und in drei Durchgängen mit gezielten Gegenfragen gegengelesen haben; sämtliche Zahlen und Zitate oben stammen von dort und sind wörtlich belegt. Eine unabhängige Rezeption oder Nachprüfung des Hackathon-Ergebnisses liegt uns nicht vor. Hugging Face ist hier nicht neutraler Beobachter, sondern Veranstalter, Plattformbetreiber und Auswerter in einem – und die maschinelle Urteilsstufe lief über ein einzelnes Modell, dessen Trefferquote der Bericht nicht beziffert.