Alle Depeschen

DepescheForschung

ICML-Reproduktion: In 496 Arbeiten blieb eine Behauptung strittig

Hugging Face wertete nach einem Hackathon 2.226 ICML-2026-Papiere mit 6.816 Reproduktions-Logbüchern aus. Bei 1.103 Arbeiten wurde mindestens eine Behauptung bestätigt, bei 496 mindestens eine bestritten oder widerlegt. 242 Papiere erhielten von unabhängigen Teams gegensätzliche Urteile. Die Zahlen stammen aus dem Bericht des Veranstalters.

Aussagen gegen die Quellen geprüft · 15. August 2026

1.221 Teilnehmende arbeiteten vom 15. Juli bis 2. August an 2.226 der 6.352 angenommenen Arbeiten. 266 Papiere wurden vollständig reproduziert, 632 teilweise ohne widerlegte Behauptung. Insgesamt bestätigten die Teams laut Bericht 3.978 Einzelbehauptungen mit Experimenten.

Neben 496 Papieren mit mindestens einer bestrittenen oder widerlegten Behauptung nennt Hugging Face 49 Arbeiten, bei denen nichts bestätigt werden konnte, und 242 mit entgegengesetzten Urteilen zur selben Aussage. Bei 502 Arbeiten gab es nur Belege im Spielzeugmaßstab, bei 280 ließ sich wegen fehlender Artefakte keine Richtung feststellen.

Ein Modell sortierte die Logbücher vor; jede behauptete Falsifikation wurde danach durch erneutes Lesen und Nachrechnen gegengeprüft. Die Verifikationsseite wurde laut Bericht nicht in gleicher Weise einzeln geprüft. Als typische Fehler nennt er unter anderem zu frühes Abbrechen bei skalenabhängigem Verhalten und Einheitenverwechslungen.

Hugging Face veranstaltete den Hackathon und wertete ihn aus. Außerdem nennt der Bericht bei den angenommenen ICML-Papieren einmal 6.352 und einmal 6.341; die Abweichung bleibt bestehen. Eine unabhängige Auswertung des gesamten Laufs liegt nicht vor.