Alle Depeschen

DepescheForschung

Prognose-Institut: Fachleute unterschätzten Benchmark-Fortschritt

Das Forecasting Research Institute hat am 23. September 2026 eine Zwischenbilanz seiner seit Mitte 2022 gesammelten KI-Prognosen veröffentlicht. Fachleute und Superforecaster unterschätzten den Fortschritt auf Benchmarks durchweg deutlich: Das Goldniveau der Mathematik-Olympiade erreichte KI im Juli 2025 – fünf Jahre vor dem Median der Fachleute, zehn Jahre vor dem der Superforecaster.

Aussagen gegen die Quellen geprüft · 25. September 2026

Am deutlichsten fallen die Coding- und Mathematik-Benchmarks aus. Für LiveCodeBench Pro (Hard) sagten Fachleute zum Jahresende 2026 einen Bestwert von 14 Prozent voraus, Superforecaster 12 Prozent; im Mai 2026 lag der tatsächliche Bestwert bei 53,8 Prozent. Bei FrontierMath (Stufen 1–3) prognostizierten die Gruppen 31 und 30 Prozent für Ende 2025 – aufgelöst wurde die Frage bei 40,7 Prozent.

Ähnlich weit daneben lagen die Umsatzschätzungen. Für den höchsten Jahresumsatz eines KI-Unternehmens Ende 2026 nannten KI-Fachleute im Median 20 Milliarden Dollar, Ökonomen 16 und Superforecaster 25 Milliarden. Am 22. September 2026 lag der gemeldete Jahresumsatz von Anthropic laut dem Bericht bereits bei 100 Milliarden Dollar, der von OpenAI bei 40 Milliarden. Das Institut vermutet, seine Befragungsoberfläche habe die jüngsten Meldungen zu leicht übersehen lassen.

Es gibt Gegenbeispiele. Mitte 2025 überschätzten Fachleute, wie stark Sprachmodelle Laien bei biologischen Laboraufgaben helfen: Biosicherheitsfachleute erwarteten, dass 22,5 Prozent der Teilnehmenden drei Aufgaben lösen, Virologen 40 Prozent, Superforecaster 16,2 Prozent – im kontrollierten Versuch schafften es 5,2 Prozent. Auch den Anteil autonomer Fahrten am US-Fahrdienstmarkt setzten Fachleute mit 7,3 Prozent für 2027 zu hoch an.

Die Bilanz stützt sich nicht nur auf aufgelöste Fragen: Für offene Fragen verglich das Institut die Mediane mit Projektionen, die es im August 2026 von GPT-5.5 erzeugen ließ. Solche Werte nennt es ausdrücklich spekulativ. Das Panel LEAP umfasst 339 Fachleute – 76 aus der Informatik, 76 aus der Industrie, 68 aus der Ökonomie und 119 aus der Politikforschung.