Alle Depeschen

DepescheForschungneu

METR sucht den Knick in der Entdeckungskurve – bei Sicherheitslücken findet er ihn, bei Algorithmen nicht

Tom Cunningham und Nate Rush haben für METR am 14. August 2026 öffentlich zugängliche Zeitreihen daraufhin abgesucht, ob sich seit dem breiten LLM-Einsatz eine Beschleunigung von Entdeckungen zeigt. Bei Sicherheitslücken ist der Befund deutlich: „Discovery of cyber vulnerabilities has accelerated sharply“ – cURL geht von 9 CVEs im gesamten Jahr 2025 auf 36 bis zum 24. Juni 2026, OpenSSL von 6 auf 39, Firefox von 210 auf 342, die von Microsoft ausgestellten CVEs von 1.243 auf 1.927. Bei algorithmischen Optimierungen dagegen zeigt sich nichts: „the public record of overall algorithmic optimization does not yet show an appreciable acceleration“.

Die Methode ist bewusst einfach: Die Autoren sammeln öffentlich zugängliche Zeitreihen aus drei Feldern – Sicherheitslücken, Mathematik und algorithmische Optimierung – und suchen darin nach einer Änderung der Steigung. Das ist zugleich die Grenze des Ansatzes, und sie wird nicht versteckt: „these are all difficult data series to interpret“.

Der Cyber-Befund ist der klarste: „cURL vulnerabilities grew from 9 in 2025 to 36 through 2026-06-24.“ · „OpenSSL grew from 6 CVEs in all of 2025 to 39 through 2026-08-05.“ · „Firefox CVEs grew from 210 in 2025 to 342 through 2026-08-04.“ · „Microsoft-issued CVEs grew from 1,243 in all of 2025 to 1,927 through 2026-08-11.“ Wichtig für die Einordnung: Alle vier Vergleiche stellen ein volles Jahr 2025 einem noch nicht abgeschlossenen Jahr 2026 gegenüber – der Abstand fällt am Jahresende also eher größer aus, nicht kleiner.

In der Mathematik sehen die Autoren eine moderate Bewegung, halten sich mit der Bewertung aber zurück: „AI is clearly contributing to more work being done but quantifying the value of those contributions is difficult.“ Bei den algorithmischen Optimierungen fällt der Befund negativ aus – „none show a clear change in slope“, und daraus folgt: „the public record of overall algorithmic optimization does not yet show an appreciable acceleration“.

Die Vorbehalte stammen sämtlich von den Autoren selbst und gehören zur Meldung: „mistakes likely remain“; „This is some evidence of acceleration, but it is weak“; „It is quite plausible that AI labs are making discoveries internally that they are not disclosing“. Der letzte Punkt ist der schwerwiegendste – gemessen wird der öffentliche Rekord, und der ist bei Optimierungsfunden nicht dasselbe wie der Stand der Technik. Hinzu kommt der eigene Hinweis, dass sich der Effekt zwischen Feldern unterscheiden dürfte: „LLMs may be more or less effective at discovery in different domains, relative to humans.“

⚠️ Zur Beleglage: Einzige Quelle ist die METR-Notiz selbst, die wir am 15. August 2026 geöffnet und in zwei Durchgängen mit gezielten Gegenfragen gegengelesen haben; alle Zahlen und Zitate oben sind wörtlich belegt. Eine unabhängige Nachprüfung der Zeitreihen liegt uns nicht vor. METR ist eine unabhängige Evaluierungsorganisation ohne eigenes Modellgeschäft, arbeitet aber wiederholt im Auftrag von Modellanbietern – ein Interessenkonflikt, der in dieser Notiz nicht offengelegt wird und den wir deshalb generell mitführen. Nicht belegt und von uns nicht behauptet ist der naheliegende Umkehrschluss, die gestiegenen CVE-Zahlen seien überwiegend KI-verursacht; die Notiz stellt die Korrelation her, nicht die Ursache.