KI-Benchmarks lesen: Was eine Rangliste wirklich misst
Eine Benchmarkzahl beschreibt ein Ergebnis unter bestimmten Bedingungen. Bevor du daraus eine Modellwahl ableitest, brauchst du die Aufgabe, die Testversion und den Versuchsaufbau. Eine hohe Punktzahl kann ein nützlicher Hinweis sein. Wie gut das Modell deine Arbeit erledigt, zeigt sie nur dann, wenn die Prüfung dazu passt.
3 Min. Lesezeit
8 Abschnitte
19 Quellen
Stand: 16. Juni 2026
Wer misst – und mit welchem Aufbau?
Anbieter wählen für Veröffentlichungen Tests, Einstellungen und Vergleichsmodelle aus. Das macht ihre Ergebnisse nicht wertlos, erfordert aber eine genaue Lektüre. Wichtig sind verfügbare Werkzeuge, Rechenbudget, Prompts und die Zahl der Versuche.
Unabhängige Messungen helfen, wenn sie dieselben Bedingungen verwenden und die Methodik offenlegen. Unabhängigkeit allein macht einen Test noch nicht passend. Eine Schreibaufgabe und eine Mathematikprüfung können sehr sorgfältig durchgeführt sein und trotzdem verschiedene Rangfolgen liefern.
Kontamination bedeutet, dass Testmaterial oder Lösungen in Trainingsdaten geraten. Ein gutes Ergebnis kann dann teilweise auf Bekanntheit beruhen. Ob und wie stark das geschieht, ist meist schwer zu bestimmen, weil Trainingsbestände nicht vollständig offengelegt werden.
Neue oder zurückgehaltene Aufgaben verringern das Risiko. Auch echter Code mit ausführbaren Tests ist nicht automatisch kontaminationsfrei: Der zugehörige Lösungs-Patch kann öffentlich sein. Frische, Geheimhaltung und Ausführung lösen unterschiedliche Probleme.
Welche Coding-Aufgabe wird geprüft?
SWE-bench untersucht Änderungen an bestehenden Repositories. Terminal-Bench bewertet Aufgaben in einer Terminalumgebung. Wettbewerbsaufgaben wie bei LiveCodeBench prüfen wiederum enger umrissene Programmierprobleme. Keine dieser Formen deckt allein den gesamten Entwicklungsalltag ab.
Bei Agenten zählt das Gesamtsystem: Modell, Werkzeuge, Kontextverwaltung und Abbruchregeln. Achte außerdem auf die Erfolgsmetrik. Ein Treffer aus mehreren Versuchen ist etwas anderes als wiederholter Erfolg bei jedem Durchlauf.
Repo-Aufgaben
Änderungen an vorhandener Software
Terminal-Aufgaben
Arbeit in einer ausführbaren Umgebung
Wettbewerbs-Code
Lösung abgegrenzter Programmierprobleme
Tool-Use-Tests
Werkzeugwahl, Ablauf und wiederholte Verlässlichkeit
SWE-bench Verified umfasst 500 menschlich geprüfte Aufgaben. Andere Varianten unterscheiden sich in Aufgabenbestand und Bewertung. Prozentzahlen zwischen ihnen lassen sich deshalb nicht wie Ergebnisse derselben Klassenarbeit vergleichen.
Öffentliche Issues und Patches schaffen Kontaminationsrisiken; unvollständige Tests können zudem gute Lösungen ablehnen oder schlechte durchlassen. OpenAI erläuterte im Februar 2026, warum das Unternehmen Verified nicht mehr als tragenden Vergleich verwendet. Das ist eine begründete Kritik an diesem Maßstab, keine pauschale Entwertung aller Repository-Tests.
Lies einen Wert deshalb zusammen mit Variante, Datum und ausführendem Agenten. Alte Zahlen aus der Einführung eines schwierigeren Benchmarks beschreiben die damals getesteten Modelle. Sie sind keine aktuelle Obergrenze für heutige Systeme.
GPQA prüft anspruchsvolle naturwissenschaftliche Fragen, ARC-AGI abstrakte Aufgaben und FrontierMath schwierige Mathematik. Recherche- oder Finanzagenten brauchen wiederum Tests, die Quellenarbeit und mehrstufige Aktionen einbeziehen.
Ein Gesamtindex verdichtet solche Teilbereiche mit einer bestimmten Gewichtung. Prüfe die Unterwerte, wenn deine Aufgabe klar umrissen ist. Eine gute Durchschnittsnote kann eine Schwäche verdecken, die für deinen Einsatz entscheidend ist.
In der Arena bewerten Menschen anonymisierte Modellantworten gegeneinander. Das misst Präferenz: welche Antwort sie unter diesen Bedingungen vorziehen. Verständlichkeit und Stil können dabei ebenso zählen wie sachliche Richtigkeit.
Artificial Analysis führt eigene Messreihen und zusammengesetzte Indizes. Auch hier gehören Version, Methodik und Einstellungen zur Zahl. METRs Aufgabenhorizonte haben nochmals eine andere Bezugsgröße: menschliche Bearbeitungszeit bei festgelegter Erfolgswahrscheinlichkeit, keine garantierte autonome Laufzeit.
Kontextgröße mit einer passenden Aufgabe testen
Die nominelle Kontextgröße beschreibt eine Kapazität. Ob ein Modell darin relevante Informationen findet und verbindet, ist eine eigene Fähigkeit. „Lost in the Middle“ und „RULER“ zeigten bei ihren untersuchten Modellen Grenzen, die eine reine Größenangabe verdeckte.
Für deine Dokumente kannst du bekannte Informationen an verschiedenen Stellen platzieren und gezielt danach fragen. Prüfe auch Aufgaben, die mehrere Passagen verbinden. Ergebnisse älterer Modelle sind ein Anlass für solche Tests, keine feste Fehlerquote für jede neue Generation.
Ein Modell kann in seinen Ausgaben Hinweise darauf zeigen, dass es eine Testsituation vermutet. Das kann die Interpretation von Sicherheitsevaluierungen erschweren. Aus solchen Äußerungen allein lässt sich jedoch weder Bewusstsein noch eine sichere Aussage über verborgene Motive ableiten.
Auch ohne diesen Effekt bleiben Tests Ausschnitte. Dokumentiere bei einer Entscheidung, welche Fehler der Benchmark überhaupt erkennen kann und welche fehlen. Ergänze ihn um eigene Fälle mit den tatsächlich verwendeten Daten und Werkzeugen.
MerksatzZur Zahl gehören Aufgabe, Testversion und Versuchsaufbau. Ohne diese Angaben fehlt die Grundlage für einen Vergleich.