Jeder Pull Request trägt einen Referenzsatz bekannter Befunde, zusammengestellt aus menschlichen Review-Kommentaren, späteren Korrekturen der Autoren, statischen Analysewerkzeugen und mehreren Frontier-Sprachmodellen. Ob die Befunde eines Werkzeugs zutreffen, entscheidet Claude Sonnet 5 als Bewertungsmodell; laut GitHub stimmten erfahrene Entwickler dessen Urteil in 96,6 Prozent der Fälle zu. Datensatz, Referenzbefunde, Bewertungsprompt und Testumgebung liegen unter MIT-Lizenz auf GitHub.
Gerankt wird nach einem F1-Wert, der Präzision und Trefferquote verbindet. Copilot in der Einstellung Balanced erreicht eine Präzision von 87,8 und eine Trefferquote von 26,0 Prozent: Was es meldet, stimmt meist, doch es findet nur rund ein Viertel der bekannten Befunde. Hinter Copilots 40,1 folgen Devin mit 37,0, Qodo mit 35,1 und Codex mit GPT-5.6 Sol mit 32,3; Cursor steht auf Platz 20.
In den Ranglistendaten ist keines der Werkzeuge als vom Hersteller registriert markiert; Werte erscheinen erst nach Freigabe durch die Projektbetreuer. Die Methodik räumt ein, dass die Bewertung den Geschmack der eigenen Arbeitsgruppe abbildet. Ob Copilot beim Erstellen der Referenzbefunde mitwirkte, legt GitHub nicht offen.
Martians Code Review Bench misst anders: Online prüft ein Sprachmodell, ob Entwickler in echten öffentlichen Pull Requests auf die Kommentare von Review-Bots reagiert haben. Copilots Platz hängt dort stark von Zeitfenster und Filtern ab: In der Standardabfrage der Rangliste steht es auf Platz 17 von 22, im 30-Tage-Fenster bis zum 2. Oktober auf Platz fünf. Im Offline-Test mit 50 Pull Requests liegt es mit 58,0 auf Platz fünf, hinter zwei Qodo-Varianten, Cubic und Augment.