Alle Depeschen

DepescheForschung

MirrorCode lässt KI ganze Programme über Tage nachbauen

Epoch AI und METR stellten MirrorCode als Benchmark für lang laufendes Coding vor. Modelle sehen das Verhalten eines ausführbaren Programms und müssen es ohne Quellcode nachbauen. In der Auswertung führt Claude Opus 4.7 mit 56 Prozent vor GPT-5.5 mit 44 und Gemini 3.1 Pro Preview mit 32 Prozent. Der längste autonome Lauf dauerte 19 Tage.

Aussagen gegen die Quellen geprüft · 1. Juli 2026

MirrorCode umfasst 25 Zielprogramme aus Bereichen wie Unix-Werkzeugen, Kompression, Kryptografie und Bioinformatik. 22 Programme und das Testgerüst wurden offengelegt. Die Modelle dürfen ein Referenzprogramm mit beliebigen Argumenten aufrufen und dessen Antworten beobachten, sehen aber keinen Quellcode.

Bei der Nachbildung der Bioinformatik-Sammlung „gotree“ entstand laut Epoch ein rund 16.000 Zeilen großes Go-Programm. Für einen erfahrenen Menschen veranschlagt Epoch dafür zwei bis 17 Wochen; die längste autonome Aufgabe lief bis zu 19 Tage ohne Eingriff.

Die Lösungsraten stammen aus Epochs aktueller Auswertung: 56 Prozent für Opus 4.7, 44 Prozent für GPT-5.5 und 32 Prozent für Gemini 3.1 Pro Preview. Der Benchmark misst eine eng definierte Nachbauaufgabe mit vollständigen Tests. Die komplexesten Programme lösten weiterhin alle Modelle nicht; ein privater Testsatz soll Überanpassung begrenzen.