Replica ist der Aufgabenraum, nicht das Modell. Er umfasst 310 Aufgaben aus 100 Papieren, aufgeteilt in „242 training tasks … drawn from ML papers from 1990 to 2026“ und „68 test tasks … drawn from AI-for-science papers from 2012 to 2026“. Jede Aufgabe verlangt, eine Abbildung aus einer Arbeit innerhalb eines Zeit- und Rechenbudgets zu replizieren, ohne den Originalplot zu sehen – das Ziel ist ausdrücklich nicht, eine bekannte Antwort zu reproduzieren, sondern die Ausdauer und das experimentelle Urteil zu prüfen, die Papiere üblicherweise weglassen. Das Budget je Aufgabe: „a 60-minute time limit, and a single one-seventh MIG slice of an H200 GPU“. Der Blogbeitrag des Labors nennt als Domänen unter anderem Sprachverarbeitung, Materialwissenschaft und Wettervorhersage.
Faraday ist ein „27B-parameter ‚AI Scientist‘ agent that leverages coding agents as tools“ – konkret ein per LoRA nachtrainiertes Qwen3.6-27B, trainiert mit langhorizontigem Reinforcement Learning. Als Codeagent-Werkzeug nutzt es zur Auswertung Codex GPT-5.5, während des Trainings GPT-5.4 mini. Die Rollenverteilung ist der Kern der Arbeit: Das kleine Modell führt Regie, das große schreibt den Code.
Das Ergebnis im Wortlaut: „Faraday outperforms Claude Opus 4.8 (hereafter, Claude) and GPT-5.5 (hereafter, Codex) on 73% of in-distribution ML tasks, and on 60% of held-out AI-for-science tasks.“ Es handelt sich also um Aufgaben, bei denen Faraday beide Vergleichssysteme zugleich übertrifft, nicht um einen paarweisen Zweikampf. Den mittleren Abstand auf dem Testteil beziffert der Preprint mit „a 6% improvement over Claude and an 8% improvement over Codex on the test split“ – ob relativ oder in Punkten, sagt er an dieser Stelle nicht. Gemessen wurde mit acht Durchläufen je Aufgabe und Agent, Fehlerbänder als „±1 SEM over tasks“.
Weil kein automatischer Test sagen kann, ob eine Abbildung „richtig“ nachgebaut wurde, hängt alles am Richter, der das Belohnungssignal liefert – einem auto-generierten, rubrik-basierten Bewerter. Die Autoren validieren ihn gegen 20 Teilnehmende mit laufender oder abgeschlossener Promotion, aus denen 117 Rankings entstanden. Ergebnis in Kendall-τ: Der Rubrik-Richter stimmt mit Menschen zu 0,19 überein, der Basis-Richter zu 0,15; zwei unabhängige Ziehungen des Rubrik-Richters stimmen zu 0,66 überein, des Basis-Richters zu 0,46 – und zwei Menschen untereinander zu 0,30. Wichtig für die Einordnung: Für die Validierung wurden gezielt Aufgaben gewählt, deren Durchläufe die Uneinigkeit zwischen den beiden Richtern maximieren. Das ist ein Härtefall-Ausschnitt, kein Querschnitt.
Was das Papier ausdrücklich nicht behauptet: dass Faraday eigenständig forscht. Es geht um Replikation, die die Autoren als „a stepping stone towards agents capable of long-horizon scientific innovation“ einordnen. Auch die Grenzen benennen sie selbst – Faraday habe zwar Aussagen aus einer Reihe von Papieren erfolgreich repliziert, sei aber „in several cases“ gescheitert; der Ansatz bleibt auf „in silico tasks“ beschränkt, und es werde „important for humans to cultivate the skills necessary for paper replication“ bleiben.
⚠️ Zur Beleglage: Das ist Anbieter-Forschung – Inherent Laboratories misst das eigene Produkt gegen fremde Modelle, und die Arbeit ist ein Preprint ohne Begutachtung. Auf gezielte Nachfrage nennt der Volltext keine Angabe dazu, ob Replica, der Code oder die Gewichte veröffentlicht werden; auch der Blogbeitrag des Labors sagt dazu nichts. Zum Unternehmen selbst stützen wir uns auf TechCrunch: vier Mitgründer, davon drei DeepMind-Alumni, Edward Hughes als Chief Scientist, 50 Millionen Dollar Seed-Runde; ein Gründungsdatum steht dort nicht. Eine unabhängige Nachmessung der 73 und 60 Prozent gibt es bislang nicht.