Replica umfasst 310 Aufgaben zu 100 wissenschaftlichen Arbeiten: 242 Trainingsaufgaben stammen aus ML-Papieren, 68 Testaufgaben aus Arbeiten zu KI für die Wissenschaft. Ein Agent muss eine Abbildung nachbauen, ohne den Originalplot zu sehen. Für jede Aufgabe stehen 60 Minuten und ein Siebtel eines H200-MIG-Slices bereit.
Faraday ist ein per LoRA nachtrainiertes Qwen3.6-27B mit langhorizontigem Reinforcement Learning. In der Auswertung steuert es Codex GPT-5.5; während des Trainings wurde GPT-5.4 mini als Werkzeug eingesetzt. Laut Preprint übertraf Faraday beide Vergleichssysteme zugleich bei 73 Prozent der Aufgaben aus der Trainingsverteilung und bei 60 Prozent der Testaufgaben.
Das automatische Bewertungssystem wurde mit 117 Rankings von 20 Promovierenden und Promovierten verglichen. Die Übereinstimmung des Rubrik-Richters mit Menschen lag bei Kendall-Tau 0,19, zwischen Menschen bei 0,30. Die Auswahl zielte auf besonders strittige Aufgaben. Der Preprint ist nicht begutachtet und wurde unabhängig nicht nachgemessen.