Bei den Shadow Evaluations erhielt ein Agent nur die offene Forschungsfrage eines fertigen, unveröffentlichten Papers. Er bekam eine virtuelle Maschine, Netz- und GPU-Zugang sowie sechs Tage Zeit. Danach bewerteten die ursprünglichen Autoren das Ergebnis wie eine Konferenzeinreichung.
Eine Aufgabe betraf die Steuerbarkeit von Persönlichkeitsmerkmalen in Sprachmodellen, die andere einen Verteilungswechsel-Detektor für TabPFN. Beide Läufe nutzten Claude Opus 4.8 mit hoher Denkstufe auf OpenClaw. Ein Wiederholungslauf mit GPT-5.6 Sol zeigte dieselben Fehlermuster.
Die Autoren nennen falsche Einschätzung der Publikationshürde, fehlendes Zurückgehen aus Sackgassen, schlechte Ressourcenplanung und Instruktionsdrift. Agenten erledigten die Ingenieursarbeit, aber nicht die kritischen Forschungsentscheidungen. Die Untersuchung umfasst nur fünf Läufe und zwei Fallstudien.
Als frühes Ergebnis lässt sich daraus keine allgemeine Agentenquote ableiten. Das Team veröffentlicht Reviews, Repositories und Logs; eine größere unabhängige Replikation liegt nicht vor.