Ein Eval, das seine eigene These nicht bestätigt – und dabei zeigt, wie weit ein Zufalls-Seed das Ergebnis verschiebt
Izzy Hurley hat am 7. August 2026 im Braintrust-Blog einen Eval veröffentlicht, der prüfen sollte, ob ein RLM-Gerüst („Recursive Language Model“ – ein Harness, das lange Aufgaben in Teilaufrufe zerlegt und deren Ergebnisse zusammenführt) eine falsche Lösungsstrategie von einer Aufgabe auf eine andere überträgt. Aufbau: zwei strukturell ähnliche Aufgaben über E-Mail-Sammlungen – bei COUNT ist das Addieren der Teilergebnisse richtig, bei SENDERS (Zahl unterschiedlicher Absender) erzeugt dasselbe Addieren Doppelzählungen. Der erwartete Fehler trat nicht ein. Bemerkenswerter als das Ausbleiben ist die Streuung: Dieselben 13 Aufgabenpaare ergaben bei Seed 0 einen Effekt von −0,077 mit einem Intervall von [−0,769, 0,615], das die Null überspannt, bei Seed 1 dagegen −0,462 mit [−0,692, −0,231].
Der Aufbau in Kürze: Als Basis diente Qwen3-30B-A3B-Instruct, dazu ein RLM-LoRA-Adapter über Qwen3-30B; GPT-4o lieferte eine unabhängige Stichprobe. COUNT (Kontrolle) zählt E-Mails mit einer bestimmten Eigenschaft je Textabschnitt und addiert – dort ist Addieren korrekt. SENDERS (Behandlung) zählt unterschiedliche Absender über alle Abschnitte hinweg – dort führt Addieren zu Doppelzählungen, weil dieselbe Person in mehreren Abschnitten vorkommen kann. Die erwartete Fehlstrategie war also „chunk-and-sum“, von COUNT auf SENDERS übertragen.
Die Genauigkeitswerte fielen uneinheitlich aus: Bei Seed 0 erreichte die Basis 61,5 % auf COUNT und 84,6 % auf SENDERS, der Adapter 69,2 % und 84,6 %; bei Seed 1 lag die Basis bei 46,2 % und 76,9 %, der Adapter bei 84,6 % und 69,2 %. Die Doppelzählungsrate – der Messwert, an dem sich die vermutete Fehlstrategie hätte zeigen müssen – unterschied sich in jedem Durchlauf um 0,0. Gepoolt über beide Seeds ergibt sich ein Effekt von −0,269. Zwei Kontrollen führt der Beitrag mit: Eine Namens-Leak-Prüfung fand in 74 % der Datensätze erkennbare Namen; die Schwierigkeitsabstimmung zwischen beiden Aufgaben lag bei 46,7 % gegenüber 44,9 %, ein Unterschied von 1,8 Punkten.
Das Fazit formuliert der Autor als Negativbefund: „I could not show it. The failure I predicted never appeared, and the one result that looked like evidence for it moved by roughly 0.4 when I changed nothing but the random seed.“ ⚠️ Zur Beleglage: Der Beitrag ist die einzige Quelle – eine unabhängige Wiederholung oder Rezeption liegt nicht vor, und der Herausgeber ist zugleich Anbieter von Eval-Infrastruktur. Wir führen hier eine Aussage über eine Messung, keine über die Welt: dass dieser Aufbau den Negativtransfer nicht zeigte und wie stark der Seed das Ergebnis bewegte.