Alle Depeschen

DepescheForschung

RLM-Test findet keinen stabilen Transfer eines Lösungsfehlers

Ein Braintrust-Eval untersuchte, ob ein Recursive-Language-Model-Harness eine falsche Lösungsstrategie zwischen ähnlichen Aufgaben überträgt. Bei 13 Aufgabenpaaren trat der erwartete Fehler nicht stabil auf: Das Intervall eines Zufallsstarts umfasste null, der zweite zeigte einen negativen Effekt.

Bei COUNT ist es richtig, Teilergebnisse zu addieren. Bei SENDERS führt dieselbe Strategie zu Doppelzählungen, wenn Absender in mehreren Teilen vorkommen. Der Harness zerlegt lange Aufgaben in Teilaufrufe und führt die Antworten zusammen; ein verlässlicher Transfer des COUNT-Fehlers auf SENDERS zeigte sich nicht.

Bei Zufallsstart 0 lag der Effekt bei minus 0,077, das Intervall reichte von minus 0,769 bis 0,615. Bei Start 1 lag er bei minus 0,462 mit einem Intervall von minus 0,692 bis minus 0,231. Das Experiment umfasste 13 Aufgabenpaare und 104 Episoden; die Duplikationsrate blieb bei null Prozent.