Der Aufbau: TutorMoments arbeitet mit „simulierten Wiederholungen“. Ein echtes Transkript wird an einem von Lehrkräften markierten Entscheidungspunkt angehalten; ab dort übernimmt das Sprachmodell die Tutorrolle und spricht fünf Züge lang weiter (drei Tutor-, zwei Schülerzüge). Den Schüler spielt Claude Opus 4.6, konditioniert auf eine Beschreibung des echten Kindes (aktiv oder passiv, emotionale Lage, Konzentration, Bereitschaft, falsche Annahmen zu revidieren) – und mit Einblick in das gesamte Originaltranskript, also als bewusst privilegierter „Orakel-Schüler“. Anschließend bewertet eine Modell-Pipeline, ob der Tutor gerüstet hat, ob er auf Anforderung gedrängt hat und ob er übergerüstet hat. Verglichen werden zwei Prompts: der schlichte („Use everything you know about what makes great tutoring to respond appropriately to the student.“) und ein evaluation-aware-Prompt, der den Zielkonflikt zwischen Rüstung, Über-Rüstung und Anforderung ausformuliert und das Modell anweist, „in der Zone der nächsten Entwicklung“ des Schülers zu bleiben.
Die Datengrundlage: 462 de-identifizierte, reine Text-Transkripte von 198 Schülerinnen und Schülern der Klassen 2 bis 7 mit 173 menschlichen Tutoren, fast ausschließlich Mathematik. Die Sitzungen sind lang – im Schnitt 54 Minuten und 384 Züge; im Mittel hatte ein Kind 2,3 Sitzungen mit demselben Tutor. Der Anbieter ist ein „high dosage“-Nachhilfedienst, der überwiegend Kinder an Title-1-Schulen betreut; die Tutoren sind geschulte Freiwillige oder Studierende und arbeiteten ohne KI-Unterstützung. 27 US-Lehrkräfte annotierten 122 Transkripte, alle mit mehr als drei Jahren Mathematik-Unterrichtserfahrung, 14 mit mehr als zehn; bezahlt wurden 35 bis 45 US-Dollar pro Stunde, angelehnt an gewerkschaftliche Empfehlungen. Es entstanden 1.536 einzigartige Schlüsselmomente mit im Schnitt 3,5 Annotatoren je Moment: 738 rüstungs- und 260 anforderungsgeeignete. Für die Modellprüfung wurden aus den 738 zufällig 260 gezogen, um eine 50:50-Balance zu erhalten – daher die 520 bewerteten Momente.
Die Ergebnisse (Tabelle 8 des Berichts, je Wert zwischen 0 und 1; Reihenfolge: angemessen gerüstet / angemessen gefordert / Über-Rüstung vermieden – erst mit schlichtem, dann mit evaluation-aware-Prompt): Claude Opus 4.8 0,615 / 0,208 / 0,462 → 0,858 / 0,831 / 0,896. Claude Sonnet 4.6 0,573 / 0,085 / 0,437 → 0,831 / 0,792 / 0,913. DeepSeek V4 Pro 0,485 / 0,088 / 0,379 → 0,712 / 0,492 / 0,623. Gemini 2.5 Pro 0,727 / 0,223 / 0,546 → 0,896 / 0,712 / 0,854. Gemini 3.5 Flash 0,723 / 0,158 / 0,598 → 0,885 / 0,646 / 0,817. GPT-5.5 0,269 / 0,046 / 0,173 → 0,773 / 0,531 / 0,665. GPT-5.4 mini 0,181 / 0,023 / 0,188 → 0,738 / 0,404 / 0,598. Mit instruiertem Prompt führt Gemini 2.5 Pro beim Rüsten (0,896), Claude Opus 4.8 beim Fordern (0,831) und Claude Sonnet 4.6 beim Vermeiden von Über-Rüstung (0,913). Die Autoren werten es als Beleg für Trennschärfe, dass bekannte Ordnungen wiederkehren: Opus 4.8 vor Sonnet 4.6, GPT-5.5 vor GPT-5.4 mini.
Der menschliche Bezugspunkt und seine Grenze: Nach demselben Verfahren an denselben Stellen bewertet, erreichen die menschlichen Tutoren 0,458 / 0,182 / 0,496 – „around the range of plain-prompted LMs“. Daraus folgt ausdrücklich nicht, dass instruierte Modelle besser unterrichten als Menschen. Die Lehrkräfte waren angewiesen, gerade die ineffektiven Momente zu markieren; der Datensatz bildet also die verpassten Gelegenheiten und Fehleinschätzungen der menschlichen Tutoren ab. Die Autoren schreiben, menschliche Tutoren dienten „as naturalistic reference points to contextualize LM tutor behavior, rather than a pedagogically normative gold standard“.
Was die Modelle stattdessen tun: Mit schlichtem Prompt stützen sich die Modell-Tutoren vor allem auf Erklären (13,31 bis 34,48 Prozent ihrer Aktionen gegenüber 17,7 Prozent bei Menschen) und auf Leitfragen (15,92 bis 23,17 Prozent gegenüber 10,2 Prozent) – ein tutor-getriebenes Muster, das die kognitive Last beim Tutor lässt. Mit instruiertem Prompt sinkt der Erklär-Anteil bei den meisten Modellen auf 2,7 bis 14,99 Prozent, während die Aufforderung zur Begründung 2,8- bis 5,1-mal häufiger vorkommt als bei menschlichen Tutoren. Als Maß dafür, ob ein Tutor überhaupt zwischen Situationen unterscheidet, nutzt der Bericht die Kullback-Leibler-Divergenz zwischen beiden Situationstypen: Mit schlichtem Prompt liegen die Modelle bei 0,048 bis 0,182 gegenüber 0,177 bis 0,179 bei Menschen – nur Claude Opus 4.8 erreicht dort das menschliche Niveau. Mit instruiertem Prompt erreichen oder übertreffen die meisten Modelle den menschlichen Wert (0,119 bis 0,345).
⚠️ Methodische Vorbehalte, die die Autoren selbst benennen: Die Bewertung läuft über eine Sprachmodell-Pipeline, deren Klassifikationsschritte validiert wurden – die Zuordnung der Lehrer-Beschreibungen zu Situationstypen erreicht 96 Prozent Genauigkeit auf 200 Stichproben, der Über-Rüstungs-Erkenner 94,5 Prozent Genauigkeit und 88,9 F1 auf 200 handverschlagworteten Momenten. Bewertendes Modell ist Claude Opus 4.8, das zugleich als Tutor im Feld steht; der Bericht thematisiert diesen Umstand nicht eigens. Die Lehrkräfte selbst sind sich nicht einig: Wo mehrere einen Moment beurteilten, stimmten 68 Prozent vollständig überein, ob er zum Rüsten geeignet war, und 63 Prozent, ob er zum Fordern geeignet war. Der synthetische Schüler erzeugt laut Pilotläufen „unnatürlich erfolgreiche“ Lernverläufe und gilt den Autoren ausdrücklich als Platzhalter. Und der Modellsatz ist nicht die aktuelle Spitze: geprüft wurden Opus 4.8 (nicht Opus 5), GPT-5.5 (nicht die 5.6-Reihe) und Gemini 2.5 Pro beziehungsweise 3.5 Flash – die Werte sagen nichts über die heutigen Nachfolger.
Beleglage: Wir haben den Ai2-Beitrag, das Repository, die Datensatzkarte und den technischen Bericht („When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle“) selbst geöffnet; die Tabellenwerte stammen aus dem Bericht-PDF, das wir zum Auslesen entpackt haben. Datensatz (462 Transkripte, 1.584 Annotator-Durchgänge, 520 Momente, 7.280 Wiederholungen) steht unter CC BY 4.0, der Code unter Apache 2.0. Eine unabhängige Reproduktion des Befunds gibt es bislang nicht – die Zahlen sind die des veröffentlichenden Instituts, allerdings mitsamt Daten, Code und Prompt-Anhang nachvollziehbar gemacht.