Der Aufbau steht so im Abstract: ein „two-year cluster randomized trial in 18 Tennessee middle schools“, in dem zufällig zugewiesene Schülerinnen und Schüler Khan Academy mit dem hauseigenen KI-Tutor Khanmigo nutzten, „configured to coach rather than give answers“, und zwar in bereits bestehenden täglichen Förderstunden im Fach Mathematik. Der Effekt der Zuweisung: „1.3 national percentile ranks per term, or about 0.06 to 0.08 standard deviations over a school year“; der implizierte Effekt eines vollen Jahres aktiver Teilnahme „reaches 0.14 standard deviations“.
Die Nutzungszahlen sind der eigentliche Befund. 96 Prozent der Schülerinnen und Schüler probierten Khanmigo mindestens einmal aus – am Zugang lag es also nicht. Der Median-Schüler schickte ihm aber nur an einem Drittel der Tage, an denen er überhaupt übte, eine Nachricht, und nur in 17 Prozent der Übungssitzungen, in denen er einen Fehler machte. Und was gesendet wurde, war laut Abstract „mostly bare answers or clicks on suggested prompts“ – substanzieller mathematischer Dialog kam selten zustande.
Damit ist die Studie ein Gegenstück zu dem Befund, den wir am 9. August erfasst haben: Dort ging es darum, dass Sprachmodelle als Tutoren systematisch zu viel helfen, wenn man sie nicht pädagogisch instruiert. Hier war der Tutor pädagogisch instruiert – und wurde kaum benutzt. Beide Messungen zeigen auf dieselbe Lücke zwischen dem, was ein Modell im Prinzip kann, und dem, was im Klassenzimmer davon ankommt.
⚠️ Zwei Einschränkungen gehören dazu. EdWorkingPapers ist eine Preprint-Reihe des Annenberg Institute an der Brown University (in Partnerschaft mit der SCALE Initiative der Stanford University); die Seite hält ausdrücklich fest, dass die Arbeiten „have not gone through a peer review process“. Und die deutschsprachige Rezeption rahmt den Befund als Versuch der Schülerinnen und Schüler, das Werkzeug auszutricksen – diese Deutung steht so nicht im Abstract, der nur von seltener und inhaltsarmer Nutzung spricht. Eine Zahl der teilnehmenden Schülerinnen und Schüler nennt die Abstract-Seite nicht.