Der Aufbau. „Training novices to think, or giving them LLMs? Evidence from an RCT“ (August 2026) beschreibt ein präregistriertes 2×2-faktorielles randomisiertes Experiment mit 1.053 Erstsemestern aus 13 Klassen desselben Grundkurses Management in drei Bachelor-Programmen. Randomisiert wurde auf Klassenebene, die vier Arme umfassen 249 (Kontrolle), 256 (Kausal), 197 (GPT) und 351 Teilnehmende (Kausal & GPT). Das Experiment lief in der regulären Unterrichtszeit ohne Vorankündigung; die Teilnehmenden hatten 45 Minuten für einen realen Geschäftsfall und schrieben bis zu 180 Wörter Beratungsempfehlung zur Bekanntheit und Nutzung des Merchandising-Shops ihrer Universität. Bewertet haben zwanzig Master-Studierende, drei je Lösung, auf einer 1–5-Likert-Skala für die zwei Dimensionen „awareness“ und „usage“; zusätzlich wurde der Abstand zu den Empfehlungen dreier Fachleute gemessen. 90,5 Prozent der Teilnehmenden mit GPT-Zugang gaben an, ihn genutzt zu haben.
Der gemessene Effekt. Zum GPT-Arm schreibt das Papier: „In the no-controls specification, GPT increases the score by 0.834 points. With balance controls the estimate is 0.862 points, relative to the estimated score of 2.09 for the control group. Both are statistically significant at the 1% level.“ Der Mittelwert der abhängigen Variablen liegt bei 2,6. Für die Kombination gilt ausdrücklich: „There is no statistically meaningful evidence that combining Causal with GPT produces an additional effect, on top of using them alone.“ Der Kausal-Arm allein hat „a slightly negative effect“ auf die Bewertung. In allen drei Ähnlichkeitsmaßen zu den Fachleuten ist GPT der einzige signifikante Regressor.
Der eigentliche Befund steht im Schlusskapitel. Das Denktraining wirkte – nur nicht auf die Note: Es hebt die Mechanismus-Identifikation um rund 0,55 und die Falsifizierbarkeit um rund 0,85 Standardabweichungen und ist der einzige Arm, der vielfältigere Ideen erzeugt. Die Autoren schreiben dazu: „Yet these are precisely the attributes that the evaluation rubric penalized: mechanisms and falsifiability are negatively associated with the evaluations; similarly, evaluators mark down solutions that are further from the typical solution space. Distance from the standard, in other words, is not rewarded by the rubric, even where it may reflect a more original answer.“ Und weiter: „This explains the null effect of the causal treatment on measured performance without implying that the training failed. The assessment system simply does not value its effect on the solutions.“ Bemerkenswert ist auch der Nebenbefund zur Bewertbarkeit: Bei KI-gestützten Texten stimmen die Bewertenden stärker überein als bei den übrigen.
⚠️ Herkunft und Interessenlage. Das Papier liegt als PDF auf OpenAIs eigenem Server; wir haben es geöffnet und den Text aus den Dokument-Streams extrahiert. Von den zwölf Autorinnen und Autoren sind drei OpenAI zuzurechnen – Hemanth Asirvatham (OpenAI), Aaron Chatterji (OpenAI & Duke University) und Rachel Brown, die laut Fußnote „contributed to this work during her employment at OpenAI“; Steve Ramos (UC Berkeley) arbeitete „in his capacity as a paid contractor for OpenAI“. Die übrigen sind der Bocconi University beziehungsweise SDA Bocconi und dem ION Management Science Lab zugeordnet. Untersucht wurde also die Technologie des Mitautors – kein Ausschlussgrund, aber der Grund, die Zahlen nicht als unabhängige Messung zu führen.
⚠️ Zwei Unsauberkeiten, die wir nicht auflösen. Erstens nennt der Papiertext die untersuchte Hochschule selbst nicht: Er spricht von „a leading European university“ und hält in einer Fußnote fest, „To preserve authors’ anonymity, we do not disclose the name of the university and the registration number of the pre-analysis plan with the American Economic Association’s registry for randomized controlled trials“ – der Registrierungs-Link ist im Anhang aus demselben Grund leer. Auf der Titelseite stehen die Namen mit Bocconi-Affiliation gleichwohl offen; die Anonymisierungs-Klausel ist erkennbar aus einer verblindeten Fassung stehengeblieben. Die Zuordnung „Bocconi“ stützt sich damit auf die Affiliationen und auf die Rezeption, nicht auf eine Aussage im Text. Zweitens ist die präregistrierte Analyse für uns nicht einsehbar, solange die Registriernummer zurückgehalten wird – wir können nicht prüfen, ob die berichteten Auswertungen den angemeldeten entsprechen.
Was die Studie nicht misst. Erhoben wurde eine einzelne 45-Minuten-Aufgabe, bewertet von geschulten Prüfenden. Ob der Zugang zu ChatGPT das Lernen der Teilnehmenden verändert, ist mit diesem Aufbau nicht gemessen – die abhängige Variable ist die Bewertung eines Arbeitsprodukts, nicht ein späterer Lernstand. Damit steht der Befund quer zu unserer Depesche vom selben Tag über das zweijährige Khanmigo-Experiment, das die Lernseite über zwei Schuljahre misst und dort einen Zuwachs findet, der dem der Plattform ohne KI gleicht.