Die vier Versuchsarme kombinierten ein Training in kausalem Denken mit Zugang zu ChatGPT Edu oder ließen beides weg. Die Studierenden bearbeiteten einen realen Geschäftsfall und schrieben eine kurze Empfehlung. Bewertet wurde das Ergebnis von mehreren geschulten Prüfern auf einer Skala von eins bis fünf.
Ohne beziehungsweise mit Balance-Kontrollen lag der GPT-Effekt bei 0,834 beziehungsweise 0,862 Punkten gegenüber einem geschätzten Kontrollwert von 2,09. Die Kombination aus GPT und Denktraining brachte keinen zusätzlichen statistisch bedeutsamen Effekt gegenüber den Einzelmaßnahmen.
Das Denktraining erhöhte die Erkennung von Mechanismen um etwa 0,55 und die Falsifizierbarkeit um etwa 0,85 Standardabweichungen und erzeugte vielfältigere Ideen. Genau diese Merkmale korrelierten jedoch negativ mit der Note; Lösungen außerhalb des üblichen Lösungsraums wurden ebenfalls schlechter bewertet.
Das Papier erschien auf einem OpenAI-Server, mehrere Autoren arbeiten bei OpenAI oder waren dort beschäftigt. Gemessen wurde eine einzelne Aufgabe, kein langfristiger Lernerfolg. Die Studie zeigt daher vor allem, wie stark Ergebnisurteile von der gewählten Rubrik abhängen.