Was gemessen wurde. Das Preprint „The AI Observatory: A Public Measure of Real-World AI Use“ aggregiert nach eigener Angabe sieben Quellen echter KI-Gespräche: WildChat, ShareGPT, AI Archive, einen Grok-Schnappschuss, LMSYS-Chat-1M, Chatbot Arena und den Browser-instrumentierten Datensatz NIO. Die Abbildung zum Überblick beziffert das annotierte Material auf „23,158 conversations, 85,633 turns, 5K users, 25+ models, from 2023–2026“. Die Taxonomie umfasst 145 Merkmale auf den vier Ebenen Prompt, Antwort, Zug und Gespräch und deckt Funktion, Thema, sensible Nutzung, Interaktionsstil, Mehrzug-Dynamik und Gesprächsstruktur ab; sie wurde über fünf Runden Pilot-Annotation von zehn geschulten Annotierenden aus dem Autorenkreis verfeinert.
Der Befund zum Economic Index. Das Papier formuliert ihn als eigene Kernaussage: „Proprietary occupational summaries omit nearly half of AI use. Applying the Economic Index’s analysis pipeline to our sources shows that nearly 48% of conversations are filtered, classified as non-occupational.“ Im Abstract steht der genaue Wert: Der Berufs-Filter „removes 47.9% of the conversations we analyze as non-occupational, omitting substantial personal, social, cultural, and safety-relevant interaction“. Das ist keine Fehlerbehauptung gegen Anthropic – die Autoren nennen die Berufs-Perspektive ausdrücklich „an important but incomplete slice of use“ –, sondern eine Aussage über den Ausschnitt.
Die Streuung zwischen Quellen und Modellen. Der zweite Kernsatz betrifft die Übertragbarkeit: Es gebe „no single source that generalizes“, und die Unterschiede „persist across similar underlying models, suggesting that platform interface and user composition shape how AI is used as much as the model itself, and that evaluations focused on model behavior alone may systematically misestimate the risks that surface in deployed systems“. Konkret in der Chatbot Arena: Gemini und Grok antworten deutlich länger als der Durchschnitt (+81,0 und +78,0 Prozent), Claude deutlich kürzer (−59,8 Prozent); Grok ist stärker phatisch und URL-lastig, Claude formatiert seltener in Listen und begründet Verweigerungen häufiger. Über die Zeit wachsen Tokens und Züge je Gespräch seit 2023, und WildChat-Gespräche werden zwischen 2023 und 2025 länger und stärker code-orientiert.
Der Vorbehalt der Autoren zur eigenen Datenbasis. In einer Fußnote halten sie fest, dass ihre Quellen aus freiwillig beigesteuerten oder Opt-in-Gesprächen bestehen, und schließen daraus: „we suspect prevalence rates of sensitive-use categories are even higher in the overall AI user population“. Die gemessenen Anteile sensibler Nutzung sind für sie also eher Unter- als Obergrenzen. Gegenüber MIT Technology Review begründet Anka Reuel das Projekt mit derselben Lücke: „There is no independent source to corroborate it“; Shayne Longpre ergänzt: „No single company report tells the whole story.“
⚠️ Eine Zahl, die auseinandergeht. Die von uns geöffnete PDF-Fassung nennt 23.158 Gespräche und „25+ models“. MIT Technology Review berichtete am 18. August 2026 über dieselbe Arbeit mit 24.521 Gesprächen und 52 Modellen. Übereinstimmend sind in beiden Darstellungen die 85.633 Züge, die rund 5.000 Nutzenden, die sieben Quellen und der Anteil von knapp 48 Prozent gefilterter Gespräche. Wir geben die Werte der von uns selbst geöffneten Fassung wieder und lassen den Widerspruch offen – vermutlich handelt es sich um zwei Fassungen desselben Preprints. Ebenfalls nicht übernommen: die Zuschreibung an das „Stanford Trustworthy AI Research (STAIR) Lab“ aus der deutschsprachigen Rezeption; das Papier führt drei gleichrangige Erstautoren an drei Hochschulen und insgesamt 16 beteiligte Einrichtungen.