Der Aufbau: Randomisiert wurde vorab in Stata anhand von Namen und Geburtsdaten der Richter; die Schulungen liefen von Februar bis April 2025 abends von 19:30 bis 21:00 Uhr pakistanischer Zeit über Zoom. Treatment A (1.197 Richter) erhielt eine praxisorientierte Schulung, die ausdrücklich „risks of bias and hallucinated citations“ behandelte und Prüfroutinen einübte. Treatment B (180 Richter) bekam denselben Zugang, aber einen allgemeinen Kurs zu Technik und Recht ohne Anleitung zum Werkzeug. Die Kontrollgruppe (182 Richter) erhielt nur diesen allgemeinen Kurs. Die Stichprobe deckt nach Angabe der Autoren etwa die Hälfte der erstinstanzlichen Richterschaft und 70 Prozent der Distriktgerichte ab; landesweit waren im Untersuchungszeitraum rund 2,26 Millionen Verfahren anhängig, ein Distriktgericht löste im Schnitt etwa 29.200 Fälle im Jahr.
Was JudgeGPT ist: „JudgeGPT is a chatbot based on OpenAI’s GPT-4 family of models, customized for the Pakistani context by (1) adding a context-specific system prompt and (2) attaching a comprehensive corpus of judicial opinions and laws via retrieval-augmented generation.“ Gesucht wird im Bestand per BM25, das Kontextfenster liegt bei 128.000 Token, die Aufrufe laufen über die Azure-gehostete OpenAI-Schnittstelle. Der Systemprompt bindet das Modell an die vorgelegten Materialien, an geltendes pakistanisches Recht und an die abgerufenen Entscheidungen und lässt nur Fundstellen zitieren, die auf der Plattform vorliegen. Der Betrieb kostete über 27 Monate im Schnitt 2.371 US-Dollar monatlich an Infrastruktur, das sind 5,99 US-Dollar je aktivem Nutzer und Monat.
Die Nutzung, gemessen an Plattformdaten statt an Umfragen: Richter mit zugeschnittener Schulung meldeten sich rund 56-mal häufiger an und schickten rund 212 Prompts mehr ab als die Kontrollgruppe; mit allgemeinem Kurs waren es nur etwa 10 zusätzliche Anmeldungen und 25 Prompts. Der Unterschied zwischen beiden Zugangsgruppen ist in allen Spezifikationen signifikant (p < 0,01). Bis Woche 40 erreichten die zugeschnitten geschulten Richter fast 60 kumulierte Anmeldungen und über 200 Prompts, gegenüber rund 20 Anmeldungen und unter 50 Prompts im allgemeinen Arm. Beide Kurven sind konkav: viel Nutzung kurz nach der Zuweisung, danach flacher.
Der Wirkungsnachweis kommt aus den amtlichen Distriktdaten, nicht aus Selbstauskunft. Vom Nullwert auf das 25. Perzentil der Behandlungsdichte entspricht rund 616 zusätzlich gelösten Fällen je Distriktjahr, auf den Median rund 1.848 – die genannten 6,3 Prozent über dem Mittelwert. In Standardabweichungen ausgedrückt ist der Effekt klein: Der Koeffizient für gelöste Fälle liegt in der gesättigten Spezifikation bei 0,171, der Sprung vom Null- auf den Medianwert (0,20) entspricht 0,034 Standardabweichungen. Zur Qualität schreiben die Autoren: „Appeals per resolved case show no significant increase and, if anything, decline slightly“, und sie finden weder eine Verschlechterung bei Lesbarkeit, Fundstellenarbeit, Urteilslänge und einem von Fachleuten validierten Schreibqualitätsmaß noch mehr messbare Verzerrung in der Sprache zu Geschlecht oder Religion. Die Urteile behandelter Richter enthalten allerdings mehr Text, den ein Klassifikator als KI-generiert einstuft.
⚠️ Die Vorbehalte, in dieser Reihenfolge. Erstens der Nutzungsbefund aus den Chat-Protokollen: „Another one-fifth of prompts involve substantive AI delegation, where judges ask the model to do high-agency tasks, including assessing the right decision, producing reasoning, or writing opinions or orders without substantial judge input.“ Der Mittelwert dieser Kategorie liegt bei 0,181. Knapp 60 Prozent der Prompts sind reine Informationsfragen, ein weiteres Fünftel Aufträge, bei denen der Richter das Ergebnis schon festgelegt hatte – aber ein Fünftel ist es eben nicht. Zweitens der Zeitraum: Die Verwaltungsdaten der LJCP erscheinen jährlich mit Verzug, es liegt bislang nur ein Nachher-Jahr vor. Drittens die Kosten-Nutzen-Rechnung, die die Autoren selbst als „illustrative rather than a complete estimate“ kennzeichnen: Sie beziffern den gehaltsäquivalenten Wert der zusätzlichen Kapazität auf „approximately $41.90 for each dollar spent on JudgeGPT“ und nennen als konservative Untergrenze „at least $10 for every dollar invested“. IEEE Spectrum berichtet an dieser Stelle rund 38,50 US-Dollar je Dollar; wir führen beide Werte, der Unterschied dürfte aus abweichenden Annahmen zur Bankgröße stammen. Viertens: Das Papier ist ein Arbeitspapier, nicht begutachtet – die Vorabregistrierung im AEA-RCT-Register (AEARCTR-0012906) und die Ethikvoten von ETH Zürich und IBA Karachi stehen im Papier, wir haben die Registereinträge nicht selbst geöffnet.
Die Übertragbarkeit hat eine Grenze, die in der Ausgangslage steckt: Pakistans Gerichte sind massiv überlastet, kommerzielle Modelle schnitten laut IEEE Spectrum auf pakistanische Rechtsfragen schlecht ab und erfanden häufig Rechtsprechung – erst das eigene Retrieval-System machte den Einsatz sinnvoll. In einer Justiz mit kurzen Verfahrensdauern und gut abgedeckter juristischer Recherche wäre der Spielraum für einen solchen Effekt kleiner. Und der zitierte Satz eines der Beteiligten in der Rezeption benennt genau die offene Flanke: „What’s not that clear is whether what you call the quality of justice is better.“