DepescheForschung26. Juli 2026neu

127 Paketnamen, die fünf Modelle identisch erfinden – 53 davon kann sich noch jeder registrieren

Eine Replikationsstudie des unabhängigen Forschers Aleksandr Churilov hat fünf Code-Modelle über 199.845 gepaarte Python- und JavaScript-Prompts geschickt und die genannten Paketnamen gegen die Verzeichnisse von PyPI und npm abgeglichen. Die Halluzinationsrate liegt zwischen 4,62 Prozent (Claude Haiku 4.5) und 6,10 Prozent (GPT-5.4-mini) – deutlich enger beieinander als in der Vorgängerarbeit von 2024, aber nicht verschwunden. Der eigentliche Fund liegt in der Schnittmenge: 127 Paketnamen erfinden alle fünf Modelle identisch (109 auf PyPI, 18 auf npm). Nach koordinierter Offenlegung an PyPI Security und Socket.dev sind davon immer noch 53 für Angreifer frei registrierbar – 41 auf PyPI, 12 auf npm.

Der methodische Ausgangspunkt ist die Arbeit von Spracklen et al. auf der USENIX Security ’25, die Halluzinationsraten von 5,2 Prozent bei kommerziellen und 21,7 Prozent bei quelloffenen Modellen gemessen hatte. Churilov repliziert die Methodik auf fünf zwischen Oktober 2025 und März 2026 erschienenen Code-Modellen: Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4-mini, Gemini 2.5 Pro und DeepSeek V3.2. Über 199.845 gepaarte Python- und JavaScript-Prompts, jeweils gegen die vollständigen Namenslisten von PyPI und npm validiert, ergeben sich Raten zwischen 4,62 und 6,10 Prozent. Der Titel der Arbeit fasst den Befund zusammen: Die Spannweite zwischen den Modellen schrumpft um eine Größenordnung, die Bedrohung bleibt.

Über die Replikation hinaus geht der modellübergreifende Teil. 127 Paketnamen – 109 auf PyPI, 18 auf npm – erfinden alle fünf untersuchten Modelle identisch. Nach koordinierter Offenlegung an PyPI Security und Socket.dev und nach Anwendung der bestehenden Schutzmechanismen beider Verzeichnisse bleiben 53 dieser Namen für einen Angreifer registrierbar: 41 auf PyPI, 12 auf npm. Churilov nennt das eine modellunabhängige Lieferketten-Angriffsfläche, die keine Untersuchung eines einzelnen Modells aufdecken kann.

Drei Nebenbefunde sind für die Einordnung nützlich. Erstens kehrt sich die Sprachasymmetrie gegenüber 2024 um: Python halluziniert jetzt stärker als JavaScript. Zweitens findet sich innerhalb der Anthropic-Familie eine Inversion – das kleinere Haiku 4.5 halluziniert seltener als Sonnet 4.6. Drittens weisen DeepSeek V3.2 und GPT-5.4-mini die höchste Jaccard-Ähnlichkeit ihrer Halluzinationsmengen auf (J = 0,343), was der Autor als Hinweis auf gemeinsame Trainingsdaten-Ursprünge liest – eine Interpretation, keine nachgewiesene Herkunft.

Zur Beleglage: Das Papier erschien am 16. Mai 2026 als Preprint auf arXiv, in überarbeiteter Fassung am 11. Juni 2026, und ist nicht begutachtet; Autor ist ein unabhängiger Forscher ohne Institutszugehörigkeit. Aufgegriffen wurde es am 24. Juli 2026 von InfoWorld – der Anlass für diese Depesche, nicht die Quelle der Zahlen: Sämtliche hier genannten Werte sind dem Abstract der Originalarbeit entnommen und gegen sie geprüft.

// Einordnung der Redaktion

Warum das relevant ist

„Slopsquatting“ – das Besetzen halluzinierter Paketnamen mit Schadcode – wird meist als Restrisiko einzelner schwacher Modelle abgetan. Diese Arbeit zeigt, warum das die falsche Perspektive ist: Der gefährliche Teil der Angriffsfläche entsteht nicht dort, wo ein Modell etwas Eigenes erfindet, sondern dort, wo mehrere Modelle unabhängig voneinander denselben Namen erfinden. Eine solche Schnittmenge kann eine Studie mit nur einem Modell prinzipiell nicht sichtbar machen – und sie ist für einen Angreifer die attraktivste Adresse, weil sie unabhängig davon trifft, welches Werkzeug das Opfer benutzt. Praktische Konsequenz für alle, die mit KI-Assistenz programmieren: Ein vorgeschlagener Import ist kein Beleg für die Existenz eines Pakets, und die Prüfung gehört vor das Installieren, nicht danach. Einschränkungen, die man mitlesen muss: Die Arbeit ist ein Preprint ohne Peer-Review, die getesteten Modelle stammen aus dem Zeitraum Oktober 2025 bis März 2026 und sind damit nicht die heutige Spitze; ob die aktuelle Generation dieselbe Schnittmenge produziert, ist offen. Anzeichen für tatsächlich bösartig registrierte Pakete fand die Studie nicht – sie beschreibt eine Angriffsfläche, keinen laufenden Angriff.