Der Aufbau: Untersucht wurden sechs instruktions-feinabgestimmte Modelle mit offen verfügbaren Gewichten aus vier Familien – Mistral-Small-24B-Instruct, Qwen2.5-32B-Instruct, OLMo-2-32B-Instruct, Llama-3.1-70B-Instruct, Qwen2.5-72B-Instruct und Mistral-Large-123B-Instruct. Die 46 Aufgaben verteilen sich auf vier Bereiche, die je einem bekannten Netzwerk des menschlichen Gehirns entsprechen: Sprache (8 Aufgaben), formales Schließen (20), physikalisches Schließen (9) und soziales Schließen (9). Die Modelle lösten sie im Mittel ähnlich gut, von 81 Prozent im physikalischen bis 85 Prozent im sprachlichen Bereich.
Die Methode heißt Attribution Patching: Zu jeder Aufgabe gibt es Minimalpaare – eine Originalaufgabe und eine Variante, die sich in genau einer aufgabenrelevanten Dimension unterscheidet, sodass die richtige Antwort kippt. Aus dem Vergleich beider Durchläufe schätzt das Verfahren gradientenbasiert, wie stark jedes einzelne Neuron zur Lösung beiträgt. Ausgewertet wurden die jeweils obersten 0,1 Prozent. Die Arbeit hält selbst fest, dass dieses Verfahren die kausale Rolle nur linear annähert und sie nicht direkt prüft – deshalb der zweite Schritt.
Die Korrelation: Aufgaben desselben Bereichs teilen sich im Mittel 12,9 Prozent ihrer wichtigsten Neuronen, Aufgaben verschiedener Bereiche nur 3,0 Prozent (p < 0,0001). Das Muster steht in jedem einzelnen der sechs Modelle – die Überlappung innerhalb eines Bereichs reicht von 11,1 Prozent (Mistral-Small-24B) bis 14,2 Prozent (Qwen2.5-72B), zwischen Bereichen von 2,3 Prozent (OLMo-2-32B) bis 3,5 Prozent (Mistral-Large-123B), das Verhältnis liegt zwischen 3,5 und 5,9. Lässt man ein Clusterverfahren die Aufgaben allein nach ihrer Neuronen-Überlappung gruppieren, findet es die vier vorgegebenen Bereiche wieder (Adjusted Rand Index 0,78; p < 0,0001).
Der wichtigste Einwand gegen so ein Ergebnis lautet: Vielleicht gruppiert sich hier nur der Wortlaut der Aufgaben, nicht ihr kognitiver Gehalt. Die Arbeit prüft das und vergleicht ihren Wert gegen rein sprachliche Ähnlichkeitsmaße auf denselben Aufgabenpaaren: Die Neuronen-Überlappung erreicht 0,78, die Textmaße bleiben deutlich darunter – SBERT 0,39, GloVe 0,36, TF-IDF 0,12, und die Einbettungen der Eingabe-Token eines Qwen2.5-32B nur 0,04, was statistisch nicht mehr von Zufall zu unterscheiden ist.
Die kausale Probe: Über alle 2.070 Aufgabenpaare hinweg wurden die für eine Aufgabe wichtigsten Neuronen abgeschaltet und das Modell dann auf einer anderen Aufgabe geprüft. Gehören beide zum selben Bereich, fällt die Genauigkeit im Mittel um 25,9 Prozentpunkte; gehören sie verschiedenen Bereichen an, nur um 2,5 – Faktor 10,3 (p < 0,0001). Nach Bereichen aufgeschlüsselt ist die Sprache am schärfsten getrennt: 20,4 Prozentpunkte im eigenen Bereich gegenüber unter 0,5 in fremden (Verhältnis 44,3). Beim formalen Schließen sind es 32,0 gegenüber 3,0 (Verhältnis 10,6), beim physikalischen 16,0 gegenüber 4,1 (3,9), beim sozialen 7,9 gegenüber 2,0 (4,0).
⚠️ Was die Arbeit nicht trägt: Sie ist ein Preprint ohne ausgewiesene Begutachtung. Untersucht wurden ausschließlich offene Modelle der Generationen Llama 3.1, Qwen 2.5, OLMo 2 und Mistral – kein aktuelles Spitzenmodell, keines mit geschlossenen Gewichten. Die Effektstärke hängt sichtbar an der Auswahlschwelle: Weitet man sie von den obersten 0,05 Prozent auf 5 Prozent, sinkt das Verhältnis von Überlappung innerhalb zu zwischen den Bereichen von 5,4 auf 1,4 – die Trennung sitzt also in den wenigen am stärksten beteiligten Einheiten, nicht in der Breite. Nicht jedes Modell löste jede Aufgabe zuverlässig genug für die Auswertung; die Abdeckung reicht von 35 der 46 Aufgaben (OLMo-2-32B) bis 46 von 46 (Qwen2.5-72B). Einen eigenen Abschnitt mit Einschränkungen führt der Text nicht. Alle hier genannten Zahlen haben wir dem Volltext des Preprints entnommen, nicht einer Rezeption. Und die Deutung, die der Titel nahelegt – Modularität als allgemeines Merkmal intelligenter Systeme –, ist die Interpretation der Autoren, nicht ein Messergebnis.