DepescheForschung22. August 2026

Agenten-Skills geben Halt, nicht Wissen – und ab hundert Einträgen findet der Agent den richtigen nicht mehr

Neun Forschende aus Princeton, UC San Diego, Stanford, USC und Johns Hopkins haben am 14. August 2026 den Preprint „Demystifying Agent Skills: Why They Work—Until They Don’t“ eingereicht (arXiv:2608.14036). Er fragt nicht, ob Skills – strukturierte Handlungsanleitungen, die ein Agent zur Laufzeit lädt – die Erfolgsquote heben, sondern warum sie wirken und wo sie versagen. Grundlage sind 8.135 normalisierte Versuchsdatensätze aus kontrollierten Experimenten auf Terminal-Bench, Terminal-Bench 2.0, Terminal-Bench-Pro und SkillsBench, gefahren in den Gerüsten Codex und Gemini CLI mit GPT-5.3-Codex, GPT-5.4 und Gemini-3.1-Pro-Preview. Kernbefund: Ein Skill wirkt als prozeduraler Anker, der einen wackligen Ablauf stabilisiert – dieser Modus erklärt 65,7 Prozent der Fälle, das Einspeisen fehlenden Faktenwissens nur 4,5 Prozent. Der zweite Befund ist ein Engpass beim Abruf: Wächst die Sammlung von 5 auf 100 Einträge, fällt die Trefferquote beim tatsächlichen Gebrauch von 29,6 auf 3,3 Prozent.

Die Ausgangsfrage benennt der Preprint selbst: „existing evaluations largely measure whether skills improve aggregated task success, leaving a more fundamental question underexplored: when do skills help, why do they work, and where do they fail?“ Der Aufbau kombiniert kontrollierte Messreihen mit einer Auswertung gepaarter Verläufe – „we normalize 8,135 trial records from controlled experiments and retain 238 valid unique labels from 240 open-coded records“. Isoliert werden dabei vier Einflüsse: Darstellung des Skills, Ergebnis-Annotation, Abruf-Schwierigkeit und Robustheit über Gerüste hinweg. Gemessen wurde auf Terminal-Bench, Terminal-Bench 2.0, Terminal-Bench-Pro und SkillsBench in den Gerüsten Codex und Gemini CLI, mit GPT-5.3-Codex, GPT-5.4 und Gemini-3.1-Pro-Preview; für die Einbettungen kommt Qwen3-Embedding-0.6B zum Einsatz.

Aus den Verläufen entsteht eine Taxonomie mit drei Oberkategorien und zwölf Gebrauchsmustern. Die Arbeit fasst sie so zusammen: „SC1 captures successful procedural anchoring, where the agent either succeeds autonomously or prior experience provides useful guidance. SC2 captures execution-layer and verification failures … SC3 captures invocation, applicability, and boundary failures, where guidance is present but misused, over-applied, ignored, or constrained by external limits.“ Der zentrale Satz der Arbeit lautet: „skills work when noisy trajectories become procedural anchors that stabilize execution“.

Die Kernzahl steht im Abstract: „Procedural anchoring accounts for 65.7% of skill cases, versus 4.5% for explicit knowledge injection, showing that skills stabilize action rather than inject missing facts.“ Gegen die verwandte Technik Workflow Memory – dasselbe Rohmaterial, andere Aufbereitung – liegt der Skill bei gleichgehaltenen Ausgangsverläufen um 6,06 Prozentpunkte vorn, gemessen über Terminal-Bench, SkillsBench und Terminal-Bench-Pro zusammen.

Der zweite Befund betrifft nicht die Wirkung, sondern das Finden: „Retrieval is a separate bottleneck: as pools grow from 5 to 100, actual-use precision falls from 29.6% to 3.3%.“ Gemessen wurde das auf SkillsBench, in beiden berichteten Paarungen (Gemini CLI mit Gemini-3.1-Pro-Preview und Codex mit GPT-5.4); „actual-use precision“ meint den Anteil der tatsächlich herangezogenen Skills, der mit der hinterlegten Referenz übereinstimmt. Bemerkenswert ist der Zusatz: Verwechselbare Ablenker verschlechtern zwar die Zuordnung, der Erfolg am Ende bleibt aber stabil – „exact ground-truth invocation is neither sufficient nor necessary“. Der richtige Skill ist also weder Garantie noch Bedingung; ein passender Ablauf tut es offenbar auch.

Auf der Versagensseite nennt die Arbeit drei Ursachen – „brittle assumptions, incompatible contexts, or insufficient adaptation“. Quantifiziert ist davon der mechanische Fehlgebrauch: „The mode skill_guidance_misapplied_or_ignored appears in 10.0% of skill-arm cases.“ In jedem zehnten Lauf mit Skill wird die Anleitung also falsch angewendet oder schlicht übergangen.

⚠️ Zur Beleglage: Wir haben die arXiv-Abstract-Seite und den HTML-Volltext getrennt geöffnet und den Volltext anschließend mit gezielten Kontrollfragen gegengelesen; alle hier genannten Zahlen stammen von dort. Der Beitrag ist ausdrücklich als Preprint gekennzeichnet („arXiv:2608.14036v1 [cs.AI] 14 Aug 2026“) und nicht begutachtet. Auf die Frage nach einem öffentlichen Repositorium mit Code und Daten gibt der Text nichts her. Die deutsche Rezeption, über die wir auf die Arbeit gestoßen sind, nennt als Herkunft nur „Princeton University und UC San Diego“ – die Autorenliste umfasst nach dem Volltext fünf Einrichtungen (zusätzlich Stanford, University of Southern California und Johns Hopkins). Unabhängig repliziert ist keine der Zahlen.

// Einordnung der Redaktion

Warum das relevant ist

Wer mit Claude Code, Codex oder einem eigenen Gerüst arbeitet, sammelt Skill-Dateien an, weil sie sich spürbar lohnen. Diese Arbeit beziffert erstmals, woran das liegt – und die naheliegende Intuition ist demnach falsch. Ein Skill liefert dem Modell selten Wissen, das ihm fehlt; er liefert einen Ablauf, an dem es sich festhält, wenn es sonst abdriftet. Daraus folgt eine praktische Regel: Skills lohnen sich dort, wo der Agent die Aufgabe im Prinzip beherrscht, sie aber unzuverlässig ausführt – nicht dort, wo ihm die Sache fremd ist. Die zweite Zahl ist die unbequemere. Der Abruf ist ein eigener, bislang unterschätzter Engpass: Eine Bibliothek, die von fünf auf hundert Einträge wächst, macht den Agenten nicht hundertfach fähiger, sondern lässt ihn den passenden Eintrag fast nie mehr finden. Wer Skills hortet, baut sich ab einer gewissen Größe ein Suchproblem, kein Fähigkeitsproblem – und muss es getrennt lösen. Einschränkend gilt: Es ist ein Preprint ohne Begutachtung, die getesteten Modelle sind eine Momentaufnahme, und ein Repositorium mit Code und Daten nennt der Beitrag auf gezielte Nachfrage nicht.