Alle Depeschen

DepescheForschung

Agenten-Skills stabilisieren Abläufe, scheitern aber am Abruf

Ein arXiv-Preprint untersuchte 8.135 Versuchsdatensätze zu Skills für Coding-Agenten. Strukturierte Anleitungen wirkten in 65,7 Prozent der Fälle als prozedurale Anker; explizite Wissenszufuhr erklärte 4,5 Prozent. Wuchs der Skill-Pool von fünf auf 100 Einträge, fiel die tatsächliche Trefferquote von 29,6 auf 3,3 Prozent.

Die Arbeit vergleicht Codex und Gemini CLI mit GPT-5.3-Codex, GPT-5.4 und Gemini-3.1-Pro-Preview auf Terminal-Bench, Terminal-Bench 2.0, Terminal-Bench-Pro und SkillsBench. Aus 8.135 normalisierten Läufen blieben 238 eindeutige, offen codierte Fälle für die qualitative Auswertung.

Der häufigste Wirkmechanismus ist laut Paper prozedurale Verankerung: Ein Skill stabilisiert einen Ablauf, den das Modell grundsätzlich ausführen kann. Das erklärt 65,7 Prozent der Skill-Fälle; fehlendes Faktenwissen wurde nur in 4,5 Prozent als Hauptmechanismus eingeordnet. Gegenüber Workflow Memory lag der Skill in passenden Vergleichen um 6,06 Punkte vorn.

Der Abruf ist ein eigener Engpass. In SkillsBench sank die Präzision der tatsächlich verwendeten Skills bei einem Poolwachstum von fünf auf 100 Einträge von 29,6 auf 3,3 Prozent. In zehn Prozent der Skill-Läufe wurde die Anleitung laut Paper falsch angewendet oder ignoriert.

Der Preprint ist nicht begutachtet und nicht unabhängig repliziert. Die Modelle und Gerüste bilden nur eine Momentaufnahme; ein öffentliches Code- und Datenarchiv nennt der Text nicht.