Alle Depeschen

DepescheWerkzeugeneu

Microsoft SkillOpt: Agenten-Skills als trainierbare Parameter – ohne die Modellgewichte anzufassen

Microsoft Research hat SkillOpt quelloffen (MIT) veröffentlicht: einen „Text-Space-Optimierer“, der die Skill-Datei eines Agenten (eine Markdown-Datei) wie einen trainierbaren Parameter behandelt, ohne das Modell nachzutrainieren oder den Prompt von Hand zu tunen. In einer trainings-ähnlichen Schleife (Rollout → Reflection → validierungs-gegatete Edits unter einem Budget) entsteht eine portable best_skill.md. Laut Microsofts Auswertung landet SkillOpt in allen 52 getesteten Konstellationen (7 Modelle, 6 Benchmarks, 2 Harnesses inkl. Claude Code und Codex) auf dem besten oder gleichbesten Platz.

SkillOpt reframt die Frage von „Wie schreibe ich einen besseren Prompt?“ zu „Wie trainiere ich den Skill?“. Das Skill-Dokument – eine reine Markdown-Datei – gilt als der trainierbare externe Zustand eines eingefrorenen LLM-Agenten. Die Optimierungs-Schleife ähnelt einem ML-Training: Der Agent arbeitet mit der aktuellen Skill-Datei eine Batch von Aufgaben ab und protokolliert jeden Schritt (Rollout); ein separates Optimierer-Modell liest Erfolge und Fehlschläge und leitet wiederverwendbare Regeln ab (Reflection); daraus schlägt es Edits an der Datei vor – hinzufügen, löschen, ersetzen – unter einem festen Edit-Budget, das Microsoft als „textuelle Lernrate“ beschreibt.

Der entscheidende Baustein ist ein Validierungs-Gate: Kein Edit wird übernommen, nur weil der Optimierer ihn mag – jeder Kandidat muss auf einem zurückgehaltenen Validierungs-Set strikt besser abschneiden als der bisherige Skill, sonst wird er verworfen. Abgelehnte Edits landen in einem Puffer, damit der Optimierer denselben Irrweg nicht zweimal einschlägt. Ergebnis ist eine einzelne, lesbare und auditierbare best_skill.md, die jedes kompatible Modell auf der Zielaufgabe genauer macht.

Laut Microsofts Auswertung erreicht SkillOpt in allen 52 getesteten Zellen (Kombinationen aus 7 Zielmodellen, 6 Benchmarks und 2 Ausführungs-Harnesses – darunter Claude Code und OpenAI Codex) das beste oder gleichbeste Ergebnis; mit GPT-5.5 waren es bis zu +23,5 Punkte über sechs Benchmarks, auf SpreadsheetBench ein Sprung von 41,8 auf 80,7. Die Skills sind übertragbar über Harnesses und Modellgrößen hinweg. Einordnung: SkillOpt ist Forschung samt Code (MIT-Lizenz, Blog + GitHub `microsoft/SkillOpt` + arXiv 2605.23904), kein fertiges Produkt; die genannten Zahlen stammen aus Microsofts eigener Auswertung und stehen einer unabhängigen Replikation noch aus. Aufgekommen ist die Meldung über den Dev-Kanal Better Stack (Tier C), geprüft wurde an den Primärquellen.