SkillOpt

SkillOpt ist ein „Text-Space-Optimierer“ von Microsoft Research: Statt ein Modell nachzutrainieren oder einen Prompt von Hand zu tunen, behandelt es das Skill-Dokument (eine Markdown-Datei) als den trainierbaren externen Zustand eines eingefrorenen LLM-Agenten. Das Ziel-Modell bleibt unverändert – optimiert wird nur der Text.

Die Schleife ähnelt einem ML-Training: Der Agent arbeitet mit der aktuellen Skill-Datei eine Batch von Aufgaben ab und protokolliert jeden Schritt (Rollout). Ein separates Optimierer-Modell liest Erfolge und Fehlschläge, leitet wiederverwendbare Regeln ab (Reflection) und schlägt Edits an der Datei vor – hinzufügen, löschen, ersetzen unter einem festen Edit-Budget (einer „textuellen Lernrate“). Kein Edit wird übernommen, der nicht auf einem zurückgehaltenen Validierungs-Set strikt besser abschneidet; abgelehnte Edits landen in einem Puffer, damit der Optimierer denselben Irrweg nicht zweimal geht.

Ergebnis ist eine einzelne, portable `best_skill.md`. In Microsofts Auswertung landete SkillOpt in allen 52 getesteten Konstellationen (7 Modelle, 6 Benchmarks, 2 Harnesses: Codex und Claude Code) auf dem besten oder gleichbesten Platz; mit GPT-5.5 bis zu +23,5 Punkte über sechs Benchmarks. Die Skills sind übertragbar: eine in Codex trainierte Datei hob die skill-lose Basis in Claude Code von 22,1 auf 81,8 (+59,7), und ein auf einem großen Modell trainierter Skill funktionierte ohne Nachtraining auch auf einem kleineren.