Alle Depeschen

DepescheForschungneu

WikiSkill: Ein 9-B-Modell mit gewachsenen Skills schlägt ein 27-B-Modell ohne – wenn das Wissen zwischen den Durchläufen bleibt

Sechs Forschende, überwiegend von Google Research, haben am 27. August 2026 den Preprint „WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution“ eingereicht (arXiv:2608.27454). Das Framework trennt rohe Ausführungserfahrung, angesammeltes Wissen und ausführbare Skills voneinander und schreibt die Erfahrung fortlaufend in eine Art Wiki zurück, auf dem die nächste Skill-Runde aufbaut. Über fünf Benchmarks und fünf Modelle steigt Gemini 3.5 Flash im Mittel von 49,5 auf 68,1 Prozent, Qwen 3.6 27B von 39,4 auf 63,3 Prozent.

Der Aufbau steht so im Abstract: WikiSkill „co-evolves agent skills with a persistent knowledge base (wiki)“ und trennt dabei „raw execution experience, accumulated knowledge, and executable skills“. Der Kern ist die mittlere Ebene – bisherige Verfahren zur Skill-Entwicklung lassen die Einsichten, die zu einem Skill geführt haben, in den Optimierungsprotokollen liegen; das Paper nennt das „scattered across optimization histories, limiting their systematic reuse across iterations“. WikiSkill schreibt sie stattdessen in einen dauerhaften Wissensspeicher, auf den die nächste Runde zugreift.

Evaluiert wurde auf fünf Benchmarks – LiveMathematicianBench, SealQA, SpreadsheetBench, OfficeQA und ALFWorld – mit fünf Modellen: Qwen 3.5 4B und 9B Instruct, Qwen 3.6 27B, Gemma 4 31B It und Gemini 3.5 Flash. Die Durchschnittswerte aus Tabelle 1: Gemini 3.5 Flash 49,5 → 68,1 Prozent, Qwen 3.6 27B 39,4 → 63,3 Prozent. Der größte Einzelsprung liegt bei Gemini 3.5 Flash auf LiveMathematicianBench, von 33,0 auf 72,6 Prozent.

Zwei Befunde des Abstracts gehen über die reine Punktzahl hinaus. Erstens skaliert der Effekt gegenläufig zur Modellgröße: „larger models generally benefit more from evolved skills, while smaller models with skills can outperform substantially larger models without them“. Das konkrete Paar dazu steht in Tabelle 1 – Qwen 3.5 9B mit WikiSkill bei 47,4 Prozent gegen Qwen 3.6 27B ohne Skills bei 39,4 Prozent. Zweitens sind die Skills übertragbar: Sie wirken laut Abstract „across models and model families“, und „skills evolved by other models can outperform self-evolved skills“ – ein Agent profitiert also unter Umständen mehr von der Erfahrung eines fremden Modells als von seiner eigenen.

Die Ablation stützt die zentrale Behauptung: „persistent knowledge accumulation in the wiki is critical for effective skill evolution“. Ohne die Wiki-Ebene bricht der Effekt also ein – es ist nicht bloß mehr Kontext, der hilft.

⚠️ Zur Einordnung der Provenienz: Alle Zahlen sind Messungen der Autoren an ihrem eigenen Verfahren, eine unabhängige Reproduktion liegt nicht vor. Die Autorenliste ist überwiegend bei Google Research angesiedelt (Tu Vu als korrespondierender Autor zusätzlich Virginia Tech), und das am besten abschneidende Modell, Gemini 3.5 Flash, ist Googles eigenes – bei einem Vergleich, der Modellgröße gegen Erfahrungsspeicher ausspielt, ist das keine interessenfreie Konstellation. Die Metadaten sind über die arXiv-API bestätigt: eingereicht am 27. August 2026, sechs Autoren (Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan, Tu Vu), Kategorien cs.AI und cs.CL. Die von der deutschsprachigen Rezeption genutzte Bezeichnung der drei Ebenen als „Raw Layer“, „Wiki Layer“ und „Skill Layer“ sowie der Verweis auf eine Anregung von Andrej Karpathy zu einem „LLM Wiki“ stammen von The Decoder, nicht aus dem Abstract.