Alle Depeschen

DepescheForschungneu

Forscher lassen Agenten zwischen Text und latentem Denken wechseln

Forscher von Stanford und Together AI haben am 13. Oktober 2026 HybridAgent vorgestellt. Ein Sprachmodell denkt dabei streckenweise in internen Vektoren statt in Wörtern und wechselt nur für Werkzeugaufrufe und Antworten in Text. Modelle mit 8 und 14 Milliarden Parametern stehen unter MIT-Lizenz auf Hugging Face.

Beim latenten Denken gibt ein Modell seinen letzten internen Zustand direkt als nächste Eingabe weiter, ohne ein Wort zu erzeugen. Solche Modelle konnten bisher keine Werkzeuge aufrufen, und ihre Gedanken blieben unlesbar. Das Team um Jiaru Zou und James Zou koppelt deshalb einen kleinen Adapter namens HybridLink an Qwen3-Basismodelle, bei einem Modell mit 4 Milliarden Parametern hat er rund 10 Millionen. Er übersetzt den internen Zustand in den Raum der Wort-Einbettungen zurück, sodass sich zu jedem latenten Schritt das nächstliegende Wort ablesen lässt.

Trainiert wurde in zwei Stufen: erst überwachtes Feintuning, dann Reinforcement Learning, bei dem das Modell lernt, wann es latent denkt und wann es über Text handelt. Über elf Benchmarks aus Mathematik, Naturwissenschaft, Medizin und Websuche berichten die Autoren 35,5 bis 54,7 Prozent weniger Token, 1,8- bis 2,6-mal schnellere Inferenz und 2,7- bis 3,7-mal geringere Kosten. Gegenüber gleich großen, gleich trainierten Vergleichsmodellen liege die Leistung nach dem RL-Training im Schnitt 10,4 Prozent höher.

Dass das Modell die latenten Schritte tatsächlich nutzt, soll ein Eingriffstest zeigen: Ersetzt man beim 8B-Modell die latenten Abschnitte durch die einer anderen Aufgabe, fällt die Trefferquote auf dem Mathe-Benchmark MATH500 von 84,6 auf 44,8 Prozent. Alle Zahlen stammen aus dem nicht begutachteten Preprint der Entwickler, unabhängige Nachmessungen fehlen. Gängige Software wie vLLM beherrscht den Moduswechsel nicht, das Team hat sie dafür erweitert.