Alle Depeschen

DepescheForschung

Needle: 26-Millionen-Parameter-Modell für Tool-Aufrufe

Cactus Compute veröffentlichte Needle als quelloffenes Modell mit 26 Millionen Parametern für eine eng umrissene Aufgabe: Aus einer Anfrage und einer Werkzeugliste erzeugt es einen passenden Funktionsaufruf als JSON. Needle ist aus Google Gemini 3.1 Flash Lite destilliert und verzichtet vollständig auf MLP-Schichten.

Aussagen gegen die Quellen geprüft · 22. Juli 2026

Das Simple Attention Network besteht laut Cactus aus Attention und Gating. Es arbeitet als Encoder-Decoder mit 12 Encoder- und acht Decoder-Schichten. Der Anbieter nennt 6.000 Token pro Sekunde beim Prefill und 1.200 beim Decode auf Consumer-Hardware; die Gewichte und der Trainingscode stehen unter MIT-Lizenz offen.

Needle ist für Single-Shot-Function-Calling gedacht. Cactus vergleicht es dabei mit größeren Spezialmodellen wie FunctionGemma-270M, Qwen-0.6B und Granite-350M. Diese Benchmarkwerte und die Aussage zum Fine-Tuning ohne GPU stammen vom Anbieter; komplexes oder paralleles Tool-Use ist ausdrücklich nicht das Ziel.