Alle Depeschen

DepescheModelle

Needle 2 bringt Tool-Aufrufe in 14 Megabyte

Cactus Compute hat Needle 2 veröffentlicht, ein 45-Millionen-Parameter-Modell für Tool-Aufrufe. Es wird als 14-Megabyte-Binärprogramm ausgeliefert, arbeitet mit direkt auf 2 Bit trainierten Gewichten und braucht laut Anbieter rund 28 Megabyte Arbeitsspeicher. Auf einem Raspberry Pi 5 schafft es über 500 Token pro Sekunde; bei allgemeinem Tool-Use liegt es hinter größeren Vergleichsmodellen.

Needle 2 ergänzt das reine Aufmerksamkeitsnetz des Vorgängers um ein Hadamard-MLP, Engram-Speicher und mehrere Residualströme. Es hat 27 Lagen, eine Breite von 512 und rund 70 MFLOPs je Token. Die Lizenz wechselt von MIT zu Apache 2.0; die Gewichte sind direkt in CQ2-bit trainiert und nicht nachträglich quantisiert.

In der Mobile-Actions-Gesamtwertung erreicht Needle 2 63,7 Prozent. LFM2.5 230M kommt auf 69,1, FunctionGemma 270M auf 64,0 und Apple FM auf 57,6 Prozent. Bei BFCL v4 erreicht Needle 2 42,6 Prozent und liegt damit hinter LFM2.5 mit 60,8, Apple FM mit 61,7 und FunctionGemma mit 46,1 Prozent. Auf Seal-Tools liegt es dagegen vorn.

Cactus nennt auf dem Raspberry Pi 5 über 500 Token pro Sekunde beim Dekodieren und über 800 beim Prefill. Eine unabhängige Vorführung brachte Needle 2 auf einem ESP32-S3 zum Laufen: Tool-Aufrufe funktionierten, aber mit etwa 1,86 Token pro Sekunde und rund 40 Sekunden je Aufruf. Diese Einzelläufe belegen das Funktionsprinzip, keine allgemeine Trefferquote.

Die Gesamtgenauigkeit ist aussagekräftiger als die Teilmetrik für den Funktionsnamen, bei der Needle 2 98,3 Prozent erreicht. Die Anbieterwerte sind außerdem nicht symmetrisch gemessen: Needle 2 läuft in 2 Bit, die Vergleichsmodelle in 16 Bit.