Die Architektur ist der eigentliche Punkt. Ein normaler Transformer-Block wechselt zwischen Attention und einer Feed-Forward-Schicht (MLP), die einen Teil der Neuronen um das Vierfache aufbläht und wieder verkleinert – genau diese MLP-Schichten haben sich in der Interpretierbarkeitsforschung als der Ort erwiesen, an dem ein Modell Faktenwissen speichert. Cactus’ „Simple Attention Network“ lässt sie ersatzlos weg: „The entire model is just attention and gating, no MLPs anywhere.“ Übrig bleibt ein Encoder-Decoder-Aufbau (12 Encoder-Schichten ohne FFN, bidirektional; 8 Decoder-Schichten mit maskierter Self-Attention plus Cross-Attention), d_model 512, Grouped-Query-Attention (8 Query-/4 KV-Köpfe), RoPE-Positionskodierung, Vokabular 8.192. Der Encoder-Decoder-Zuschnitt (statt Decoder-only) erlaubt, die komplette Werkzeugliste in einem Rutsch bidirektional zu lesen, statt sie links-nach-rechts zu erschließen.
Trainiert wurde in zwei knappen Schritten: Pretraining auf 200 Milliarden Token mit 16 TPU v6e in 27 Stunden, danach Post-Training auf 2 Milliarden Token synthetischer Function-Calling-Daten (15 Werkzeug-Kategorien) in 45 Minuten. Um trotz Miniaturgröße robust zu quantisieren, nutzt Cactus Quantize-Aware-Training (INT4, gruppenweise, group_size 32). Gewichte und der komplette JAX/Flax-Trainingscode liegen offen (MIT-Lizenz, Hugging Face `Cactus-Compute/needle`); das Repo erlaubt Fine-Tuning auf eigene Funktionslisten sogar ohne GPU. Laut Cactus schlägt Needle bei Single-Shot-Function-Calling deutlich größere Spezialmodelle wie FunctionGemma-270M, Qwen-0.6B, Granite-350M und LFM2.5-350M – eine anbieter-selbstberichtete Messung, die eine unabhängige Bestätigung noch aussteht.
Unabhängige Einordnung liefert Sam Witteveen (Google Developer Expert, in unserem Register als verlässlicher Kanal geführt): In seinem Praxistest erzeugte Needle auf einer CPU verlässlich Funktionsaufrufe – auch für einen Smart-Home-Werkzeugsatz, den es nie im Training gesehen hatte (Licht schalten, Thermostat setzen, Türen verriegeln). Sein zentraler Vorbehalt deckt sich mit der Anbieterangabe: Der Gewinn gilt für Single-Shot-Aufrufe. Paralleles Function-Calling, Aufgaben mit viel Reasoning über vielen Werkzeugen oder Skills mit Progressive Disclosure sind nicht das Ziel. Witteveens Ausblick: Solche winzigen Spezialmodelle taugen als unterste Stufe einer Kaskade – der eigentliche Tool-Router im Gerät, der bei Bedarf ein größeres Modell (etwa MiniCPM5-1B) als Werkzeug hinzuzieht. Needle ersetzt keine großen Modelle; es zerlegt „Agent“ in eine Aufgabe, die auch 26 Millionen Parameter zuverlässig erledigen.