TurboFieldfare

TurboFieldfare ist eine in Swift 6.2 und Metal 4 geschriebene Inferenz-Laufzeit für genau ein Modell: Googles Open-Weightopen-weightModell, dessen trainierte Gewichte öffentlich herunterladbar sind, sodass man es selbst (lokal oder auf eigener Hardware) betreiben kann. Nicht zwingend vollständig quelloffen – die Lizenz bestimmt die erlaubte Nutzung.Mehr im Wissen → MoEMoE (Mixture of Experts)Architektur, bei der je Anfrage nur ein Teil des Modells („Experten“) aktiv wird. So hat das Modell sehr viele Gesamt-Parameter, rechnet aber nur mit wenigen aktiven – das spart Rechenzeit.Mehr im Wissen →-Modell Gemma 4 26B-A4B. Der Zweck ist nicht Geschwindigkeit, sondern Speicherbedarf – das installierte Modell wiegt rund 14,3 Gigabyte, laufen soll es in etwa zwei.

Der Weg dorthin nutzt die Bauweise von Mixture-of-Experts aus: Je Token arbeiten nur acht von 128 Experten pro Schicht. Was in einem Moment nicht rechnet, muss auch nicht im Arbeitsspeicher liegen. Resident bleiben deshalb nur die rund 1,35 Gigabyte, die jedes Token braucht – Attention, Router, Embeddings und der eine gemeinsame Experte – plus der KV-Cache; die gerouteten Experten liegen auf der SSD und werden pro Token nachgeholt. Je Schicht hält ein Zwischenspeicher 16 Experten vor und verdrängt nach dem am seltensten benutzten Eintrag (LFU).

Dass das ein reines Mac-Projekt ist, hat einen technischen Grund: Auf Apple Silicon teilen sich Prozessor und Grafikeinheit denselben physischen Speicher, ein frisch von der Platte gelesener Gewichtsblock ist damit ohne Umkopieren für die GPU sichtbar. Auf einem PC mit dedizierter Grafikkarte müsste jeder Block zusätzlich über PCIe in den VRAM. Mitgeliefert werden eine Swift-Bibliothek, ein Kommandozeilenwerkzeug, ein OpenAI-kompatibler lokaler Server und eine native Mac-App.