← Alle Werkzeuge

Werkzeug · Lokaler Runner

FreeToken

von FlashML (Open Source, UC Berkeley / MIT)

Inferenz-Motor, der große Mixture-of-Experts-Modelle auf Consumer-Hardware bedient, indem er Experten laufend zwischen GPU, CPU und Arbeitsspeicher umschichtet statt sie fest zu verteilen.

Open SourceCLILinuxWindows

Einschätzung

Für MoE-Modelle, die zu groß für die Karte sind

Der bislang überzeugendste Versuch, die VRAM-Grenze für offene MoE-Modelle zu verschieben – belegt durch einen Preprint mit prominenter Autorenliste und durch eine unabhängige Praxismessung, die den Sprung reproduziert. Kein Allzweck-Ersatz: unterhalb der VRAM-Schwelle ist Ollama schneller, Apple Silicon wird nicht unterstützt.

FreeToken ist eine Alternative zu llama.cpp und Ollama für einen einzigen Fall: MoE (Mixture of Experts)Architektur, bei der je Anfrage nur ein Teil des Modells („Experten“) aktiv wird. So hat das Modell sehr viele Gesamt-Parameter, rechnet aber nur mit wenigen aktiven – das spart Rechenzeit.Mehr im Wissen →-Modelle, die nicht in den Grafikspeicher passen. Solche Modelle aktivieren je Token nur einen Bruchteil ihrer Gewichte – DeepSeek-V4-Flash etwa 13 von 284 Mrd. Parametern –, aber welche Experten gebraucht werden, entscheidet sich erst beim Token. Die üblichen Werkzeuge legen deshalb beim Laden fest, welche Schichten auf der GPU und welche auf der CPU liegen; diese Zuteilung passt danach nie mehr zum tatsächlichen Verkehr.

FreeToken behandelt das nicht als Platzierungs-, sondern als Ablaufproblem. Der Grafikspeicher wird zum Cache für die zuletzt benutzten Experten, das vollständige Modell bleibt im Arbeitsspeicher. Beim Prompt-Einlesen (Prefill), wo fast alle Experten angefasst werden, schiebt ein Doppelpuffer die Gewichte der nächsten Schicht schon über PCIe, während die aktuelle noch gerechnet wird. Und bei einem Cache-Fehlschlag während der Generierung misst das System die Bandbreiten der konkreten Maschine und teilt die fehlenden Experten danach auf – ein Teil wird auf die GPU geholt, ein Teil direkt auf der CPU gerechnet.

Der Preprint nennt die Spannweite: „FreeToken supports more than 20 MoE models and real coding and tool-using agents across hardware ranging from an 8GB laptop GPU to a single workstation GPU“ – konkret „from a 35B model on a laptop to a 284B model on a gaming desktop and the 753B GLM-5.2 on a single workstation GPU“. InfoQ referiert daraus 3–4-fach schnelleres Decode und 6–30-fach schnelleres Prefill gegenüber Ollama und llama.cpp.

⚠️ Der Gewinn verschwindet, sobald das Modell passt. Das ist keine Einschränkung im Kleingedruckten, sondern die Kernbedingung: Liegt das Modell vollständig im Grafikspeicher, hat der Streaming-Apparat nichts zu streamen und kostet nur Verwaltung. Ein unabhängiger Praxistest misst genau das (siehe Stimmen). Wer ein dichtes Modell oder ein kleines MoE fährt, bleibt bei Ollama.

Wofür es gut ist

  • Große MoE-Modelle betreiben, die nicht in den Grafikspeicher passen
  • Agentische Werkzeugketten lokal, ohne Token-Gebühren
  • Frontier-nahe offene Gewichte auf einer einzelnen Workstation

Stärken

  • Adaptiv statt konfiguriert: misst PCIe- und Speicherbandbreite der eigenen Maschine und teilt fehlende Experten danach zwischen GPU und CPU auf
  • Verschiebt die praktische Grenze deutlich – laut Preprint 35 Mrd. auf einem Laptop, 284 Mrd. auf einem Gaming-Desktop, 753 Mrd. (GLM-5.2) auf einer einzelnen Workstation-GPU
  • Apache-2.0, über 20 MoE-Modelle unterstützt; Preprint mit nachprüfbarer Autorenliste (u. a. Kurt Keutzer, Song Han, Matei Zaharia, Ion Stoica)
  • Der Experten-Cache lässt sich am laufenden Server ohne Neustart in der Größe ändern

Schwächen

  • Nur für Mixture-of-Experts-Modelle und nur oberhalb der VRAM-Schwelle sinnvoll – passt das Modell auf die Karte, ist Ollama schneller
  • Kein Apple Silicon: die Projektangaben nennen NVIDIA RTX 30/40/50 unter Linux und Windows
  • Die Desktop-Anwendung ist nach unabhängigem Test noch rudimentär (kein Projektordner-Zugriff, keine Dateiänderungen)
  • Die Leistungszahlen des Preprints sind von den Erbauern selbst gemessen und nicht begutachtet

Im Vergleich

Wofür dieses Werkzeug die bessere Wahl ist – und wann ein direkter Konkurrent.

  • Gegenüber Ollama und llama.cpp ist FreeToken kein bequemerer Einstieg, sondern eine Spezialisierung: Es gewinnt genau dort, wo die anderen Schichten fest zwischen GPU und CPU aufteilen und jedes Token deshalb den langsamen Weg mitgeht. Unterhalb der VRAM-Schwelle dreht sich das Verhältnis um.

Stimmen aus der Community

Subjektive Einschätzungen Dritter – keine belegten Fakten, jeweils verlinkt.

Direkt ausprobieren

github.com/FlashML-org/FreeToken

Zur offiziellen Seite ↗

Verwandte Werkzeuge

Lokaler RunnerllmfitTerminal-Werkzeug, das die eigene Hardware ausliest und daraus ableitet, welches offene Modell in welcher Quantisierung darauf tatsächlich läuft – samt geschätzter Token pro Sekunde, bevor man 8 GB herunterlädt.Lokaler RunnerOllamaOffene Modelle einfach lokal auf dem eigenen Rechner ausführen.Lokaler RunnerLM StudioOffene Modelle lokal ausführen – mit grafischer Oberfläche, Modell-Browser und lokalem OpenAI-kompatiblem Server.