← Alle Werkzeuge

Werkzeug · Lokaler Runner

llmfit

von Alex Jones (AlexsJones, Open Source)

Terminal-Werkzeug, das die eigene Hardware ausliest und daraus ableitet, welches offene Modell in welcher Quantisierung darauf tatsächlich läuft – samt geschätzter Token pro Sekunde, bevor man 8 GB herunterlädt.

Open SourceOpen SourceCLImacOSWindowsLinuxDocker

Einschätzung

Der Kassenzettel vor dem Download

Die richtige Wahl, wenn man lokal einsteigt und die Frage „läuft das auf meiner Kiste?“ nicht mit einem 8-GB-Fehlversuch beantworten will. Nicht die richtige Wahl, wenn man eine gemessene Zahl braucht: Die Token/s sind eine Bandbreiten-Schätzung, keine Messung – die Gemeinschafts-Bestenliste ist der belastbarere Teil.

llmfit beantwortet die Frage, an der die lokale KI für die meisten Leute scheitert: Auf Hugging Face liegen Millionen Ablagen, ein einzelnes Modell kommt in mehreren Parametergrößen und einem Dutzend Quantisierungen – und nirgends steht, welche davon auf dem eigenen Rechner startet. Das Werkzeug beschreibt sich selbst als „A terminal tool that right-sizes LLM models to your system’s RAM, CPU, and GPU“ und wirbt mit „Hundreds of models & providers. One command to find what runs on your hardware.“

Bewertet wird entlang von vier Achsen – Speicher-Passung, geschätzte Geschwindigkeit, Qualität und Kontext –, die zu einem Gesamtwert verrechnet werden. Die Geschwindigkeitsschätzung leitet sich aus der Speicherbandbreite der erkannten Grafikkarte ab; für unbekannte Karten fällt das Werkzeug auf Konstanten je Backend zurück (CUDA, Metal, ROCm), damit nie ein Nullwert herauskommt. Als lokale Laufzeiten nennt das Projekt Ollama, llama.cpp, MLX, Docker Model Runner und LM Studio; dazu gibt es eine Gemeinschafts-Bestenliste mit gemessenen Werten anderer Nutzer derselben Hardware.

Geschrieben ist es in Rust und breit installierbar: „scoop install llmfit“ unter Windows, „brew install llmfit“ unter macOS/Linux, dazu ein Installationsskript, ein Python-Paket über uv/pip, ein Docker-Abbild und der Bau aus dem Quelltext. Am 27.08.2026 stand das Repository laut GitHub-API bei 34.281 Sternen unter MIT-Lizenz, zuletzt bewegt am 25.08.2026.

Wofür es gut ist

  • vor dem Download prüfen, ob ein Modell in den eigenen Speicher passt
  • die passende Quantisierungsstufe für die vorhandene Grafikkarte finden
  • Token/s auf der eigenen Hardware abschätzen statt raten
  • alte oder schwache Geräte realistisch einordnen

Stärken

  • Erkennt CPU, RAM und GPU (auch Mehr-GPU-Aufbauten) selbst und schlägt die passende Quantisierung vor
  • Gewichtet die vier Kriterien je nach Einsatzzweck unterschiedlich – Chat zählt Geschwindigkeit höher, Reasoning die Qualität
  • Breite Installationswege (scoop, brew, Skript, pip/uv, Docker, Quelltext) und MIT-Lizenz
  • Gemeinschafts-Bestenliste mit echten Messwerten anderer Nutzer als Gegenprobe zur Schätzung

Schwächen

  • Die Token/s sind aus der Speicherbandbreite abgeleitet, nicht gemessen; für nicht gelistete Karten greifen Backend-Konstanten und die Schätzung wird ungenauer
  • Zu hohe Schätzwerte waren bereits Gegenstand einer GitHub-Rückmeldung – nachgerüstet wurde daraufhin ein Panel zum Nachjustieren, nicht eine bessere Messung
  • Deckt die lokal betreibbaren offenen Modelle ab; für gehostete Frontier-Modelle ist es nicht gedacht

Stimmen aus der Community

Subjektive Einschätzungen Dritter – keine belegten Fakten, jeweils verlinkt.

Direkt ausprobieren

github.com/AlexsJones/llmfit

Zur offiziellen Seite ↗

ℹ️ Über den YouTube-Eingang gefunden (Better Stack, 26.08.2026, Tier C); Existenz, Sternzahl, Lizenz und Aktivität an der GitHub-API gegengeprüft, Funktionsumfang am README. Die im Video genannte Zahl „über 3 Millionen Modelle auf Hugging Face“ ist nicht von uns geprüft und hier nicht wiedergegeben.

Verwandte Werkzeuge

Lokaler RunnerFreeTokenInferenz-Motor, der große Mixture-of-Experts-Modelle auf Consumer-Hardware bedient, indem er Experten laufend zwischen GPU, CPU und Arbeitsspeicher umschichtet statt sie fest zu verteilen.Lokaler RunnerOllamaOffene Modelle einfach lokal auf dem eigenen Rechner ausführen.Lokaler RunnerLM StudioOffene Modelle lokal ausführen – mit grafischer Oberfläche, Modell-Browser und lokalem OpenAI-kompatiblem Server.