Wofür · Entscheidungshilfe
Lokal & Self-Hosting
Offline/On-Device, Datenhoheit, eigene Infrastruktur. Hier die kuratierten Empfehlungen – Modelle und Werkzeuge.
Empfohlene Modelle
Alle Modelle →Reihenfolge: zuerst unsere kuratierte Einstufung ( Spitze zuerst, dann solide, situativ, überholt), bei Gleichstand nach dem unabhängigen AA Intelligence-Index. Der Balken zeigt diesen Wert je Modell (länger = besser); markiert den besten Wert der Liste – er steht ggf. nicht oben, weil die Einstufung zuerst zählt.
Z.ai · open-weight
GLM-5.3-Flash
Offenes Agentik-Modell zum Flash-Preis (MIT)
Das Modell, das eine Woche lang anonym als „Ox Alpha“ lief: 320 Mrd. Gesamt- / 18 Mrd. aktive Parameter, MIT-Lizenz, erstes nativ multimodales Modell der GLM-5-Reihe. Unabhängig gemessen steht es im Agentic-Index bei 58 – Rang 6 von 175 gemessenen Modellen, vor GPT-5.6 Sol (max) und Claude Fable 5 – bei $0,15 / $0,50 je Mio. Token. Es überholt damit GLM-5.2 (max) auf allen drei AA-Achsen zu rund einem Neuntel des Preises. Der Haken steht im Praxistest, nicht im Index: Auf einem privaten Projekt-Benchmark landet es am unteren Ende, und ein Lauf dauert dort rund neun Minuten.
Z.ai · open-weight
GLM-5.2
Open-Weight Agentic-Coding-Flaggschiff (MIT)
Z.ais neues vollständig offenes Flaggschiff (MIT): MoE wie GLM-5/5.1, jetzt mit nutzbarem 1-Mio.-Token-Kontext und neuer „max“-Reasoning-Stufe. Im AA Intelligence Index 51 / Coding 69 / Agentic 43 das stärkste Open-Weight-Modell des Katalogs auf allen drei Achsen und nahe an den proprietären Spitzen – frei self-hostbar, auf lange agentische Coding-Horizonte ausgelegt.
DeepSeek · open-weight
DeepSeek-V4-Pro
Open-Weight-Preis-Leistung
Starkes Coding (59) und Agentic (36) seiner Preisklasse bei offenen Gewichten und Selbst-Hosting, bei beidem inzwischen aber von GLM-5.2 (69/43) überholt – gut, wo Kosten, Datenhoheit oder lange Generierungen zählen, allerdings reine Text-Modalität. Den Titel Preis-Leistungs-Sieger hat seit dem 31.07.2026 das eigene kleinere Schwestermodell DeepSeek-V4-Flash-0731 übernommen (AA-Intelligenz 50 zu 44, rund ein Drittel des Preises) – siehe Einordnung.
DeepSeek · open-weight
DeepSeek-V4.1-Flash
Offenes Flash-Modell zum Zehntel-Preis
Das kleine DeepSeek-Modell, das den großen Vorgänger ersetzt: 552 Mrd. Gesamt- und 8 Mrd. aktive Parameter im Prefill, MIT-Lizenz, Bild-Eingabe. Unabhängig gemessen steht es im Intelligenz-Index bei 39,5 und damit 3,2 Punkte über DeepSeek-V4-Pro, bei 39 % der Kosten je Aufgabe und fast dreifachem Ausgabe-Tempo. Frontier-Niveau ist das nicht – GPT-6 Astra und Claude Fable 5.1 liegen bei 53 –, aber es ist der günstigste Weg zu brauchbarer Agentik und das erste DeepSeek-Modell, dessen Gewichte und Bild-Eingabe zusammenfallen.
Moonshot AI · open-weight
Kimi K2.6
Open-Weight Agenten-/Coding-Schwergewicht
Open-Weight-MoE mit 1 Bio. Parametern (32 Mrd. aktiv), stark bei Long-Horizon-Coding und Agenten-Schwärmen. Im AA Intelligence Index 43 / Coding 62 (Coding führt) – eine der stärksten offenen Coding-/Agenten-Optionen, multimodal mit 256-K-Kontext.
MiniMax · open-weight
MiniMax-M3
Open-Weight Allzweck (1-Mio.-Kontext)
Open-Weight-Flaggschiff mit 1-Mio.-Token-Kontext und nativer Multimodalität (Text/Bild/Video-Eingabe) zum Kampfpreis ($0,30 / $1,20). Im AA Intelligence Index 44 / Coding 59 – starke, günstige Allzweck-/Coding-Wahl fürs Self-Hosting, wenn keine absolute Spitzenqualität nötig ist.
Tencent · open-weight
Hy3
Open-Weight Preis-Leistungs-Spitze (Apache 2.0)
Tencents Open-Weight-MoE unter voller Apache-2.0-Lizenz: 295 Mrd. Parameter, davon nur 21 Mrd. aktiv (192 Experten, Top-8-Routing). Im AA Intelligence Index 41 / Coding 59 – nicht die offene Spitze (dort steht GLM-5.2 mit 51/69), aber mit $0,14 / $0,58 je Mio. Token die mit Abstand günstigste Option dieser Klasse: gleiche Coding-Leistung wie DeepSeek V4 Pro zum Drittel des Preises.
Z.ai · open-weight
GLM-5.1
Open-Weight Agentic-Coding (MIT)
Vollständig offenes Flaggschiff (MIT) für agentisches Coding: MoE mit 744 Mrd. Gesamt-/40 Mrd. aktiven Parametern, 200-K-Kontext. Im AA Intelligence Index 40 / Coding 56 – solide, frei self-hostbare Coding-/Agenten-Wahl; reines Text-Modell (Vision liegt im separaten GLM-5V).
Mistral AI · open-weight
Mistral Large 3
Open-Weight für EU/Souverän
Günstigstes Flaggschiff ($0,50 / $1,50) und Apache-2.0-offen – damit self-hosted und für souveräne EU-Deployments geeignet. Im AA Intelligence Index 16 (AA-Schätzung, vollständige unabhängige Eval ausstehend), AA Coding 20 – solide statt Spitze.
Google · open-weight
Gemma 4 12B
Lokal & On-Device
Nicht für Spitzenleistung gebaut, sondern für lokalen/Edge-Betrieb: läuft auf Consumer-Laptops, multimodal und Apache-2.0-offen. Empfehlung dort, wo Offline-Betrieb, Datenschutz oder Hardware-Limits wichtiger sind als Benchmark-Spitzen.
Cohere · proprietär
Command A+
Enterprise & Souveränität
Auf souveräne/Enterprise-Deployments zugeschnitten (läuft effizient auf 1× B200 oder 2× H100), mit Vision und mehrsprachiger Stärke. Im unabhängigen AA Intelligence Index 23 (AA Coding 28); kein öffentlicher Token-Preis – Einordnung über AA-Indizes und die Anbieter-Spezifikation.
Meta · open-weight
Llama 4 Maverick
Kontext-Spezialist
Mit bis zu 10 Mio. Token das größte Kontextfenster im Katalog – aber der niedrigste Human-Präferenz-Elo (1327). Lohnt vor allem für extrem lange Kontexte und Self-Hosting, weniger für Spitzen-Antwortqualität.
OpenBMB · open-weight
MiniCPM5-1B
Kognitiver Kern fürs Gerät
Nicht auf Benchmark-Spitzen gebaut, sondern auf die Idee des „kognitiven Kerns“: ein 1-Mrd.-Parameter-Modell, das lokal auf Consumer-Hardware – bis hin zum Smartphone oder im Browser – laufen soll und Reasoning plus Tool-Use behält, statt Enzyklopädie-Wissen in den Gewichten zu horten. Apache-2.0-offen, mit dem gesamten Trainings-Rezept. Empfehlung dort, wo On-Device-/Offline-Betrieb und ein winziger Footprint wichtiger sind als absolute Leistung.
Intelligenz: kein Vergleichswert
DeepReinforce · open-weight
Ornith 1.0
Selbst-gerüstetes Open-Source-Agentic-Coding (MIT)
DeepReinforces neue offene Coding-Familie (9B/31B Dense, 35B/397B MoE, MIT), post-trainiert auf Gemma 4 und Qwen 3.5. Kernidee: Das Modell lernt nicht nur Code, sondern sein eigenes RL-Scaffold (Agenten-Harness) selbst. Anbieter-Benchmarks setzen das 397B-Flaggschiff nahe an die proprietäre Spitze (SWE-bench Pro Verified 82,4 %) – unabhängig aber noch nicht gemessen. Interessant fürs Self-Hosting und agentisches Coding; für ein belastbares Urteil fehlen unabhängige Zahlen.
Intelligenz: kein Vergleichswert
Superwhisper · open-weight
S1-mini
Ein-Zweck-Modell hinter der Spracherkennung
Kein Allzweckmodell und will keines sein: 596 Mio. Parameter, feinabgestimmt auf Qwen3-0.6B, für genau eine Aufgabe – aus einem Roh-Transkript geschriebenen Text machen. Füllwörter raus, Selbstkorrekturen aufgelöst, Zahlen und E-Mail-Adressen in Schreibform. Als quantisiertes GGUF 462 MiB groß und damit lokal hinter jede vorhandene Spracherkennung zu hängen; die Anbieterangabe lautet 94,8 % Token-Genauigkeit auf 7.519 zurückgehaltenen englischen Fällen. Die Grenzen sind eng und offen benannt: nur Englisch, rund 1.000 Token Kontext, kein Chat-Verhalten.
Intelligenz: kein Vergleichswert
Passende Werkzeuge
Alle Werkzeuge →Nemotron 3 Diarization
NVIDIA
Offenes Modell mit 100 Millionen Parametern, das in Aufnahmen und im laufenden Ton bis zu acht Sprecher auseinanderhält – Nachfolger von Sortformer, der bei vier Sprechern endete, unter einer Lizenz, die kommerzielle Nutzung ausdrücklich erlaubt.
Headroom
Headroom Labs (Tejas Chopra)
Kompressionsschicht, die Werkzeug-Ausgaben und Logs kürzt, bevor sie ins Kontextfenster gehen.
Breeze TTS 2
BreezeBlue / RESONIA, INC.
Offenes Sprachsynthese-Modell mit 3 Mrd. Parametern, das eine Stimme aus reiner Textbeschreibung erzeugen oder eine geklonte Stimme in Ton und Emotion steuern kann – Rang 1 unter den offenen Modellen der Artificial-Analysis-Sprachbestenliste, aber unter einer Lizenz, die jede kommerzielle Nutzung ausschließt.
FreeToken
FlashML (Open Source, UC Berkeley / MIT)
Inferenz-Motor, der große Mixture-of-Experts-Modelle auf Consumer-Hardware bedient, indem er Experten laufend zwischen GPU, CPU und Arbeitsspeicher umschichtet statt sie fest zu verteilen.
Free Claude Code (FCC)
Alishahryar1 (Open Source)
Lokaler Zwischenserver, der die Modellanfragen bekannter Coding-Agenten an andere Anbieter oder an ein lokal laufendes Modell umleitet – die Oberfläche bleibt unverändert.
llmfit
Alex Jones (AlexsJones, Open Source)
Terminal-Werkzeug, das die eigene Hardware ausliest und daraus ableitet, welches offene Modell in welcher Quantisierung darauf tatsächlich läuft – samt geschätzter Token pro Sekunde, bevor man 8 GB herunterlädt.
Hugging Face
Hugging Face
Zentrale Plattform der ML-Community für Modelle, Datensätze und Demos.
Ollama
Ollama
Offene Modelle einfach lokal auf dem eigenen Rechner ausführen.
LM Studio
LM Studio
Offene Modelle lokal ausführen – mit grafischer Oberfläche, Modell-Browser und lokalem OpenAI-kompatiblem Server.
LM Studio Bionic
LM Studio
Agentische App von LM Studio, die offene Modelle lokal & kostenlos zu echten Agenten macht – Dateien analysieren, Präsentationen und Code bauen. Positioniert als lokale, datenhoheitswahrende Alternative zu ChatGPT-Codex bzw. Claude Cowork.
Hermes Agent
Nous Research
Quelloffener (MIT), lokal laufender autonomer Agent von Nous Research, der aus vergangenen Läufen eigene „Skills“ lernt – modellunabhängig (Anthropic, MiniMax, OpenRouter u. a.).
Mistral OCR 4
Mistral AI
Dokument-Verstehen statt bloßer Texterkennung: liest PDFs, Office-Dateien und Scans in 170 Sprachen und gibt strukturierte Daten mit Bounding-Boxes, Block-Typen und Konfidenzwerten zurück – als API oder selbst gehostet im eigenen Container.
colibrì
Vincenzo Fornaro („JustVugg“), quelloffen
Inferenz-Engine in reinem C ohne Abhängigkeiten, die ein 744-Mrd.-MoE-Modell (GLM-5.2) auf Consumer-Hardware lauffähig macht: Die dichten Anteile bleiben im RAM (~9,9 GB in int4), die Experten werden bedarfsweise von der SSD gestreamt. Läuft – langsam, aber korrekt – auf Maschinen, für die das Modell eigentlich viel zu groß ist.
TurboFieldfare
drumih (Open Source)
Führt Googles Gemma 4 26B-A4B auf jedem Apple-Silicon-Mac in rund zwei Gigabyte Arbeitsspeicher aus – indem die Experten des Modells auf der SSD bleiben.
PDF Inspector
Firecrawl
Quelloffener Rust-Parser, der PDFs zuerst einsortiert und nur den echten Text herauszieht – ohne OCR, ohne GPU, unter 200 Millisekunden je Dokument, wahlweise komplett im Browser.
Heretic
Philipp Emanuel Weidmann (p-e-w, Open Source)
Kommandozeilen-Werkzeug, das die Ablehnungs-Richtung eines offenen Gewichtsmodells automatisch sucht und wegrechnet – ohne Nachtraining und ohne dass jemand die Parameter von Hand einstellen muss.