Alle Depeschen

DepescheModelleneu

Deutsches Konsortium veröffentlicht Soofi S: offenes MoE-Modell mit Deutsch-Fokus

Ein vom KI Bundesverband koordiniertes deutsches Forschungskonsortium hat am 13. Juli 2026 das offene Sprachmodell Soofi S veröffentlicht – ein Mixture-of-Experts-Modell mit rund 31,6 Milliarden Parametern, von denen pro Token nur etwa 3,2 Milliarden aktiv sind. Es kombiniert Mamba-2- und Attention-Schichten, wurde vollständig auf der Industrial-AI-Cloud der Deutschen Telekom in München trainiert und legt einen bewussten Schwerpunkt auf deutsche Sprachdaten. Gewichte, Checkpoints sowie Trainings- und Evaluationscode liegen auf Hugging Face.

Hinter Soofi S steht ein vom KI Bundesverband koordiniertes und vom Bundesministerium für Wirtschaft und Energie gefördertes Konsortium; beteiligt sind unter anderem die Fraunhofer-Institute IAIS und IIS, das DFKI, die TU Darmstadt, die Universität Würzburg, das L3S Research Center, die Berliner Hochschule für Technik sowie die KI-Unternehmen ellamind und Merantix Momentum. Das Modell erschien am 13. Juli 2026.

Technisch ist Soofi S ein Mixture-of-Experts-Modell mit rund 31,6 Milliarden Parametern, von denen pro erzeugtem Token nur etwa 3,2 Milliarden aktiv sind (Hugging Face führt die Basismodelle gerundet unter rund 32B). Die Architektur verbindet Mamba-2-Zustandsraumschichten mit klassischen Attention-Schichten (angelehnt an Nvidias Nemotron-Nano-Bauart); von 52 Schichten unterhält nur ein kleiner Teil einen KV-Cache, was den Inferenzdurchsatz je GPU erhöht. Trainiert wurde über drei Phasen auf rund 27 Billionen Token mit bewusst steigendem Deutsch-Anteil, auf der Industrial-AI-Cloud der Deutschen Telekom in München (bis zu 512 Nvidia-B200-GPUs, in Summe rund 253.000 GPU-Stunden, laut Projekt mit erneuerbarer Energie).

Das Projekt berichtet für deutsche Benchmarks Spitzenwerte unter offenen Modellen (u. a. ein deutsches Aggregat um 79 Punkte, ARC-Challenge-DE über 92) und will damit offene Modelle wie Olmo 3 32B oder Apertus 70B übertreffen; die englischen Werte liegen etwas darunter. Diese Zahlen sind Selbstmessungen des Konsortiums und unabhängig noch nicht reproduziert. Verfügbar sind die Modelle als Preview-, Base- und Instruct-Varianten samt quantisierten Fassungen über Hugging Face; das Projekt bezeichnet Soofi S als „sovereign, open source“ nach der Open-Source-AI-Definition 1.0, wobei eine kommerzielle Datenkomponente eine strengere europäische Open-Data-Einstufung verhindert.