Von 384 Experten je Schicht arbeiten pro Token einer, den alle teilen, und sechs ausgewählte. Für lange Texte blicken vier von fünf Schichten nur auf die jeweils letzten 512 Token, nur jede fünfte auf das ganze Dokument; das spart Speicher und Rechenzeit. Trainiert wurde mit 262.144 Token Kontext, den Aleph Alpha auch für den Betrieb empfiehlt. Die Million Token hat das Unternehmen nach eigenen Angaben auf Qualität geprüft.
Grundlage sind 20 Billionen Token, laut Modellkarte zu 62,5 Prozent Englisch, 23,9 Prozent Deutsch und 13,6 Prozent Code; der Blogbeitrag nennt 21,3 Prozent Deutsch. Ein eigener Tokenizer soll zusammengesetzte deutsche Wörter besser zerlegen. Das Vortraining lief 21 Tage auf 768 Nvidia-B200, den Energiebedarf des Trainings schätzt Aleph Alpha auf 950 Megawattstunden.
Im eigenen Gesamtwert erreicht Kolibri 75,0 Punkte auf Englisch und 71,0 auf Deutsch. Damit liegt es vor Qwen 3.6 35B-A3B mit 71,4 und 67,3, GPT-OSS 120B mit 72,3 und 70,2 sowie Nvidias Nemotron 3 Super, das 12 Milliarden aktive Parameter hat, mit 73,0 und 67,9. Das dichte Qwen 3.8 27B liegt mit 80,2 und 79,9 deutlich vorn.
Die Lizenz gilt nur für Gewichte und Konfiguration, nicht für Trainingscode oder -verfahren. Aleph Alpha soll im kanadischen Anbieter Cohere aufgehen; den Vertrag unterzeichneten beide am 16. September, die Genehmigungen der Behörden stehen noch aus.