Die Hardware ist ein ESP32-S3 in der Ausbaustufe N16R8 – nach Angabe des Projekts „about $8“ – mit 512 Kilobyte SRAM, 8 Megabyte PSRAM und 16 Megabyte Flash. Der SRAM ist der Engpass: Normalerweise muss ein Modell vollständig dorthin passen, und 512 Kilobyte reichen für ein paar Hunderttausend Parameter. Das Projekt umgeht das mit Per-Layer Embeddings, einer Technik aus Googles Gemma-Reihe. Der Gedanke dahinter ist schlicht: Der weitaus größte Teil der Parameter eines Sprachmodells rechnet nichts, sondern liegt in einer Einbettungstabelle, aus der nur gelesen wird. Was ausschließlich nachgeschlagen wird, braucht keinen schnellen Speicher. Also bleiben rund 25 der 28,9 Millionen Parameter als Tabelle im Flash liegen; je Token werden daraus sechs Zeilen geholt, eine je Schicht, zusammen etwa 450 Byte. Nur der rechnende Teil – Attention-Kopf und Feed-Forward – wohnt im SRAM. Exportiert und auf 4 Bit quantisiert belegt das Ganze laut Projekt 14,9 Megabyte, was erklärt, warum Boards mit 4 oder 8 Megabyte Flash ausscheiden.
Die Geschwindigkeit gibt das Projekt mit „about 9.5 tok/s end to end (9.7 tok/s of pure compute)“ an; der Nachbau im Video von Better Stack kommt auf dieselbe Größenordnung von rund neun Token pro Sekunde. Der Rekordvergleich stammt ebenfalls aus dem Projekt: Das letzte Sprachmodell, das jemand auf einer vergleichbaren Chip-Klasse betrieben hat, hatte 260.000 Parameter – der Sprung beträgt also etwa Faktor hundert. Die Inferenz läuft in reinem C, ohne Betriebssystem und ohne Python-Interpreter, nach dem Vorbild von Andrej Karpathys llama2.c.
Die Grenzen benennen Projekt und Nachbau von sich aus, und sie sind erheblich. Trainiert ist das Modell auf TinyStories, einem Datensatz aus bewusst einfach gehaltenen Kurzgeschichten, der von Microsoft-Forschenden gerade dafür gebaut wurde, dass sehr kleine Modelle daraus kohärenten Text lernen können. Entsprechend kann es genau das: kurze Geschichten erzählen. Es beantwortet keine Wissensfragen und schreibt keinen Code. Im Test driftet es unabhängig vom vorgegebenen Anfang immer wieder in dieselbe Erzählung zurück – ein neuer Prompt erfordert zudem ein erneutes Flashen des Chips. Der Tester nennt es „still very much a very limited proof of concept“, und das trifft es.
Für die Einordnung ist deshalb wichtig, was dieser Fund belegt und was nicht. Er belegt nicht, dass nützliche Sprachmodelle auf Mikrocontrollern angekommen sind. Er belegt, dass die Speicher-Architektur eines Modells – welche Parameter rechnen und welche nur gelesen werden – darüber entscheidet, welche Hardware überhaupt in Frage kommt. Dieselbe Unterscheidung erklärt auch das obere Ende: Kimi K3 aktiviert je Token nur 16 von 896 Experten und damit 104 der 2.800 Milliarden Parameter – rechnen muss also nur ein Bruchteil, im Speicher liegen muss trotzdem alles. Wer die 610 Gigabyte nicht hat, bekommt keine schnelle Antwort, sondern 0,3 Token pro Sekunde. Zwischen 15 Megabyte und 610 Gigabyte liegt der Faktor 40.000 – und in dieser Spanne entscheidet sich, was „offene Gewichte“ praktisch wert sind.
Eine Unschärfe bleibt bei der Preisangabe: Projekt und Video nennen rund acht US-Dollar, Tom's Hardware führt in der Überschrift zehn. Wir übernehmen die Angabe des Projekts und weisen die Abweichung aus; der Preis hängt ohnehin an Bezugsquelle und Ausbaustufe.