Alle Depeschen

DepescheModelle & Technik

ESP32-S3 führt ein 28,9-Millionen-Parameter-Modell lokal aus

Das Projekt slvDev lässt ein 28,9-Millionen-Parameter-Sprachmodell auf einem ESP32-S3-Mikrocontroller für etwa acht US-Dollar laufen. Es erzeugt nach Projektangabe rund 9,5 Token pro Sekunde ohne Netzwerk. Rund 25 Millionen Parameter liegen als Nachschlagetabelle im 16-Megabyte-Flash statt im schnellen Arbeitsspeicher.

Der eingesetzte ESP32-S3 N16R8 hat 512 Kilobyte SRAM, 8 Megabyte PSRAM und 16 Megabyte Flash. Per-Layer Embeddings lagern den überwiegenden Teil der Parameter in den langsamen Flash aus; je Token werden daraus etwa sechs Zeilen mit zusammen rund 450 Byte geholt. Das quantisierte Modell belegt laut Projekt 14,9 Megabyte.

Die angegebene Rate beträgt 9,5 Token pro Sekunde im Gesamtlauf und 9,7 Token pro Sekunde reine Berechnung. Das Modell wurde auf TinyStories trainiert und erzählt kurze Geschichten; es beantwortet keine Wissensfragen und schreibt keinen Code. Der Vergleich mit einem früheren 260.000-Parameter-Modell stammt ebenfalls aus dem Projekt.