Alle Depeschen

DepescheModelle & Technik

TurboFieldfare führt Gemma 4 auf Apple-Silicon mit 2 GB aus

Das Projekt TurboFieldfare führt Googles Gemma 4 26B-A4B auf Apple-Silicon-Macs mit rund zwei Gigabyte Arbeitsspeicher aus, obwohl die Modelldatei 14,3 Gigabyte umfasst. Die gerouteten Experten liegen auf der SSD und werden erst bei Bedarf geladen. Das Projekt misst 5,1 bis 6,3 Token pro Sekunde auf einem M2 MacBook Air.

Aussagen gegen die Quellen geprüft · 2. August 2026

Gemma 4 26B-A4B aktiviert pro Token acht von 128 Experten je Schicht. TurboFieldfare hält den stets benötigten Teil mit etwa 1,35 Gigabyte im Speicher und führt je Schicht einen 16 Plätze großen Cache für die von der SSD nachgeladenen Experten.

Weil der Router die benötigten Experten erst nach der Attention bestimmt, lässt sich der Zugriff nicht vollständig vorplanen. Auf einem M5 Pro mit 24 Gigabyte nennt das Projekt 31 bis 35 Token pro Sekunde; es handelt sich um Messungen des noch jungen Projekts. Die Laufzeit setzt macOS 26, Metal 4 und eine schnelle SSD voraus.