Alle Depeschen

DepescheForschung

Studie: Kernel-Tuning senkt LLM-Trainingsenergie

Ein Team der University of Twente senkte in einem Labortest den Energiebedarf eines LLM-Trainings um bis zu 14,6 Prozent bei 0,6 Prozent mehr Laufzeit. Dafür regelte es die GPU-Taktfrequenz pro Rechen-Kernel statt nur pro Trainingsiteration.

Aussagen gegen die Quellen geprüft · 9. Juli 2026

Dynamic Voltage and Frequency Scaling passt die Frequenz an die jeweilige Last an. Eine Netzwerkschicht umfasst dabei ungefähr 40 Kernels, die je nach Rechen- oder Speicherbindung unterschiedlich getaktet werden.

Der Bestwert entstand beim Training von GPT-3-XL auf einer RTX 3080 Ti. Die Arbeit wurde auf der Computing Frontiers 2026 vorgestellt und als arXiv-Preprint veröffentlicht.

Die Einsparung hängt von GPU, Schaltgeschwindigkeit und Trainingsaufbau ab. Sie ist daher ein Laborbestwert und keine allgemeine Zusage für jedes Modell oder jede Hardware.