Alle Depeschen

DepescheBrancheneu

„The CUDA moat is potentially dead“ – bei Jalapeño schreibt nicht das Kernel-Team die Kernel, sondern Codex

Die Auswertung von SemiAnalysis zu OpenAIs Inferenz-Chip Jalapeño enthält neben den Messwerten einen zweiten Befund, der bislang untergegangen ist: OpenAI baut für den Chip keinen CUDA-artigen Entwickler-Unterbau, sondern eine bewusst maschinennahe Kernel-Sprache namens Gluon – und lässt sie von Codex bedienen. Als der Chip erstmals gegen DeepSeek antrat, hatte OpenAI überhaupt keine MLA-Kernel; Codex schrieb sie, laut SemiAnalysis „without any of OpenAI’s kernel engineering team intervening“. Der Schluss der Analysten: „The CUDA moat is potentially dead given how fast OpenAI can bring up new models on their silicon.“

Der Ausgangspunkt ist ein Testlauf, der eigentlich nur eine Zahl liefern sollte. Für die InferenceX-Messung ließ OpenAI seinen Chip auch mit DeepSeeks Modell laufen – einer Architektur mit Multi-Head Latent Attention, die außerhalb von DeepSeek kaum jemand verwendet. SemiAnalysis hält fest: „OpenAI had no internal implementation of MLA kernels until they benchmarked DeepSeek with InferenceX. The ability for Codex to write functional and efficient kernels so quickly (without any of OpenAI’s kernel engineering team intervening) shows the software pipeline’s developmental ability.“ Ein Kernel ist dabei kein Beiwerk: Er ist das kleine, hochoptimierte Stück Code, das dem Chip sagt, wie er die Matrixmultiplikationen und Aufmerksamkeits-Operationen eines bestimmten Modells auszuführen hat – schlechte Kernel kosten problemlos die Hälfte der Leistung.

Die Sprache dafür heißt Gluon. „Gluon is OpenAI’s kernel programming language“, schreibt SemiAnalysis; sie baut auf Triton auf, behält dessen SPMD-Programmiermodell bei, bietet aber ausdrücklich maschinennahe Abstraktionen statt bequemer. Dazu kommt eine von OpenAI entwickelte Layout-Algebra namens „Linear Layouts“, die formalisiert, was ein Speicher-Layout überhaupt ist. Der Arbeitsstil ist entsprechend hart: „Each kernel gets hand-tuned code, some running to ~3,000 lines, backed by correctness checks and a custom sanitizer.“ Anfangs saßen dabei Menschen in der Schleife; laut SemiAnalysis „shifted“ das „with a more scaled-up, internal version of Codex, one which OpenAI plans to pitch to enterprise customers“ – die interne Kernel-Maschine soll also selbst zum Produkt werden.

Damit steht die übliche Ökosystem-Logik auf dem Kopf. Der Wert von CUDA liegt darin, dass sehr viele Menschen es können; jeder konkurrierende Beschleuniger scheiterte bisher daran, dass er diesen Menschenvorrat nicht hat – AMD hat es über Jahre versucht, Google baut seinen eigenen Unterbau für die TPUs. OpenAI baut diesen Vorrat gar nicht erst auf, sondern setzt darauf, dass die Knappheit an Kernel-Fachleuten verschwindet, wenn ein Modell die Arbeit übernimmt. SemiAnalysis formuliert die Konsequenz als Bedingungssatz, nicht als Tatsache: „If Jalapeño is a success, it will be a strong signal that the industry’s obsession over programming models and perfect, universal compilers are invalidated by frontier AI models.“

Der Beleg, den die Analysten für ihre Zuspitzung anführen, ist ein Zeitvergleich, kein Benchmark: „Meanwhile, Rubin’s CoWoS tape out was completed in October 2025, a month earlier, and yet the only early results we have seen are from CoreWeave’s engineering samples. Nvidia has not let us test and release benchmarks in the same way that OpenAI has, indicating their chip software is still immature. The CUDA moat is potentially dead given how fast OpenAI can bring up new models on their silicon.“ Nvidias nächste Generation hat also einen Monat Vorsprung beim Tape-out und ist trotzdem später messbar. Zum Tempo auf OpenAIs Seite nennt SemiAnalysis zwei Marken: „Design work began in the middle of 2024, going from initial team hiring to manufacturing tape-out in ~16 months, an extremely fast ASIC development cycle“, und „All these results were gathered on the A0 stepping of Jalapeño, just 9 months into the program.“ Ein B0-Stepping sei bereits in der Fertigung und bringe rund 25 % mehr Leistung je Watt.

Einordnung mit Vorbehalt: SemiAnalysis ist Tier B und Betreiber des Benchmarks, auf dem OpenAI gemessen hat – und hat für die Messwerte selbst offengelegt, dass „all numbers are provided to us by OpenAI“ und der Vergleich mit Blackwell „somewhat incomplete and unfair“ sei, weil Jalapeño gegen Rubin antrete. Für den Software-Teil gilt derselbe Vorbehalt: Wir haben keine unabhängige Bestätigung dafür, dass Codex die MLA-Kernel geschrieben hat, außer der Darstellung der Analysten, die vor Ort waren. Der zweite Teil des Beitrags („Direct Implications for NVIDIA, AMD and Cerebras“) liegt hinter der Bezahlschranke und ist hier nicht wiedergegeben. Aufmerksam geworden sind wir über ein YouTube-Video vom 26. August, das die Passage aufgriff; geprüft und zitiert ist ausschließlich die Primärdarstellung.