Nvidias Inferenz-Chip Groq 3 LPX geht in die Serienproduktion

Nvidia hat am 24. August 2026 angekündigt, dass Groq 3 LPX - ein Chip, der nichts anderes tut als Token zu erzeugen - in Serienproduktion ist. Die Wette dahinter ist architektonisch: Statt dass eine GPU jede Phase einer Inferenz-Anfrage abarbeitet, teilt Nvidia die Aufgabe nun auf. Rubin-GPUs kauen den Kontext durch, während ein separater Beschleuniger den Teil übernimmt, auf den ein Nutzer tatsächlich wartet. Für alle, die Agenten bauen, ist das eine Aussage über die eine Zahl, die entscheidet, ob ein Agent lebendig oder kaputt wirkt - die Zeit bis zum nächsten Token.

Wie die Arbeit aufgeteilt wird

Nvidias Entwicklerblog beschreibt die Teilung genau: Vera-Rubin-GPUs übernehmen Prefill und Decode-Attention, während die LPX-Beschleuniger die latenzkritischen Decode-Anteile ausführen - Feed-Forward und Mixture-of-Experts - über eine von Nvidia „Attention-FFN Disaggregation" genannte Schleife. NVIDIA Dynamo orchestriert das heterogene Serving über diese getrennten Backends.

Warum der Aufwand? Die zwei Phasen einer Inferenz-Anfrage wollen entgegengesetzte Hardware. Einen Kontext von 100.000 Token zu lesen ist ein bandbreitengebundener Batch-Job, der zu einer GPU passt. Das nächste Token auszugeben ist eine kleine, serielle, latenzgebundene Operation, die überwiegend auf Speicher wartet. Beides auf demselben Silizium bedeutet, dass eine von beiden immer schlecht bedient wird - und in einer Agentenschleife, die laufend Token ausgibt, während Werkzeuge weiteren Kontext zurückgeben, ist die schlecht bediente genau die, die der Nutzer sieht.

Das Rack, auf dem Papier

Spezifikation	Wert
Beschleuniger pro Rack	256
FP8-Rechenleistung	315 PFLOPS
SRAM insgesamt	128 GB
On-Chip-Bandbreite	40 PB/s
Chip-zu-Chip-Bandbreite	640 TB/s

Jede Zahl in dieser Tabelle stammt aus einer einzigen Quelle - Nvidias eigenem Entwicklerblog, veröffentlicht am 16. März 2026, sechs Monate vor dieser Produktionsankündigung. Derselbe Beitrag beansprucht bis zu 35-mal höheren Inferenz-Durchsatz pro Megawatt und bis zu zehnmal mehr Umsatzpotenzial für Modelle mit einer Billion Parametern gegenüber GB200-Systemen, gemessen bei 400 Token pro Sekunde und Nutzer. Das sind Nvidias Zahlen über Nvidias ältere Hardware, und sie sind als Herstellermodellierung zu lesen, nicht als Benchmark.

Die eine Zahl von außen

Die Zahl mit einem fremden Namen daran: Artificial Analysis maß 3.400 Ausgabe-Token pro Sekunde beim offenen Modell Gemma 4 31B mit einem Kontext von 100.000 Token, was Nvidias Newsroom in „4-mal reaktionsschneller" als die nächstbeste Plattform übersetzt. Sowohl der Newsroom-Beitrag als auch SiliconANGLE berichten das identisch.

Das ist ein Modell bei einer Kontextlänge, und das Vergleichsziel wird nicht genannt. Es bleibt die nützlichste Zahl der Ankündigung, denn Angaben zu Durchsatz pro Megawatt sagen einer Entwicklerin nicht, ob sich ihr Agent flott anfühlen wird.

Was tatsächlich ausgeliefert wird - und an wen

Nvidia nennt Nebius als ersten Produktionskunden, der über dessen Plattform Token Factory ausliefert, und sagt, Groq selbst wolle früher Anwender sein. SiliconANGLE, das von der Hot Chips 2026 berichtet, ergänzt die Vorgeschichte, die Nvidias Beiträge komplett auslassen: Nvidia übernahm Groq im Dezember 2025 für 20 Milliarden Dollar, lizenzierte die Technik und stellte Gründer Jonathan Ross und Präsident Sunny Madra ein. Dieser Preis erscheint unter diesen Quellen allein bei SiliconANGLE.

Eine Namensunschärfe ist erwähnenswert: Der Entwicklerblog nennt die Bauteile „Groq 3 LPU accelerators", SiliconANGLE nennt sie „LP30". Die Quellen haben sich auf keinen Namen für das Ding geeinigt.

Was das für Entwickler bedeutet

Nichts davon ist ein Chip, den man kauft. Es ist Kapazität, die man mietet, und die kurzfristige Frage ist, ob Nebius, Anbieter der CoreWeave-Klasse oder Ihr bestehender Inferenz-Anbieter sie anbieten - und zu welchem Preis pro Million Ausgabe-Token. Stellen Sie diese Frage, bevor Sie irgendetwas umschreiben: Eine Behauptung von 4-mal mehr Reaktionsschnelligkeit zählt nur, wenn sie den Kontakt mit einer Preisliste übersteht.

Die übertragbare Idee ist die Trennung von Prefill und Decode. Wenn Nvidia Silizium um die Annahme herum baut, dass Kontextverarbeitung und Token-Erzeugung verschiedene Arbeitslasten sind, ist das ein starkes Signal dafür, wie Serving-Stacks künftig aussehen - und es ist in heutigem Open-Source-Serving schon sichtbar. Wer eigene Inferenz betreibt, sollte die beiden Phasen getrennt messen - Zeit bis zum ersten Token gegen Latenz zwischen Token -, weil ein einzelner Durchschnittswert genau das Problem verdeckt, für dessen Lösung diese Hardware existiert.

Behandeln Sie Agenten-Latenz als Budget, nicht als Hoffnung. Nvidia kann einen dedizierten Decode-Chip verkaufen, weil Agentenschleifen ständig Token ausgeben und jeder Werkzeugaufruf den Zyklus neu startet. Macht Ihr Agent zehn aufeinanderfolgende Modellaufrufe, wird die Latenz zwischen Token verzehnfacht, bevor ein Nutzer eine Antwort sieht. Diese Rechnung lohnt sich diese Woche an Ihren eigenen Traces - sie kostet nichts und sagt Ihnen, ob spezialisierte Inferenz-Hardware künftig eine Position in Ihrem Budget ist oder eine interessante Schlagzeile.