La puce d'inférence Groq 3 LPX de Nvidia entre en production

Nvidia a annoncé le 24 août 2026 que Groq 3 LPX, une puce conçue pour ne rien faire d'autre que générer des jetons, est en pleine production. Le pari est architectural : au lieu qu'un GPU traite chaque phase d'une requête d'inférence, Nvidia partage désormais le travail, laissant les GPU Rubin mâcher le contexte tandis qu'un accélérateur distinct prend en charge la partie que l'utilisateur attend réellement. Pour quiconque construit des agents, c'est une affirmation sur le seul chiffre qui décide si un agent semble vivant ou cassé : le temps jusqu'au jeton suivant.

Comment le travail est réparti

Le blog développeur de Nvidia décrit la division avec précision : les GPU Vera Rubin gèrent le prefill et l'attention du décodage, tandis que les accélérateurs LPX prennent les composants de décodage sensibles à la latence - l'exécution feed-forward et mixture-of-experts - via ce que Nvidia appelle une boucle d'Attention-FFN Disaggregation. NVIDIA Dynamo orchestre le service hétérogène entre ces backends désagrégés.

Pourquoi s'embêter ? Les deux phases d'une requête d'inférence veulent du matériel opposé. Lire un contexte de 100 000 jetons est un traitement par lots limité par la bande passante, ce qui convient à un GPU. Émettre le jeton suivant est une opération petite, sérielle, limitée par la latence, qui attend surtout la mémoire. Faire tourner les deux sur le même silicium signifie que l'une est toujours mal servie - et dans une boucle d'agent, qui émet des jetons en continu pendant que les outils renvoient encore du contexte, la mal servie est précisément celle que l'utilisateur voit.

Le rack, sur le papier

Caractéristique	Valeur
Accélérateurs par rack	256
Calcul FP8	315 PFLOPS
SRAM totale	128 Go
Bande passante interne	40 Po/s
Bande passante puce à puce	640 To/s

Chaque chiffre de ce tableau provient d'une source unique - le blog développeur de Nvidia, publié le 16 mars 2026, six mois avant cette annonce de production. Le même billet revendique jusqu'à 35 fois plus de débit d'inférence par mégawatt et jusqu'à dix fois plus d'opportunité de revenus pour des modèles à mille milliards de paramètres qu'avec des systèmes GB200, mesuré à 400 jetons par seconde et par utilisateur. Ce sont les chiffres de Nvidia sur du matériel Nvidia plus ancien : à lire comme une modélisation de fournisseur, pas comme un banc d'essai.

Le seul chiffre venu de l'extérieur

Le chiffre portant un nom extérieur : Artificial Analysis a mesuré 3 400 jetons de sortie par seconde sur le modèle à poids ouverts Gemma 4 31B avec un contexte de 100 000 jetons, ce que la salle de presse de Nvidia traduit par une « réactivité 4 fois supérieure » à la plateforme alternative la plus proche. Le billet de la salle de presse et SiliconANGLE le rapportent à l'identique.

C'est un modèle à une longueur de contexte, et la cible de comparaison n'est pas nommée. Cela reste le chiffre le plus utile de l'annonce, car les revendications de débit par mégawatt ne disent pas à un développeur si son agent paraîtra rapide.

Ce qui est livré, et à qui

Nvidia nomme Nebius comme premier client en production, déployant via sa plateforme d'inférence Token Factory, et indique que Groq elle-même prévoit d'être une adoptante précoce. SiliconANGLE, en reportage depuis Hot Chips 2026, ajoute l'arrière-plan que les billets de Nvidia omettent entièrement : Nvidia a racheté Groq pour 20 milliards de dollars en décembre 2025, licenciant la technologie et recrutant le fondateur Jonathan Ross et le président Sunny Madra. Ce prix n'apparaît, parmi ces sources, que chez SiliconANGLE.

Une hésitation de nom mérite d'être signalée : le blog développeur parle d'« accélérateurs Groq 3 LPU », SiliconANGLE les appelle « LP30 ». Les sources ne se sont pas accordées sur le nom de la chose.

Ce que cela signifie pour les développeurs

Rien ici n'est une puce que l'on achète. C'est de la capacité que l'on loue, et la question à court terme est de savoir si Nebius, les fournisseurs de la classe CoreWeave ou votre prestataire d'inférence actuel l'exposeront - et à quel prix par million de jetons de sortie. Posez cette question avant de réécrire quoi que ce soit : une revendication de réactivité multipliée par quatre ne compte que si elle survit au contact d'une grille tarifaire.

L'idée transposable est la désagrégation prefill/décodage. Si Nvidia construit du silicium autour du principe que traitement du contexte et génération de jetons sont des charges de travail différentes, c'est un signal fort sur la forme que prendront les piles de service - et c'est déjà visible dans le service open source aujourd'hui. Quiconque fait tourner sa propre inférence devrait mesurer les deux phases séparément - temps jusqu'au premier jeton contre latence entre jetons - car une valeur moyennée unique masque exactement le problème que ce matériel existe pour résoudre.

Traitez la latence des agents comme un budget plutôt que comme un espoir. Si Nvidia peut vendre une puce de décodage dédiée, c'est que les boucles d'agents émettent des jetons en permanence et que chaque appel d'outil relance le cycle. Si votre agent enchaîne dix appels de modèle, la latence entre jetons est multipliée par dix avant qu'un utilisateur voie une réponse. Ce calcul mérite d'être fait cette semaine sur vos propres traces : il ne coûte rien et vous dit si le matériel d'inférence spécialisé sera une ligne de votre budget ou un titre intéressant.