La superpuce Grace Blackwell de Nvidia a brillé lors de sa présentation avec des spécifications impressionnantes. On a désormais une idée approximative de la taille de cette pièce.
La superpuce GB200 Grace Blackwell représente la dernière avancée de Nvidia dans le domaine de l’intelligence artificielle.
Le système combine un processeur Grace avec 72 cœurs ARM Neoverse V2 et deux processeurs graphiques Blackwell sur une seule carte. La mémoire est également suffisante : le GB200 Grace Blackwell peut être équipé d’une mémoire HBM3e pouvant atteindre 372 Go avec une bande passante de 16 To/s.
Cette architecture a été spécialement conçue pour l’entraînement et l’inférence de grands modèles linguistiques (LLM) comportant des milliards de paramètres. Ces données clés ne permettent toutefois pas de se faire une idée précise de la taille de cette superpuce. Moritz Lehmann, ingénieur logiciel GPU chez Intel et connu sur Reddit sous le pseudonyme « ProjectPhysX », apporte ici quelques éclaircissements.
Hands-on avec les véritables grosses GPU : GB200 NVL72 – Grace CPU + 2x B200 180 Go sur chaque nœud, connectés par une colonne vertébrale NVLink de 130 To/s
paru/ProjectPhysX dansnvidia
☻
- Il n’y a pas de dimensions exactes ici, mais on peut (probablement) voir la main de Lehmann avec son salut vulcain caractéristique, qui donne une comparaison approximative de la taille du monstre GB200.
- Selon Lehmann, un rack NVL72 équipé de 18 de ces nœuds coûte la modique somme de trois millions de dollars américains.
Grace Blackwell : la « colonne vertébrale » a aussi son mot à dire
Également inclus dans la série d’images : le NVLink-Spine, qui relie tous les nœuds entre eux. À lui seul, cet élément pèse environ 32 kilogrammes. Ce poids n’est pas le fruit du hasard : NVLink utilise environ 5 000 câbles d’une longueur totale d’environ trois kilomètres.
- Une bande passante de 130 téraoctets par seconde est utilisée ici. Selon Jensen Huang, PDG de Nvidia, cela suffit pour « acheminer plus de trafic que l’ensemble de l’Internet ».
- Les performances sont donc exorbitantes. Une seule puce B200 est déjà trois fois plus rapide que la Geforce RTX 5090 en termes de bande passante VRAM. Avec ses 36 puces B200, l’ensemble du rack offre donc une bande passante 36 fois supérieure.
La puce Grace Blackwell échouera néanmoins avec Crysis : les unités de rendu et de ray tracing font défaut, de sorte que le rendu classique des jeux n’est pas possible.
