De Grace Blackwell-superchip van Nvidia schitterde bij zijn introductie met indrukwekkende specificaties. Nu hebben we ook een idee van hoe groot het onderdeel is.
De GB200 Grace Blackwell-superchip is Nvidia’s nieuwste mijlpaal op het gebied van kunstmatige intelligentie.
Het systeem combineert een Grace-CPU met 72 ARM Neoverse V2-kernen en twee Blackwell-GPU’s op één printplaat. Er is ook voldoende geheugen beschikbaar: de GB200 Grace Blackwell kan worden uitgerust met maximaal 372 GB HBM3e-geheugen met een bandbreedte van 16 TB/s.
Deze architectuur is speciaal ontwikkeld voor het trainen en infereren van Large Language Models (LLM’s) met biljoenen parameters. Aan de hand van deze kerngegevens is het echter moeilijk om de omvang van de superchip te bevatten. Dr. Moritz Lehmann, GPU-software-engineer bij Intel en op Reddit bekend onder het pseudoniem “ProjectPhysX”, brengt hier duidelijkheid.
Hands-on met de echt grote GPU’s: GB200 NVL72 – Grace CPU + 2x B200 180 GB op elke node, verbonden door 130 TB/s NVLink spine
dooru/ProjectPhysX innvidia
☻
- Er zijn hier geen exacte afmetingen beschikbaar, maar (vermoedelijk) is de hand van Lehmann te zien met een stijlvolle Vulcan-groet, die een ruwe vergelijking geeft met de grootte van het GB200-monster.
- Volgens Lehmann kost een NVL72-rack met 18 van deze nodes maar liefst drie miljoen dollar.
Grace Blackwell: ook de ‘ruggengraat’ heeft het in zich
Ook te zien in de fotoreeks: de NVLink-spine, die alle nodes met elkaar verbindt. Alleen al dit onderdeel weegt ongeveer 32 kilogram. Dat gewicht is niet voor niets: NVLink maakt gebruik van ongeveer 5.000 kabels met een totale lengte van ongeveer drie kilometer.
- Hier wordt een bandbreedte van 130 terabyte per seconde gebruikt. Volgens Nvidia-CEO Jensen Huang is dat genoeg om “meer verkeer te verwerken dan het hele internet”.
- De prestaties zijn dan ook exorbitant. Een enkele B200-chip is in de context van VRAM-bandbreedte al drie keer zo snel als de Geforce RTX 5090 – het hele rack komt met zijn 36 B200-chips dus op 36 keer de bandbreedte.
De Grace Blackwell Superchip zal echter falen bij Crysis: er ontbreken rendering- en raytracing-eenheden, waardoor klassieke gaming-rendering helemaal niet mogelijk is.
