Een idee van een student aan Stanford in 2000 leidde tot de geboorte van CUDA – de technologie waarop vandaag de hele AI-revolutie is gebaseerd. Het begon allemaal met Quake 3 in 8K.
Een slaperige donderdagavond op Stanford University in 2000. Student Ian Buck zit voor een onmogelijk lijkend probleem: Quake 3 spelen in echte 8K-resolutie. Niet gewoon spelen, maar tegelijkertijd op acht projectoren renderen.
Zijn oplossing schommelde tussen het spreekwoordelijke genie en waanzin: hij verbond 32 Nvidia Geforce grafische kaarten tot een renderfarm. Wat klinkt als een simpele episode van een ambitieuze nerd, legde echter de basis voor een van de meest waardevolle technologieën van de 21e eeuw. Bucks idee zou namelijk de weg vrijmaken voor Nvidia’s CUDA-technologie – het platform dat vandaag de dag de ruggengraat vormt van bijna alle grote AI-systemen.
Van speelgoed naar wetenschappelijke visie
Voor Buck was het Quake 3-experiment een keerpunt. Hij zag iets wat toen nog bijna niemand begreep: grafische processors konden veel meer dan alleen driehoeken tekenen – ze konden universele rekenmachines worden. Met dit inzicht verdiepte de informatica-student zich in de technische specificaties van Nvidia’s chips en startte hij zijn doctoraatsproject (via Xataka).
- Het resultaat: samen met een kleine groep onderzoekers en ondersteund door een DARPA-beurs ontwikkelt Buck een open source programmeertaal genaamd “Brook”. Deze taal slaagt erin grafische kaarten om te vormen tot gedecentraliseerde supercomputers.
- Plotseling was het mogelijk om parallelle berekeningen uit te voeren op GPU’s, bijvoorbeeld door de ene eenheid polygoon A te verlichten, een andere polygoon B te rasteren en een derde de gegevens op te slaan.
Een paper met de titel “Brook for GPUs: stream computing on graphics hardware” (beschikbaar via Stanford University) volgde – en trok de aandacht van een bepaalde persoon: Nvidia-oprichter Jensen Huang. Hij zag meteen dat hier een enorm potentieel in schuilde en haalde Buck direct naar Nvidia.
De geboorte van CUDA
Het jaar 2005: het bedrijf Silicon Graphics stort in – uitgeput door Nvidia. Tegenwoordig is alleen de OpenGL-specificatie van de Amerikaanse computerfabrikant nog over.
Ongeveer 1.200 voormalige SGI-medewerkers stroomden destijds als het ware naar de onderzoeksafdeling van Nvidia. Onder hen: John Nickolls, een pionier op het gebied van parallelle verwerking, wiens eerdere project weliswaar was mislukt, maar die nu aan de zijde van Buck een nieuw project vormde.
- Dit project kreeg een naam die aanvankelijk meer verwarring dan duidelijkheid schepte: “Compute Unified Domain Architecture”, kortweg CUDA.
- In november 2006 bracht NVIDIA de eerste versie van deze gratis software uit, maar exclusief voor eigen hardwarepartners.
De aanvankelijke euforie verdween snel. In 2007 werd CUDA slechts 13.000 keer gedownload. De miljoenen gebruikers van Nvidia wilden hun grafische kaarten uitsluitend gebruiken om te gamen. CUDA-programmering bleek complex en de investering leek nauwelijks rendabel. Ook intern kostte het project aanzienlijke middelen, zonder noemenswaardige resultaten op te leveren.
De lange weg naar de AI-revolutie
In de eerste jaren ontwikkelde CUDA zich zeker niet tot AI-technologie – van kunstmatige intelligentie was toen nog nauwelijks sprake. In plaats daarvan waren het onderzoekslaboratoria en wetenschappelijke instituten die CUDA gebruikten.
Buck zelf had echter al in 2009 in een interview met Tom’s Hardware al een idee waar de reis naartoe zou kunnen gaan:
We zullen mogelijkheden zien in persoonlijke media, zoals beeld- en fotoclassificatie op basis van inhoud – gezichten, plaatsen – bewerkingen die enorme rekenkracht vereisen.
Of Buck zich de komende jaren perfect heeft voorgesteld, laten we aan jullie over. Hij hoefde in ieder geval niet al te lang te wachten op zijn vermoeden.
- In 2012 presenteerden de twee promovendi Alex Krizhevsky en Ilya Sutskever onder leiding van Geoffrey Hinton een project met de naam “AlexNet”.
- Deze software kon afbeeldingen automatisch classificeren op basis van hun inhoud – een idee dat voorheen als rekenkundig onmogelijk werd beschouwd.
Het belangrijkste was dat ze dit neurale netwerk trainden op NVIDIA-grafische kaarten met CUDA-software.
Op dat moment kwamen twee werelden samen. CUDA en kunstmatige intelligentie waren plotseling logisch. De rest is geschiedenis: het absurde idee van een student aan Stanford groeide uit tot de technologie waarop vandaag de dag miljoenen AI-systemen draaien – en die NVIDIA tot het meest waardevolle technologiebedrijf ter wereld maakte.
