Une idée d’un étudiant de Stanford en 2000 a donné naissance à CUDA, la technologie sur laquelle repose aujourd’hui toute la révolution de l’IA. Tout a commencé avec Quake 3 en 8K.
Un jeudi soir tranquille à l’université de Stanford en 2000. L’étudiant Ian Buck est confronté à un problème qui semble impossible à résoudre : jouer à Quake 3 en véritable résolution 8K. Pas simplement jouer, mais afficher le jeu sur huit projecteurs simultanément.
Sa solution oscillait entre le génie proverbial et la folie : il a connecté 32 cartes graphiques Nvidia Geforce pour former une ferme de rendu. Ce qui ressemble à un simple épisode d’un nerd ambitieux a pourtant semé les graines de l’une des technologies les plus précieuses du XXIe siècle. L’idée de Buck a en effet ouvert la voie à la technologie CUDA de Nvidia, la plateforme qui constitue aujourd’hui l’épine dorsale de presque tous les grands systèmes d’IA.
Du gadget à la vision scientifique
Pour Buck, l’expérience Quake 3 a marqué un tournant. Il a compris quelque chose que presque personne ne comprenait à l’époque : les processeurs graphiques pouvaient faire bien plus que dessiner des triangles, ils pouvaient devenir des machines à calculer universelles. Fort de cette intuition, l’étudiant en informatique s’est plongé dans les spécifications techniques des puces Nvidia et a lancé son projet de doctorat (via Xataka).
- Résultat : en collaboration avec un petit groupe de chercheurs et grâce à une bourse de la DARPA, Buck développe un langage de programmation open source appelé « Brook ». Ce langage permet de transformer les cartes graphiques en superordinateurs décentralisés.
- Il est soudain devenu possible d’effectuer des calculs parallèles sur des GPU, par exemple en éclairant le polygone A avec une unité, en traçant le polygone B avec une autre et en enregistrant les données avec une troisième.
Un article intitulé « Brook for GPUs: stream computing on graphics hardware » (disponible via Stanford University) a suivi et a attiré l’attention d’une personne en particulier : Jensen Huang, fondateur de Nvidia.
Ce dernier a immédiatement reconnu l’énorme potentiel de cette invention et a directement recruté Buck chez Nvidia.
En 2005, l’entreprise Silicon Graphics s’effondre, minée par Nvidia. Aujourd’hui, il ne reste plus que la spécification OpenGL du fabricant américain d’ordinateurs.
À l’époque, environ 1 200 anciens employés de SGI ont en quelque sorte afflué vers le département de recherche de Nvidia. Parmi eux : John Nickolls, un pionnier du traitement parallèle, dont le projet précédent avait échoué, mais qui formait désormais un nouveau projet aux côtés de Buck.
- Ce projet a reçu un nom qui, au début, a semé la confusion plutôt que d’apporter des éclaircissements : « Compute Unified Domain Architecture », ou CUDA en abrégé.
- En novembre 2006, NVIDIA a publié la première version de ce logiciel gratuit, mais exclusivement pour ses propres partenaires matériels.
L’euphorie initiale s’est rapidement dissipée. En 2007, CUDA n’a été téléchargé que 13 000 fois. Les millions d’utilisateurs de Nvidia voulaient utiliser leurs cartes graphiques exclusivement pour jouer. La programmation CUDA s’est avérée complexe et l’investissement semblait peu rentable. En interne également, le projet a consommé des ressources considérables sans apporter de résultats notables.
Le long chemin vers la révolution de l’IA
Au cours des premières années, CUDA ne s’est certainement pas développé pour devenir une technologie d’IA – à l’époque, on ne pouvait guère parler d’intelligence artificielle. Ce sont plutôt les laboratoires de recherche et les instituts scientifiques qui ont utilisé CUDA.
Mais Buck lui-même avait déjà déclaré en 2009 dans une interview avec Tom’s Hardware une idée de la direction que cela pourrait prendre :
Nous verrons apparaître des possibilités dans les médias personnels, telles que le classement des images et des photos en fonction de leur contenu (visages, lieux), des opérations qui nécessitent une puissance de calcul énorme.
C’est à vous de décider si Buck avait parfaitement imaginé les années suivantes. En tout cas, il n’a pas dû attendre trop longtemps pour voir son intuition se réaliser.
- En 2012, deux doctorants nommés Alex Krizhevsky et Ilya Sutskever ont présenté, sous la direction de Geoffrey Hinton, un projet intitulé « AlexNet ».
- Ce logiciel était capable de classer automatiquement les images en fonction de leur contenu, une idée qui était auparavant considérée comme impossible à réaliser sur le plan informatique.
Le point décisif : ils ont entraîné ce réseau neuronal sur des cartes graphiques NVIDIA équipées du logiciel CUDA.
C’est à ce moment-là que deux mondes ont fusionné. CUDA et l’intelligence artificielle ont soudainement pris tout leur sens. Le reste appartient à l’histoire : l’idée absurde d’un étudiant de Stanford est devenue la technologie sur laquelle fonctionnent aujourd’hui des millions de systèmes d’IA, et qui a fait de NVIDIA l’entreprise technologique la plus précieuse au monde.
