Nolan Mariotte
En IA, on parle presque exclusivement de GPU en termes de matériel. Il n’en est pas moins vrai qu’il existe un groupe d’entreprises qui conçoivent des accélérateurs personnalisés qui, selon elles, sont plus rapides que les graphiques NVIDIA. Et même si cela peut être partiellement vrai, comme c’est le cas avec certains matériels de Google, Amazon ou Microsoft, par exemple, ou avec Tesla elle-même, la vérité est que la plupart des arguments posent problème. Pour cette raison, et dans un acte de sincérité de Raja Koduri, il explique les raisons pour lesquelles les GPU règnent et régneront dans l’IA à l’avenir, à moins qu’il n’y ait un changement radical.
Étant donné que Koduri est membre du conseil d’administration de Tenstorrent avec Jim Keller à la barre, les déclarations sortent complètement du contexte de ce que l’on pourrait attendre de quelqu’un qui prend des décisions dans une entreprise rivale de NVIDIA. Et donc, connaissant le contexte et l’expérience professionnelle de Raja Koduri, puisqu’il a travaillé chez S3, ATI, Apple, AMD, Intel et maintenant le Tenstorrent susmentionné, ses déclarations sont très juteuses pour comprendre le conclave que représente le matériel pour l’IA.
Raja Koduri ne voit pas d’autres matériels prendre la place d’honneur des GPU pour les tâches d’IA
Dans son premier commentaire sur X, Raja Koduri voulait ouvertement revoir À quoi ressemble 2024 pour le matériel d’IA. Il a déclaré une évidence : au début de l’année, seul NVIDIA était présent et que d’ici l’année prochaine, au moins, Apple, AMD et Intel rejoindront la concurrence. Le commentaire a été repris par Bryan Beal en déclarant que cela importait peu, puisque selon lui, le silicium spécialisé pour l’IA est l’avenir, pas les GPU en tant que tels, avec des modèles comme ceux mentionnés par Amazon, Microsoft, etc…
Face à cet argument, Raja Koduri a voulu souligner et répondre en déclarant que les GPU pour l’IA règnent :
Nous entendons cette affirmation depuis 2016… Mais les GPU règnent toujours… Pourquoi ? J’apprends encore… Mais mes observations jusqu’à présent sont les suivantes : le “but” du silicium spécialement conçu n’est pas stable. L’IA n’est pas aussi statique que certains l’imaginaient et la banalisent…
“C’est juste un tas de matrices multipliées” – L’architecture système (des choses comme les tables de pages, la gestion de la mémoire, la gestion des interruptions, le débogage, etc.) des GPU a évolué sur 2 décennies et est un mal nécessaire pour prendre en charge les piles de logiciels de production… De nombreuses des siliciums spécialement conçus sont pauvres ici et font peser une charge sur les personnes “logicielles”.
Il n’y a pas beaucoup de jeunes talents en logiciels système qui entrent sur le marché du travail de nos jours… Tout le monde est donc en compétition pour le même petit bassin de talents vétérans. – mais je reste optimiste quant au fait qu’une nouvelle architecture avec un nouvel objectif émergera à partir des leçons apprises jusqu’à présent.
Quelle est l’importance du logiciel dans le matériel pour l’IA aujourd’hui ?
Nous savons que le grand avantage de NVIDIA ici ne réside pas tant dans le matériel, mais surtout dans la section logicielle, quelque chose que nous avons répété jusqu’à la nausée. Koduri apporte un peu plus de lumière lorsqu’il répond au commentaire ci-dessus en déclarant qu’un GPU actuel comme le H100 est un accélérateur à 75 %, qui n’est ni construit ni optimisé pour autre chose, ce à quoi l’ingénieur répond ce qui suit :
Peu importe le pourcentage de multiplication de la matrice si le développeur ne peut pas la développer… Ce qui compte inégalement, ce sont les petites portes de pourcentage qui pilotent l’ensemble de la pile logicielle système. Les outils de calcul GPU (principalement NVIDIA) sont plutôt stables depuis 17 ans… Non pas que je compte le temps.
Et il conclut dans un autre commentaire en donnant des données plus précises sur la direction que prend le marché de l’IA :
Dans les LLM ouverts, nous avons encore constaté une amélioration notable de la qualité avec de grands paramètres et une quantification 16b. Bien qu’il existe des performances intéressantes avec la quantification 4b et les modèles plus petits, nous n’avons encore trouvé aucun d’entre eux habitable par rapport au meilleur modèle fermé.
J’ai également vu des data scientists développer de nouveaux modèles basés sur FP32 ! C’est l’une des raisons pour lesquelles ils préfèrent les GPU dans leurs configurations de développement et beaucoup d’entre eux développent sur PC. Jusqu’à récemment, NVIDIA était le seul GPU prenant en charge une pile complète de logiciels informatiques d’IA sur un PC. D’autres rattrapent leur retard maintenant.
CUDA est donc la grande arme de l’équipe de Jensen Huang. Peu importe si quelqu’un les bat en termes de performances, la polyvalence des GPU et les logiciels des verts font le reste, et c’est pourquoi des entreprises comme Intel connaissent l’importance de OneAPI et comment c’est le moyen de rivaliser avec NVIDIA. ici. Espérons qu’AMD comprend cela et rejoigne le plus tôt possible la lutte pour les logiciels pour son matériel d’IA, car si quelque chose peut être attribué à l’équipe de Lisa Su pour l’instant, c’est un retard dans le développement de l’écosystème immatériel.
