Nolan Mariotte
Le Hessian Center for Artificial Intelligence vient de présenter son supercalculateur qu’ils ont baptisé Forty Two, 42 en anglais. Le pouvoir qu’ils ont réussi à atteindre? Ni plus ni moins de 8 PetaFLOPS de puissance sous LINPACK. Quelle est la technologie utilisée pour la création de ce système dans le Land de Hesse, en Allemagne ?
Le Green IT Cube est un centre de données situé dans le nord de Darmstadts et qui a été construit avec les 14,5 millions d’euros fournis par l’État de Hesse, à condition d’ajouter 40 millions supplémentaires pour améliorer l’infrastructure, qui non seulement Il se tient pour la construction de ce supercalculateur, mais pour l’utilisation d’un système de refroidissement efficace qui ne nécessite que 7 % de son énergie totale pour maintenir l’ensemble du système au frais.
Forty Two, le supercalculateur allemand avec une puissance de 8 PetaFLOPS, pour l’IA ?
Pour la construction du supercalculateur Forty Two, le Hessian Center for AI a décidé d’utiliser les cartes SuperPod de la série HGX-A100 de NVIDIA par nœud. Ils équipent donc la précédente génération de puces pour HPC et IA de la société de Jensen Huang. Cependant, cela ne signifie pas qu’ils sont légers, puisque chacun de ces systèmes se compose de quatre cartes doubles avec deux GPU A100 avec 80 Go de mémoire HBM2E chacun. Cependant, pour atteindre le chiffre de puissance de 8 PetaFLOPS, jusqu’à 632 de ces puces sont nécessaires. Et comment les ont-ils distribués ? Eh bien, dans 79 nœuds informatiques dans 18 armoires de serveurs.
N’oublions pas qu’avoir la plus grande quantité de mémoire possible est très important pour traiter les données dans certains modèles, au total nous avons jusqu’à 1 To de RAM dans chaque nœud, avec ses 8 GPU A100 intercommunicant entre eux, via des interfaces 600 Go/ s NVLink. Cela vous permet de travailler en collaboration sur des problèmes complexes qui utilisent de gros volumes de données pour l’inférence et l’apprentissage.
Tous combinés atteignent 8 PetaFLOPS de puissance dans le benchmark LINPACK, ce qui fait du Forty Two l’un des 100 supercalculateurs les plus puissants au monde à l’heure actuelle. Cependant, ce chiffre ne correspond pas à la puissance de calcul de ses unités tensorielles, puisque si c’était le cas, elles pourraient atteindre plus de 180 PFLOPS de puissance.
Ce supercalculateur ne vit pas seulement de NVIDIA
D’autre part, le Forty Two n’est pas seulement un système composé de matériel NVIDIA, mais ils ont également décidé d’opter pour quatre IPU (Intelligence Processing Units) M2000 pour chaque nœud de la société britannique Graphcore. Cette combinaison s’appelle M2000. Chacune de ces unités fournit 250 TFLOPS de calcul AI sur un processeur massif de 832 mm² construit sur le nœud 7 nm de TSMC et abrite un total de 1 472 cœurs capables de fonctionner avec jusqu’à 8 832 threads d’exécution différents.
Ce supercalculateur allemand n’utilise donc pas que la technologie américaine, malheureusement le M2000 et l’A100 ne vont pas ensemble à cause des interfaces de communication propriétaires de NVIDIA, la puce britannique doit donc être contenue dans son propre nœud. Ce qui fournit 1 PetaFLOP de puissance pour l’IA et 256 Go de RAM et un énorme 3,6 Go de mémoire locale répartis sur les quatre puces.
