NVIDIA n’est pas seul dans le secteur de l’IA. AMD y va à fond avec ses nouvelles architectures, comme Lisa Su l’a elle-même laissé entendre il y a quelques jours, mais le marché ne s’arrêtera pas là. Aujourd’hui, une startup nommée d-Matrix vient défier les verts de loin avec sa carte Corsair C8, qui n’est pas un GPU à proprement parler, et qui ne souffre donc pas de certains des problèmes liés aux GPU. Pourront-ils vraiment ravir la couronne au H100 ?

C’est ainsi qu’est née la Corsair C8, qui n’a rien à voir avec la marque de matériel et de périphériques, si ce n’est le partage d’une partie du nom, et qui prétend écraser les verts en promettant des performances, un coût et une efficacité qui laisseraient NVIDIA dans une autre décennie. Mais quelle est la vérité dans tout cela ?

d-Matrix Corsair C8, une startup défie un géant de la technologie comme NVIDIA.

Il ne s’agit pas d’un GPU en tant que tel, mais d’une carte DIMC (Digital In Memory Compute), c’est-à-dire un système de calcul qui réunit la logique et la mémoire sur la même puce, ce qui présente un avantage important dans le domaine clé de l’inférence, le principal goulot d’étranglement des GPU dans le LLM.

Ce qu’il permet de réaliser est également très simple à comprendre : aucune donnée ne doit être transmise vers et depuis la mémoire, les calculs sont donc traités directement au sein de la puce elle-même, ce qui permet d’économiser beaucoup de temps et d’énergie.

Il n’est pas nécessaire d’envoyer des informations sur un bus de données vers le HBM entre un processeur et la mémoire, tout est traité en interne parce qu’il s’agit d’une seule partie, d’un seul ensemble, et les performances sont donc accrues. Ceci étant dit, d-Matrix affirme que son Corsair C8 comprend 2 048 cœurs DIMC avec 130 milliards de transistors, qui sont accompagnés de 256 Go de RAM LPDDR5.

Des performances époustouflantes qui laissent NVIDIA dans la poussière.

Cela dit, les performances actuelles sont comprises entre 2 400 TFLOPS et 9 600 TFLOPS, ce qui est vraiment fou. Là où ils ne se distinguent pas, et ils n’ont pas besoin de le faire, par rapport à NVIDIA, c’est au niveau de la bande passante entre les puces, puisqu’ils obtiennent 1TB/s, ce qui est plus qu’acceptable.

Comment ces performances se comparent-elles à celles du matériel NVIDIA, en particulier le H100 ? Eh bien, le GPU NVIDIA en FP16 est légèrement supérieur à 200 TFLOPS, un peu plus de 50 en FP32 et un peu plus de 25 TFLOPS en FP64. Tout cela est théorique, bien sûr.

Ainsi, d-Matrix affirme qu’il ne s’agit pas seulement de performances pures, ce qui est déjà un non-sens comme nous l’avons vu, mais qu’en termes de coût, leur carte est entre 13 et 27 fois moins chère que la H100, est 20 fois plus économe en énergie, a 20 fois moins de latence et une bande passante mémoire 40 fois plus élevée.

Comme on le voit, ces chiffres datent pratiquement d’une autre décennie. Le problème est que ces données, en tant que telles, n’ont pas été démontrées contre du matériel NVIDIA, en partie parce qu’ils sont encore en train de lever des fonds auprès d’investisseurs pour être en mesure de produire en volume.

Le pari est si sérieux et si ambitieux que Microsoft a déjà investi de l’argent, mais ce n’est pas le seul. SK Hynix a déjà investi de l’argent l’année dernière, ces gens sont donc vraiment sérieux et ils sont actuellement dans le dernier cycle de financement et ont levé 110 millions. Lorsqu’ils seront cotés en bourse et non plus privés, nous verrons s’ils tiennent leurs promesses et si NVIDIA a enfin une concurrence féroce, plus que féroce, impossible à atteindre avec ses GPU actuels.