Nolan Mariotte
NVIDIA craint Intel et AMD, sans oublier Qualcomm. Pour cette raison, sur son blog officiel, il a lancé un article plutôt étrange, car il tente de valoriser son matériel par rapport à celui de la concurrence dans des conditions quelque peu étranges. Et il compare certaines cartes graphiques, PC et ordinateurs portables, avec du matériel concurrent, ce qui n'a aucun sens. Avez-vous peur de perdre du poids avec les CPU + NPU par rapport à des options comme le RTX 4090 ?
NVIDIA donne l'impression qu'elle craint d'être exclue du jeu et d'arriver en retard avec ses options avec Mediatek, et pour cette raison, elle lance des comparaisons, un peu déséquilibrées, avec ce que son matériel peut faire par rapport au marketing qu'utilise la concurrence. se positionner dans l'IA, plus précisément dans le secteur des ordinateurs portables.
NVIDIA veut parler plus de jetons par seconde que de TOPS
“Le TOPS est le début de l'histoire”, disent les Verts, et au fond ils ont raison. On ne peut pas trop discuter de choses avec le numéro 1 mondial de l'IA, et il est vrai que la performance d'un LLM doit se mesurer en nombre de tokens générés par seconde.
Pourquoi souligner cela ? Eh bien, parce que Qualcomm, Intel et AMD fondent leur marketing sur TOPS comme mesure de performance, cela ne convient pas à NVIDIA, et ce n'est pas précisément parce qu'il va évidemment perdre. C’est tout simplement parce que le résultat d’un LLM est orienté vers les tokens par seconde selon le type de batch à configurer en taille.
Cela dit, NVIDIA a voulu montrer quelques données extraites des ingénieurs et chercheurs en IA de Jan.ai, où ils ont intégré TensorRT-LLM dans leur matériel pour leur application de chatbot locale, d'où ils ont extrait des données si curieuses que la comparaison C'est totalement absurde, c'est ce qui a si puissamment retenu notre attention.
Un RTX 4090 contre un CPU + NPU AMD dans les ordinateurs portables
Eh bien oui, la comparaison est la suivante, mais elle ne s'arrête pas là, ils utilisent également un RTX 3090, un RTX 4090 configuré en eGPU et un ordinateur portable RTX 4070. De toute évidence, tout le matériel NVIDIA, et plus encore l’utilisation de TensorRT-LLM en cours de route, est infiniment supérieur à ce que le matériel AMD peut faire.
Pour être précis, le Ryzen 9 8945HS propose avec Llama.cpp 11,57 jetons par seconde, soit presque 4 fois moins que le matériel NVIDIA le plus lent dans cette tâche, celui-ci étant évidemment le RTX 4070 pour ordinateurs portables, qui offre 39,7 T/s. .
Ayant montré la supériorité évidente du matériel, NVIDIA a voulu passer à un autre niveau et a comparé ses graphiques avec Llama.cpp vs TensorRT-LLM pour arriver à la conclusion que son logiciel est entre 30% et 70% plus rapide avec le même GPU, et En plus de cela, ils prétendent être plus efficaces. Par conséquent, NVIDIA a non seulement montré que même dans les ordinateurs portables, son matériel et ses logiciels sont meilleurs que ce que proposent ses concurrents, mais au sein de TensorRT-LLM, il en profite en offrant des performances bien supérieures à celles des autres modèles.
Par conséquent, les verts laissent entendre qu'ils sont leaders en matière d'IA également dans le domaine des ordinateurs portables et qu'AMD, Intel et Qualcomm ont un long chemin à parcourir pour rattraper leur retard, à tel point qu'ils n'y parviendront peut-être jamais vu le rythme auquel l'entreprise évolue. . par Jensen Huang.
