Nolan Mariotte
Situé à Mountain View, en Caroline, Groq a été créé en raison du mécontentement de certains ingénieurs de Google au sein de son programme TPU. L’entreprise, qui n’a que quelques années, a présenté son IA et le matériel qui la déplace et l’entraîne, ce qui est vraiment incroyable, car elle laisse ChatGPT à ses balbutiements, car il est presque 10 fois plus rapide. Comment y sont-ils parvenus ?
L’IA progresse à un rythme pratiquement exponentiel. La différence de performances entre eux en ce qui concerne ChatBot, et non le matériel qui les domine, ne cesse de croître, et bien que ses unités de formation, ses accélérateurs, soient à la base de ses performances, la vérité est que les algorithmes ont beaucoup à dire concernant l’inférence.
Groq, l’entreprise qui vient de quitter ChatGPT dans l’Antiquité
Ce n’est pas Grok, d’Elon Musk, et bien sûr, les noms sont très similaires et ils avaient déjà leurs avantages et leurs inconvénients, puisque la société des ingénieurs TPU de Google est arrivée en premier, et Musk les a copiés plus tard, ce qui ne leur plaît pas. je me sentais trop bien. Quoi qu’il en soit, Groq est une IA très similaire à ChatGPT, c’est-à-dire qu’il s’agit d’un chatbot typique, avec du texte, dans lequel vous mettez une invite et vous obtenez une réponse, mais il existe quelques différences.
Plus précisément, du point de vue de l’IA, Groq prend en charge deux modèles : Mistral 8x7B-32K SMoE et Llama 2 7B-4K, bien qu’il en ait un troisième, Mistral 7B-8K, qui est hors ligne en raison de mises à jour. Et que peut-il faire exactement ? Eh bien, il atteint une performance de pas moins de 500 jetons par seconde, dans le pire des cas.
En comparant Mistral 8x7B-32K et GPT-4, les différences sont absurdes pour une même invite. Même s’il est vrai que GPT-4 comprend mieux certains concepts et qu’il faut être moins explicite. Il est également vrai qu’en fonction de l’invite, l’option OpenAI offre de meilleurs résultats, mais c’est quelque chose que Groq peut obtenir au fil du temps.
Pour l’instant, il est beaucoup plus rapide, et il s’améliorera à l’avenir, mais sur quoi repose exactement son matériel ?
Du GPU au TPU, et maintenant au LPU
La lettre L de ce LPU signifie Langue, et ce n’est pas étonnant. Groq utilise une série d’accélérateurs fabriqués par Bittware (la société qui fabrique des accélérateurs pour Intel et AMD pour certains partenaires) dont nous ne savons pas grand-chose.
La société a révélé peu de choses, mais a clairement indiqué qu’elle utilisait un processus lithographique de 14 nm dans ses puces et qu’elle disposait de 5 120 Vector ALU avec 4 moteurs capables d’atteindre 750 TOP/s en Int8 et 188 TFOPS/s en Int8. FP16 avec 80 To/s de bande passante et 230 Mo de SRAM.
Quant à l’architecture, elle est auto-développée et a été appelée TSP, où le même terme est utilisé pour nommer les puces.
On estime que le prix de chaque TSP pour former un LPU complet sera supérieur à 20 000 $, et l’objectif de Groq est de rattraper NVIDIA en LLM en seulement trois ans, ce qui semble encore très optimiste.
