Le nouveau système d’Alibaba Cloud réduit l’utilisation des GPU Nvidia de 82 %, alors que Trump fait volte-face sur l’interdiction des puces AI de la Chine3 min de lecture

Alibaba Group Holding (NYSE:BABA) a introduit un nouveau système de mise en commun informatique appelé Aegaeon, qui réduit de manière spectaculaire la dépendance aux GPU de Nvidia (NASDAQ:NVDA) de 82 % pour les modèles d’IA.

Trois mois d’essais

Cette innovation a été testée dans le marché des modèles d’Alibaba Cloud pendant plus de trois mois, selon un article de recherche présenté cette semaine lors du 31e Symposium sur les principes des systèmes d’exploitation (SOSP) à Séoul, en Corée du Sud.

Le système Aegaeon a réussi à diminuer le nombre de GPU Nvidia H20 requis de 1 192 à seulement 213 pour servir des modèles avec jusqu’à 72 milliards de paramètres.

“Aegaeon est le premier travail à révéler les coûts excessifs associés à l’exécution simultanée de charges de travail LLM sur le marché”, ont déclaré les chercheurs dans l’article.

Des chercheurs de la université de Pékin et d’Alibaba Cloud ont souligné les coûts élevés associés à la gestion simultanée de charges de travail sur de grands modèles de langage.

Un GPU pour plusieurs modèles

Alibaba Cloud, la division IA et services cloud de la société Alibaba, dont le siège est à Hangzhou, vise à améliorer l’efficacité par la mutualisation des ressources GPU, permettant à un seul GPU de prendre en charge plusieurs modèles.

Le système permet de remédier à l’inefficacité des ressources, car auparavant, 17,7 % des GPU étaient alloués pour ne servir que 1,35 % des demandes sur la place de marché d’Alibaba Cloud.

Voir aussi : Kevin O’Leary dit à Trump que son “travail numéro un” est de protéger le rêve américain, pas de choisir des secteurs dans l’économie

Les fournisseurs de services cloud tels qu’Alibaba Cloud et Volcano Engine de ByteDance gèrent des milliers de modèles d’IA simultanément, ce qui entraîne souvent des inefficacités. Le système Aegaeon vise à optimiser ce processus en réduisant le nombre de GPU nécessaires.

Des inquiétudes grandissantes sur la présence de Nvidia en Chine

Cette découverte intervient alors que les inquiétudes grandissent concernant la présence de Nvidia en Chine. Récemment, la Chine a soulevé des préoccupations en matière de sécurité au sujet des puces H20 de Nvidia, notamment en ce qui concerne les risques potentiels de porte dérobée. Dans le cadre de son accord avec Nvidia, l’administration Trump a conclu un accord pour une participation aux revenus de 15 % sur les ventes de puces de la société vers la Chine.

Le PDG de Nvidia, Jensen Huang, a déclaré que la part de marché de Nvidia en Chine avait chuté de 95 % à zéro. Il a exprimé ses préoccupations quant à l’impact des politiques américaines sur la présence de Nvidia sur le marché chinois.

Malgré ces défis, Nvidia s’est protégé financièrement contre les escalades potentielles, car ses prévisions ne prennent en compte aucun revenu de la Chine, selon Huang.

Lire la suite :

• Elon Musk déclare que 100 000 personnes et un million de tonnes de fret sont nécessaires pour soutenir les colonies martiennes, il réitère l’importance de Starship : ‘Cela permettra d’envoyer des hommes sur Mars’

Avertissement : Ce contenu a été partiellement produit à l’aide d’outils d’IA et a été relu et publié par les éditeurs de Benzinga.

Photo reproduite avec l’aimable autorisation de : Shutterstock