« Plus besoin de superordinateurs » : cette IA sino-américaine fonctionne sur des processeurs classiques et bouleverse toute l’industrie

La technologie de l’intelligence artificielle continue de faire des vagues à travers le monde, captivant l’attention grâce à ses capacités impressionnantes à traiter des questions analytiques et créatives en un temps record. Cependant, l’exploitation de cette technologie nécessite généralement des serveurs ou des ordinateurs équipés de puissants accélérateurs. Récemment, une avancée majeure a été réalisée par Microsoft, en collaboration avec l’Université de l’Académie des Sciences de Chine. Ils ont mis au point un modèle d’IA capable de fonctionner sur un CPU standard, une avancée potentiellement révolutionnaire qui pourrait réduire considérablement la consommation énergétique des technologies d’IA.

Le contexte du modèle d’IA

Le modèle d’IA innovant développé par Microsoft se distingue par sa capacité à fonctionner sur un CPU ordinaire. Dans un article de recherche, les scientifiques ont détaillé la construction du modèle, ses caractéristiques et les résultats issus des phases de test. Jusqu’à présent, la plupart des modèles de langage de grande taille (LLM) étaient entraînés sur des GPU en raison de la puissance nécessaire pour traiter d’énormes quantités de données.

Les centres de traitement de données ont été critiqués pour leur consommation énergétique excessive, surtout avec la prolifération des chatbots. En réponse à ce défi, l’équipe de Microsoft Research a conçu un modèle plus intelligent pour réduire cette empreinte énergétique. Cette démarche pourrait transformer la manière dont l’IA est utilisée à travers le monde.

Un « dunk inversé » monumental à Berlin : cette installation urbaine redéfinit l’espace public et défie les dynamiques de la ville

Qu’est-ce qui rend ce modèle d’IA différent ?

La gestion des poids dans les modèles d’IA joue un rôle crucial, car elle demande beaucoup d’énergie. Traditionnellement, ces poids sont exprimés en nombres de 8 ou 16 bits. Cela implique une utilisation importante de mémoire et de traitement par CPU, augmentant la consommation énergétique.

Le nouveau modèle de Microsoft élimine les nombres en virgule flottante, adoptant une architecture en 1 bit. Les poids sont ainsi stockés en trois valeurs seulement : -1, 0 et 1. Cette innovation permet d’effectuer des opérations simples d’addition et de soustraction, comme le ferait un moniteur basé sur CPU, réduisant ainsi considérablement l’énergie requise.

Ce bébé miracle conçu grâce à une révolution technologique ébranle 45 ans de fécondation in vitro

Un aperçu des tests

Les tests du nouveau modèle ont démontré sa capacité à rivaliser avec des modèles basés sur GPU, parfois même à les surpasser, tout en utilisant beaucoup moins de mémoire et d’énergie.

L’équipe a développé un environnement d’exécution dédié, nommé bitnet.cpp, optimisé pour l’architecture en 1 bit afin de maximiser les performances. Si les affirmations de l’équipe se vérifient, le lancement de BitNet b1.58 2B4T pourrait marquer un tournant majeur dans l’accessibilité de l’IA. Les utilisateurs pourraient bientôt exécuter des chatbots directement sur des appareils personnels, comme des ordinateurs portables ou même des smartphones, sans dépendre de vastes fermes de serveurs.

Influenceurs écolos, ONG, activistes… Acheter-des-Fans.com, le site qui décuple leur influence sur les réseaux sociaux

Plus d’informations sur BitNet b1.58 2B4T

BitNet b1.58 2B4T est un modèle d’IA open-source capable de comprendre le langage, de raisonner mathématiquement, de coder et de converser. Entraîné depuis zéro, il supporte jusqu’à 4 096 tokens et utilise une quantification d’activation en 8 bits, ainsi que des valeurs de poids ternaires {-1, 0, +1} via la quantification absmean.

Extrêmement efficace, il fonctionne sur un seul CPU ARM ou x86 en utilisant seulement 0,4 Go de mémoire, bien moins que les 2 à 5 Go généralement requis par des modèles similaires. Son design léger le rend accessible sans avoir besoin de GPU haut de gamme. Microsoft Research explore continuellement son potentiel en tant qu’alternative économique aux modèles de langage à grande échelle.

Cette avancée technologique pourrait transformer non seulement la consommation d’énergie mais aussi la manière dont nous interagissons avec l’IA, la rendant plus personnelle et portable. Avec de telles évolutions, comment envisagez-vous l’intégration de l’IA dans votre quotidien à l’avenir ?