Le supercalculateur Colossus d'Elon Musk doté de puces NVIDIA alimente GROK

• Colossus : le supercalculateur d'entraînement à l'IA le plus grand et le plus puissant développé par xAI d'Elon Musk.
• Emplacement : Memphis, Tennessee, dans un parc industriel sur le fleuve Mississippi. Auparavant, le bâtiment abritait un fabricant suédois d'électroménagers, ElectrX.

Principales fonctionnalités

• Matériel :
  • Plus de 100 000 GPU Nvidia HGX H100 connectés à des exaoctets de stockage de données.
  • Système de refroidissement liquide qui utilise de grandes quantités d'eau pour maintenir des températures optimales.
• Vitesse : déclaré supercalculateur le plus rapide de la planète, construit pour alimenter le modèle d'intelligence artificielle Gro.
• Construire : construit en seulement 122 jours, ce qui est nettement plus rapide que les clusters de supercalculateurs traditionnels qui prennent des années.

Configurer la dataroom

• Structure :
  • L'installation présente une conception de salle de données avec plancher surélevé, séparant les clusters d'alimentation, de refroidissement et de GPU en trois niveaux.
  • Quatre salles de données, chacune contenant 25 000 GPU.

Système de refroidissement 

• Refroidissement liquide :
  • Utilise un réseau de tuyaux pour faire circuler l'eau, éliminant ainsi efficacement la chaleur des GPU.
  • L'eau chaude est envoyée vers un refroidisseur avant d'être à nouveau pompée, maintenant ainsi une température optimale.

Configuration du GPU et du CPU

• Rack GPU :
  • Chaque rack contient huit GPU Nvidia H100 et dispose d'un système de refroidissement par eau indépendant.
  • Les racks peuvent être réparés sans avoir à arrêter l'ensemble de l'armoire, ce qui minimise les temps d'arrêt.
• Utilisation du processeur :
  • Deux processeurs pour huit GPU, qui gèrent la préparation des données et les tâches du système d'exploitation.

Gestion des données

• Archivage :
  • Le système contient exaoctets de données (1 exaoctet = 1 milliard de gigaoctets) à des fins de formation.
  • Les données sont transférées via un réseau haut débit alimenté par des DPU Nvidia Bluefield 3, capables de gérer 400 Gbit/s.

Approvisionnement en énergie

• Source d'alimentation :
  • Alimenté principalement par des batteries Tesla Megapack, qui assurent un approvisionnement constant en énergie au supercalculateur.
  • Cette configuration atténue les fluctuations traditionnelles du réseau électrique, ce qui est crucial pour des sessions de formation efficaces.

Aspects financiers

• Financement :
  • xAI a levé 6 milliards de dollars de capital-risque, valorisant l'entreprise à 6 milliards de dollars de capital-risque
  • tout en valorisant l'entreprise à 24 milliards USD au total
  • Elon Musk serait à la recherche de financements supplémentaires pour porter la valorisation de l'entreprise à 40 milliards de dollars.

Développements futurs

• Projets d'expansion :
  • Il est prévu de doubler la taille de Colossus pour atteindre plus de 200 000 GPU H100 au cours des deux prochains mois.
• Évolution de l'IA :
  • Gro a récemment été mis à jour pour inclure des fonctionnalités de vision, lui permettant d'analyser des images en parallèle du texte.

Conclusion

Colossus représente une avancée significative dans les capacités de formation en IA, combinant un matériel de pointe, des solutions de refroidissement innovantes et une gestion efficace de l'énergie pour ouvrir la voie au développement d'une intelligence artificielle avancée. La croissance rapide et