Niv-AI, une start-up de gestion de l’énergie IA, émerge pour lutter contre le gaspillage d’énergie des GPU

7

Une nouvelle société, Niv-AI, a été lancée avec un financement de démarrage de 12 millions de dollars pour remédier à un goulot d’étranglement critique dans le secteur en plein essor de l’IA : la consommation d’énergie inefficace dans les centres de données. Le principal problème est que les GPU avancés, essentiels à la formation et à l’exécution des modèles d’IA, créent des augmentations imprévisibles de la demande d’électricité, obligeant les opérateurs à limiter les performances ou à payer un supplément pour le stockage d’énergie. Cela se traduit par un gaspillage d’investissements et un développement plus lent de l’IA.

Le problème de puissance avec l’IA

Comme l’a déclaré sans détour Jensen Huang, PDG de Nvidia, chaque watt d’énergie non utilisé dans une usine d’IA représente une perte de revenus. Le problème vient des fluctuations de puissance à l’échelle de la milliseconde inhérentes aux charges de travail GPU modernes. Lorsque des milliers de GPU passent rapidement d’une tâche à l’autre, ils créent des pics qui submergent les systèmes de gestion de l’énergie existants. Les centres de données réagissent soit en limitant l’utilisation du GPU (réduisant les performances), soit en payant trop cher les réserves d’énergie de sauvegarde.

L’ampleur du gaspillage est importante. Les experts du secteur estiment que jusqu’à 30 % de la capacité potentielle des GPU reste inexploitée en raison de contraintes d’alimentation. Ce n’est pas seulement une question économique ; cela entrave également les progrès de la recherche et du déploiement de l’IA.

Approche de Niv-AI : surveillance en temps réel et prédiction basée sur l’IA

Fondée à Tel Aviv, Niv-AI adopte une approche à deux volets :

  1. Mesure précise de la puissance : La société déploie des capteurs au niveau du rack pour surveiller la consommation d’énergie du GPU au niveau de la milliseconde. Ces données détaillées révéleront les profils de puissance spécifiques des différentes tâches d’apprentissage profond.
  2. Optimisation basée sur l’IA : Niv-AI prévoit de former un modèle d’IA sur les données collectées pour prédire et synchroniser les charges électriques dans l’ensemble des centres de données. L’objectif est de créer un « copilote » pour les ingénieurs des centres de données, leur permettant de maximiser l’utilisation du GPU sans surcharger la grille.

Pourquoi c’est important maintenant

Le timing est crucial. Les hyperscalers (grands fournisseurs de cloud) sont confrontés à des obstacles dans la construction de nouveaux centres de données en raison des restrictions d’utilisation des sols et des problèmes de chaîne d’approvisionnement. L’amélioration de l’efficacité des infrastructures existantes est désormais plus attrayante que jamais. Le système actuel impose un compromis entre performances et stabilité, et Niv-AI vise à résoudre ce problème.

“Le réseau a en fait peur que le centre de données consomme trop d’énergie à un moment précis”, explique Tomer Timor, PDG de Niv-AI. La vision de l’entreprise est de créer une « couche d’intelligence » manquante entre le centre de données et le réseau électrique.

Niv-AI espère disposer d’un système fonctionnel dans les centres de données américains d’ici 6 à 8 mois. La startup est soutenue par d’éminentes sociétés de capital-risque, notamment Glilot Capital et Grove Ventures.

L’implication à long terme est claire : à mesure que l’IA continue de croître, la demande d’électricité ne fera que s’intensifier. Des entreprises comme Niv-AI sont essentielles pour garantir que cette croissance soit durable et efficace.