Стартап Niv-AI з управління живленням ІІ виходить на ринок для вирішення проблеми неефективного використання енергії GPU
Нова компанія, Niv-AI, розпочала свою діяльність із залученням 12 мільйонів доларів посівного фінансування для вирішення критичної проблеми в швидкозростаючій індустрії ІІ: неефективного використання енергії в центрах обробки даних. Суть проблеми полягає в тому, що сучасні графічні процесори (GPU), необхідні для навчання та запуску моделей ІІ, створюють непередбачувані стрибки попиту на електроенергію, змушуючи операторів обмежувати продуктивність, або переплачувати за зберігання енергії. Це призводить до втрачених інвестицій та уповільнення розвитку ІІ.
Проблема енергоспоживання в ІІ
Як прямо заявив генеральний директор Nvidia Дженсен Хуанг, кожен невикористаний ват енергії на заводі ІІ означає втрачений прибуток. Проблема пов’язана з коливаннями енергоспоживання у масштабі мілісекунд, властивими сучасним робочим навантаженням GPU. Коли тисячі GPU швидко перемикаються між завданнями, вони створюють списи, які перевантажують існуючі системи керування живленням. Центри обробки даних реагують шляхом зниження продуктивності GPU (зменшення ефективності), або переплатою за резервні джерела енергії.
Масштаб втрат значний. За оцінками експертів, до 30% потенційної потужності GPU залишається невикористаною через обмеження енергопостачання. Це не лише економічна проблема, а й перешкода для прогресу у дослідженнях та впровадженні ІІ.
Підхід Niv-AI: моніторинг у реальному часі та прогнозування на основі ІІ
Заснована в Тель-Авіві, Niv-AI використовує двосторонній підхід:
- Точне вимірювання потужності: компанія розгортає датчики на рівні стійки для моніторингу енергоспоживання GPU з точністю до мілісекунди. Ці докладні дані розкриють конкретні профілі енергоспоживання різних завдань глибокого навчання.
- Оптимізація на основі ІІ: Niv-AI планує навчити модель ІІ на зібраних даних, щоб прогнозувати та синхронізувати енергоспоживання в масштабі цілих центрів обробки даних. Ціль полягає в тому, щоб створити «другого пілота» для інженерів центрів обробки даних, дозволяючи їм максимально використовувати GPU без перевантаження мережі.
Чому це важливо зараз
Момент слушний. Великі хмарні провайдери стикаються з труднощами при будівництві нових центрів обробки даних через обмеження у землекористуванні та проблеми з ланцюжками поставок. Підвищення ефективності існуючої інфраструктури зараз привабливіше, ніж будь-коли. Поточна система змушує йти на компроміс між продуктивністю та стабільністю, і Niv-AI прагне це виправити.
«Електромережа фактично боїться, що центр обробки даних потребуватиме надто багато енергії у певний момент часу», — пояснює генеральний директор Niv-AI Томер Тимор. Бачення компанії — створити недостатній «інтелектуальний шар» між центром обробки даних та електромережею.
Niv-AI очікує на розгортання робочої системи в центрах обробки даних США протягом 6-8 місяців. Стартап підтримується відомими венчурними фірмами, включаючи Glilot Capital та Grove Ventures.
Довгострокові наслідки очевидні: у міру продовження зростання ІІ попит на електроенергію тільки посилюватиметься. Компанії, такі як Niv-AI, необхідні для забезпечення сталого та ефективного зростання.
