На зміну застарілої серії gtx10 і дефіцитної rtx30 прийшли спадкоємиці серії quadro — gpu nvidia rtx a4000 і а5000 на базі поточної архітектури ampere, які були анонсовані в квітні 2021 року. Інженери hostkey порівняли ефективність використання нових прискорювачів в gpu-серверах на різних типах навантажень.
Ampere використовує 8-нм техпроцес від samsung і підтримує високошвидкісну пам’ять hbm2 і gddr6(x). Gddr6x є шостим поколінням пам’яті ddr sdram і може досягати швидкості до 21 гбіт / с. В а5000 і а4000 nvidia використовує ядра rt 2-го покоління і тензорні ядра 3-го покоління, що дозволяють забезпечити дворазовий приріст продуктивності в порівнянні зі старими ядрами turing. Новинки використовують стандарт pcie 4.0, що дозволяє прибрати вузькі місця при обміні даними з gpu.
У ampere використовується нова версія cuda 8+. На чіпі тепер є два потокових мультипроцесора, що забезпечує значне зростання продуктивності fp32-обчислень в порівнянні з картами на базі turing. Старші gpu a5000 і вище підтримують nvlink 3.0 для попарного об’єднання карт, що це призводить до кратного збільшення продуктивності.
Технічні характеристики відеокарт nvidia rtx a4000 і rtx a5000, rtx 3090, quadro rtx 4000
На нових картах куди більше пам’яті, це дозволяє ефективно працювати з нейромережами і зображеннями. Іншою істотною відмінністю rtx a4000 і rtx a5000 є апаратне прискорення розмиття руху, що дозволяє значно скоротити час і витрати на при рендерингу.
У старших картах від rtx a5000 є підтримка vgpu і nvidia rtx vws, що дозволяє забезпечити спільне використання обчислювальних ресурсів і віртуальних gpu декількома користувачами. В середньому нові відеокарти nvidia обганяють по продуктивності стару лінійку quadro в 1,5-2 рази і споживають менше електрики.
Тестування hostkey
Інженери компанії hostkey провели власне тестування професійних відеокарт nvidia rtx a5000 і a4000 і порівняли їх з rtx 3090 і quadro rtx 4000 — представником попереднього покоління професійних відеокарт компанії nvidia. Для тестів використовувалася система наступної конфігурації:
- процесор octacore intel xeon e-2288g, 3,5 ггц
- 32 гбайт ddr4-3200 ecc ddr4 sdram 1600 мгц
- samsung ssd 980 pro 1тбайт (1000 gb, pci-e 4.0 x4)
- серверна материнська плата asus p11c-i series (1 pci-e x16, 1 m. 2, 2 ddr4 dimm, 2x gigabit lan + ipmi)
- microsoft windows 10 professional 64-біт.
Тест v-ray gpu rt
Тест v-ray gpu cuda
Тести v-ray gpu cuda і rtx дозволяють виміряти відносну продуктивність gpu при рендерингу. Gpu rtx a4000 і rtx a5000 значно перевершують по продуктивності quadro rtx 4000 і geforce gtx 1080 ti (тест v-ray gpu rtx на цій карті провести неможливо, тому що вона не підтримує технологію rtx), але поступаються rtx 3090, що пояснюється високою пропускною здатністю пам’яті (936,2 гбайт/с проти 768 гбайт/с у rtx a5000) і кількістю потокових процесорів (10496 проти 8192 у rtx a5000).
«собаки проти кішок»
Для порівняння продуктивності gpu для нейромереж був використаний набір даних «собаки проти кішок» — тест аналізує вміст фотографії і розрізняє зображена на фото кішка або собака. Всі необхідні вихідні дані знаходяться тут. Також цей тест був виконаний на різних gpu в різних хмарних сервісах. Отримано наступні результати:
Повний цикл навчання
Повний цикл навчання тесової нейромережі зайняв від 5 до 30 хв.результат nvidia rtx a5000 і a4000 склав 07:30 і 9:10 хвилин відповідно. Швидше одиничних nvidia rtx a5000 і a4000 працював тільки gpu-сервер з вісьмома картами geforce rtx 2080ti і з енергоспоживанням близько 2 квт·ч.відеокарти tesla v100 минулого покоління доступні в сервісах google cloud compute engine, microsoft azure і amazon web services і показали найкращий результат з протестованих там карт.
Скільки коштує навчити нейромережу в різних місцях?
На графіку представлена вартість навчання моделі з використанням різних сервісів для наступних конфігурацій:
- aws — aws p3.2xlarge
- google cloud — gcp compute engine
- microsoft azure — tesla v100
- hostkey — rtx а4000, rtx a5000
Висновок
Нові професійні відеокарти nvidia rtx a5000 і a4000 є оптимальним рішенням для використання в gpu-серверах і дозволяють виконувати складні обчислення, виробляючи швидку обробку великих масивів даних. Перехід на нову архітектуру ampere дозволив значно збільшити продуктивність нових професійних відеокарт nvidia. Покращені тензорні ядра і ядра rt значно покращують якість і можливості трасування променів в реальному часі.
Обсяг пам’яті в 16 гбайт у nvidia rtx a4000 і 24 гбайт у rtx a5000 дозволяє обробляти великі масиви даних, а міст nvlink для a5000 об’єднує дві карти в одну, що дає доступ вже до 48 гбайт високопродуктивної пам’яті. Що важливо, ліцензія на драйвери nvidia для професійних gpu (на відміну від ігрових відеокарт) ніяк не обмежує їх використання в центрах обробки даних.
Hostkey рекомендує використовувати сучасні виділені і віртуальні gpu-сервери для рендеринга, транскодингу відео, навчання нейромереж і обробки даних вже навченими мережами. Якщо є стабільний великий обсяг даних для обробки, оренда виділених gpu-серверів може на порядок підвищити швидкість їх обробки за ті ж гроші або дозволить істотно скоротити витрати на формування власної інфраструктури.
Поки що hostkey надає gpu-сервери на базі помісячної оплати, але найближчим часом всі ці машини будуть доступні і в режимі погодинної оплати з повною автоматизацією їх надання клієнту при замовленні через api. Крім того, нові сервери з професійними картами rtx a5000 і a4000 доступні тепер не тільки в нідерландах, але і в москві.
Hostkey — динамічно розвивається хостинг-провайдер, який більше 10 років надає послуги з розміщення та оренди серверів, проектування та впровадження приватних хмар, лізингу та обслуговування обладнання. Hostkey надає сервери в оренду в дата-центрах категорії tier iii в європі, сша і росії, а також надає послуги проектування, запуску і підтримки приватних хмар, підтримки серверів в будь-яких дата-центрах в нідерландах. Компанія працює як з корпоративними клієнтами, так і з приватними особами.
Якщо ви помітили помилку — виділіть її мишею і натисніть ctrl+enter. / можете написати краще? ми завжди раді авторам.
