Ускоритель A100, представленный на конференции GPU Technology Conference нынешней весной, получил новый вариант. А именно A100 80GB GPU, с которым NVIDIA удвоила емкость памяти, а также перешла на более скоростную HBM2e.
Впрочем, сам GPU с 108 SM и 3.456 блоками FP64 и 6.912 блоками FP32 остается, интерфейс памяти тоже прежний - 5.120 бит. Один чип памяти из шести по-прежнему не адресуется, так что перед нами не полный вариант A100 GPU. Но благодаря переходу на HBM2e пропускную способность памяти удалось увеличить с 1,5 Тбайт/с до 2 Тбайт/с. Тепловой пакет остался на уровне 400 Вт, поэтому теоретически остается возможность оснастить существующие системы DGX новыми модулями, сохранив совместимость по тепловому пакету.
Больший объем памяти и более скоростное подключение должны увеличить производительность - особенно в сегменте машинного обучения с тренировкой крупных моделей. NVIDIA сообщает о приросте производительности до трех раз, хотя вычислительная производительность GPU остается идентичной. Но более емкая и быстрая память существенно сказывается на некоторых задачах. Что, кстати, заметно и в системах, соединенных NVLink и содержащих до A100 GPU.
В зависимости от приложения, преимущества могут быть и при разделении до семи MIG (Multi Instance GPU) которые получат 10 Гбайт быстрой памяти вместо 5 Гбайт. Впрочем, здесь MIG обычно занимаются нагрузкой инференса, и даже с крупными запросами производительность увеличивается "всего" на 25%.
NVIDIA уже начала отгружать первые системы DGX на A100 80GB GPU. Клиентам их будут предлагать OEM и ODM, которые уже поставляют системы на A100 40GB GPU.
DGX Station A100
Кроме суперкомпьютеров DXG, A100 80GB GPU будут использоваться в рабочих станциях. Новая рабочая станция DGX Station A100 содержит четыре A100 80GB GPU или четыре A100 40GB GPU с подключением через NVLink, суммарная емкость памяти составляет 160 или 320 Гбайт. С рабочей станцией DGX Station A100 NVIDIA нацеливается на разработчиков, работающих с искусственным интеллектом и в научной сфере. Ранее DGX Station оснащалась ускорителями Volta V100 GPU. И кроме использования варианта A100 GPU с подключением PCI Express, теперь появилась весьма интересная и мощная модель на последнем поколении Ampere GPU.
Вместе с четырьмя A100 GPU используется процессор AMD EPYC с 64 ядрами и объемом оперативной памяти до 512 Гбайт. Для операционной системы и приложений доступен накопитель NVMe на 1,92 Тбайт, а для хранения данных - накопитель NVMe до 7,68 Тбайт. Сетевое подключение осуществляется через два порта 10 GbE. Для подключения мониторов предусмотрены четыре Mini-DisplayPort.
Для охлаждения NVIDIA ранее использовала "простую" СВО. Теперь для DGX A100 GPU была разработана новая система охлаждения с фазовым переходом, поскольку четыре GPU сами по себе выделают 1.600 Вт.
DGX Station A100 можно будет приобрести уже в этом году. Цена предшествующей модели составляла около €50.000 (4,5 млн. рублей).
Только пять чипов памяти - проблемы с выходом годных кристаллов
NVIDIA до сих пор не использует полные GA100 GPU для ускорителей A100 GPU. В полном варианте чип содержит восемь GPCs (GPU Processing Clusters), восемь TPCs (Texture Processing Clusters) на GPC, два SMs (Streaming Multiprocessors) на TPC или 16 SMs на GPC, что дает в сумме 128 SMs (8.192 ядер CUDA). Кроме того, для подключения памяти HBM2, а теперь HBM2e, предусмотрены шесть 1.024-битных интерфейсов. Теоретически на ускоритель можно было бы установить 48 или 96 Гбайт памяти HBM2e.
Однако все современные версии ускорителей A100 GPU содержат только семь GPCs и семь или восемь TPCs на GPCs, что дает всего 108 SMs (6.912 ядер CUDA). Также активны лишь пять из шести контроллеров памяти, поэтому мы получаем 40 или 80 Гбайт памяти.
NVIDIA производит GA100 GPU на мощностях TSMC по 7-нм технологии (7N). Когда NVIDIA был задан вопрос о полном варианте GPU, его отсутствие было объяснено недостаточной долей выхода годных кристаллов. То есть NVIDIA просто не может получить достаточно хороших кристаллов GA100 GPU, чтобы дать подобную опцию. Поэтому NVIDIA пока предлагает только GA100 GPU, где 10% функциональных блоков на чипе отключены, а также отключен один полный стек HBM2.
Для чипа с 54 млрд. транзисторами на площади 826 мм² это вполне понятно, поскольку он уже производится на пределе возможного. Возможно, NVIDIA даже вышла за эти пределы с GA100 GPU, поэтому и не может полностью раскрыть потенциал чипа.
Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).