Хотя мы уже публиковали предварительные новости о планах по NVLink Fusion, Silicon Photonics и Co-Packaged Optics, сама конференция Hot Chips 2025 официально открылась только вчера вечером. Все учебные сессии были посвящены ключевой теме — вызовам, с которыми сталкиваются масштабные стоечные (rack scale) системы.
Неважно, речь ли идёт о NVIDIA с её текущими стойками Oberon и будущими Kyper, об AMD с запланированными на 2026 год стойками Helios AI, или о кастомных решениях Google и крупного партнера NVIDIA — все производители ИИ-железа решают схожие задачи, связанные с преодолением множества технических барьеров.
Быстрые межсоединения должны позволять сотням ИИ-ускорителей работать над одной задачей — в первую очередь над обучением моделей. NVIDIA для этого применяет NVLink, который позволяет объединить до 72 ускорителей в одном домене. У AMD через Infinity Fabric напрямую соединяются максимум 8 ускорителей, а для масштабирования за пределы этого числа используются Ethernet или Ultra Ethernet.
С выходом серии Instinct MI400 AMD планирует перейти на Ultra Accelerator Link (UALink). Уже ходят слухи о системе MI450X IF128, ожидаемой во второй половине 2026 года. Индекс IF128 указывает на использование Infinity Fabric и одновременно обозначает число напрямую соединённых GPU. Такой кластер должен обеспечивать двунаправленную пропускную способность 1,8 ТБ/с. Конкурирующая система VR200 NVL144 также объединяет 72 GPU, но каждая сборка содержит по два чипа Rubin в одном корпусе.
По данным SemiAnalysis, AMD рассматривает несколько вариантов этой стойки: для каждой GPU можно будет использовать разное число сетевых карт Pensando 800GbE. В зависимости от конфигурации станет возможным раскрыть всю полосу пропускания в 1,8 ТБ/с между GPU.
Помимо максимальной версии MI450X IF128 (128 GPU), AMD предложит и одностоечный вариант — MI450X IF64 с 64 GPU. Для соединений внутри стойки, а также между двумя стойками в конфигурации IF128 будет использоваться технология Flat Copper с пассивными компонентами.
NVIDIA: GB200/300 NVL72 и адаптация крупного партнера с дизайном GB200-NVL36x2
NVIDIA представила своё новое стоечное решение GB200/GB300 NVL72, которое с энергопотреблением 120–150 кВт на стойку фактически выходит за все известные рамки архитектуры дата-центров. Плотность интеграции по части питания, сетевых соединений и охлаждения здесь колоссальная.
В эталонной конфигурации GB200/GB300-NVL72 одна стойка включает:
- 18 вычислительных модулей (Compute Trays) — в сумме 72 CPU Grace и 144 GPU Blackwell;
- 9 NVLink-коммутаторов;
- а также блоки питания и Ethernet/InfiniBand-коммутаторы, соединяющие стойку с остальной инфраструктурой дата-центра.
При этом NVIDIA оставляет партнёрам пространство для кастомизации. На Hot Chips компания показала открытую архитектуру MGX Compute-Tray, где предусмотрен разъём для гипермасштабируемых клиентов. Туда можно установить, например, собственное сетевое оборудование. Так, вместо стандартных четырёх карт ConnectX-7/8 AWS использует девять 200-GbE-карт: одна для фронтенда и восемь для бэкенда четырёх ускорителей GB200 в модуле. На данный момент AWS остаётся единственным гиперскейлером, который так модифицирует бэкенд-NIC.
Крупный партнер NVIDIA пошел другим путём и переработал стойки GB200/GB300-NVL72 так, чтобы их можно было установить в стандартных ЦОД компании. Основные вызовы при внедрении решений такого уровня — высокая плотность мощности, энергопитание и огромный вес. Полы большинства дата-центров не рассчитаны на такие нагрузки, а подведённые к стойке 120–150 кВт требуют столь же мощного отвода тепла.
В ответ партнер разработал собственный дизайн GB200-NVL36x2, рассчитанный на воздушные дата-центры с ограничением 20 кВт на стойку. Здесь вычислительная часть распределяется на две стойки, а ещё по две дополнительные стойки справа и слева используются для охлаждения. Эта система Air Assisted Liquid Cooling (AALC) позволяет внедрить 120-кВт-решение GB200-NVL72 даже в дата-центре, где на стойку выделяется только 20 кВт.
Партнер также изменил саму вычислительную конфигурацию: вместо схемы «1 CPU Grace на 2 GPU Blackwell» используется 1:1 — по одному Grace на каждую Blackwell. Это увеличивает доступный объём LPDDR-памяти, а значит, и общую ёмкость оперативного ресурса.
Google: 3D Torus и собственное водяное охлаждение
Google благодаря собственным TPU остаётся относительно независимым от доминирования NVIDIA на рынке ИИ. Весной 2025 года компания представила TPU Ironwood, предназначенные для инференса LLM, MoE и, в частности, для работы сервиса Google Gemini.
На Hot Chips Google показала, как в её дата-центрах организованы Ironwood Superpod и кластер Max-Scale. Один Superpod включает 9 216 чипов, собранных в ряды и стойки. Для оптических соединений между модулями и стойками применяется трёхмерная тороидальная топология (3D-Torus).
Отдельно Google подчеркнула свой приоритет в области водяного охлаждения: ещё с 2018 года компания внедряет собственные CDU (Cooling Distribution Units), что дало практическое преимущество в создании сложных систем охлаждения. Сегодня около 20 дата-центров Google уже работают с водяным охлаждением, при этом установлено более 1 ГВт охлаждающей инфраструктуры. Сейчас ведётся разработка пятого поколения CDU, которые должны уметь отводить до 1 МВт тепла с одной стойки.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).