Мы посетили семинар в Хилсборо (Орегон, США), посвященный анонсу процессоров Intel Xeon Scalable 4-го поколения. Но также мы получили возможность познакомиться с другим интересным объектом. На площадке Intel в Хилсборо, а именно на участке Jones Farm, Intel построила кластер под названием Borealis. Он представляет собой тестовой окружение для суперкомпьютера Aurora.
Напомним, что суперкомпьютер Aurora станет первым в классе экзаскейла на компонентах Intel. Мало того, вычислительная производительность достигнет 2 ExaFLOPS. Впрочем, с Aurora получается не все гладко. Изначально суперкомпьютер планировался с ускорителями Xeon Phi, но он несколько раз откладывался. К счастью, в 2023 году суперкомпьютер должен быть запущен. Aurora (и кластер Borealis) оснащаются процессорами Xeon на дизайне Sapphire Rapids и GPU-ускорителями Ponte Vecchio.
Кроме кластера Borealis в Intel, был построен второй кластер Sunspot на идентичном дизайне. Он расположен в Аргоннской национальной лаборатории, разработчики используют его для тестов (on-site debugging).
Borealis состоит из 128 вычислительных blade-серверов, каждый содержит два процессора Xeon и четыре GPU-ускорителя. В общей сложности кластер насчитывает 256 процессоров и 512 GPU. Intel пока что использует стандартные процессоры Xeon без памяти HBM2e. Но как только процессоры Xeon Max будут доступны, кластер планируется перевести на них.
Каждый blade-сервер содержит 1 TB памяти DDR5-4400 (16x 16 GB) и четыре сетевые карты HPE Slingshot NIC с двумя портами каждая. Aurora, как и Borealis, используют интерфейс Slingshot 11 в топологии Dragonfly с пропускной способностью точка-точка 200 Гбит/с в кластере.
Также установлен кластер хранения данных с двумя системами Intel Distributed Asynchronous Object Storage (DAOS) емкостью 245 Гбайт каждая. В целом, Borealis использует 12 таких систем DAOS. Во втором кластере насчитывается 64 blade-сервера, на нем тестируются альтернативные конфигурации. Во время нашего визита несколько blade-серверы были открыты, они позволяют быстро протестировать процессоры или другие системные компоненты, прежде чем устанавливать серверы в стойку.
Энергопотребление кластера Borealis под полной нагрузкой составляет 768 кВт.
Точная конфигурация Aurora пока неизвестна. Официально говорится о более чем 10.000 узлов. Соответственно, Aurora крупнее Borealis и Sunspot в 100 раз. То есть суперкомпьютер будет использовать более 20.000 процессоров Xeon и 40.000 GPU-ускорителей.
Стойки управления и хранения данных уже собраны. Затем, когда процессоры Intel будут доступны, суперкомпьютер начнет оснащаться вычислительными blade-серверами. Точная дата запуска Aurora остается неизвестной.
Если присмотреться к blade-серверам, то сразу же обращаешь внимание на полное водяное охлаждение. Причем жидкость отводит тепло даже от модулей памяти DDR5 и NIC. Слева можно видеть шесть GPU-ускорителей, справа под черными водоблоками установлены процессоры. Правее с зелеными PCB установлены четыре Slingshot NIC.
Коммутаторы Cray, которые используются для Slingshot, тоже охлаждаются жидкостью. Из-за обилия водоблоков blade-серверы довольно тяжелые. Intel и Argonne Leadership Computing Facility, оператор суперкомпьютера Aurora, используют специальную тележку, которая поднимает blade-серверы и переводит в вертикальное положение для последующей установки в стойки.
Наше посещение кластера Borealis было очень интересным, хотя не все мы можем рассказать, и не всеми фотографиями поделиться. Будем надеяться, наши читатели получат общее впечатление о том, что здесь происходит.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).