В предыдущем рейтинге суперкомпьютеров Top500 от ноября 2021 систем класса экзаскейла не было, но сегодня все изменится: Министерство экономики США запустило в Окриджском вычислительном центре суперкомпьютер Frontier. Он обеспечивает вычислительную производительность linepack (двойная точность - FP64) на уровне 1,1 EFLOPS (ExaFLOPS). Конечно, здесь не все просто, поскольку системы класса экзаскейла существовали и в прошлом году. Но они работали в Китае, поэтому официально в списке Top500 не фигурировали.
Frontier стал первым официальным суперкомпьютером на процессорах EPYC (Milan, 64 ядра) от AMD и ускорителях Instinct MI250X, тоже от AMD. В общей сложности Frontier состоит из 74 стоек (Cray EX), поставленных HPE. Они содержат 9.472 вычислительных узла, каждый с процессором EPYC и четырьмя GPU. Система хранения емкостью 700 Пбайт подключена с пропускной способностью 5 Тбайт/с. Вычислительные узлы подключаются друг к другу с помощью интерконнекта Slingshot 11. Общая длина кабелей составляет 145 км.
Таким образом, Frontier использует 9.472 процессора и 37.888 ускорителя Instinct MI250X, чтобы обеспечить вычислительную производительность 1,1 ExaFLOPS. Она была измерена с помощью бенчмарка Linpack HPL. Однако GPU-ускорители способны на большее. При идеальном масштабировании они могут дать 1,8 ExaFLOPS. Но на практике получить идеальное масштабирование на тысячах вычислительных узлов проблематично. Поэтому система работает ниже теоретического предела производительности. Кроме того, из соображений эффективности некоторые компоненты работают на сниженных тактовых частотах. В результате Frontier также занимает лидирующее положение в рейтинге Green500 с уровнем 52,23 GFLOPS/Вт. Предыдущий лидер обеспечивал лишь 39,38 GFLOPS/Вт. Frontier показывает довольно хороший уровень масштабирования 83%, но и здесь видно, что вычислительную производительность отдельных компонентов нельзя просто складывать.
Frontier вышел в лидеры не только по вычислениям с двойной точностью, которые важны для научных задач, а также по эффективности энергопотребления, но и в тестах HPL AI, где требуется меньшая точность для вычислений искусственного интеллекта. Здесь суперкомпьютер показал 6,88 ExaFLOPS. Предыдущий лидер Fugaku от японской RIKEN дал всего 2 ExaFLOPS. Для сравнения, суперкомпьютер AI Research SuperCluster (RSC) от Meta, родительской компании Facebook, показывает порядка 5 ExaFLOPS на 16.000 A100 GPU от NVIDIA. Собственный суперкомпьютер NVIDIA Selene обеспечивает вычислительную производительность 2,8 ExaFLOPS в расчетах ИИ. В 2023 году суперкомпьютер ALPS в Швейцарском национальном вычислительном центре обещает дать до 20 ExaFLOPS. Он станет одной из первых систем на новых суперчипах Grace и Grace Hopper.
Позвольте дать некоторые подробности Frontier. Энергопотребление системы составляет 21,1 МВт. Если добавить инфраструктуру, в том числе системы охлаждения, то был заложен уровень 29 МВт. Хотя у оператора OLCF есть некоторый запас мощности и пространства, чтобы суперкомпьютер можно было расширять в дальнейшем. После запуска теста Linpack энергопотребление увеличивается на 15 МВт от уровня бездействия, который не разглашается. Подобную мощность потребляет небольшой город.
OLCF и HPE были впечатлены возможностями аппаратных компонентов. AMD сделала важный шаг вперед, что мы еще увидим по другим суперкомпьютерам, которые войдут в список Top500. Конечно, с Frontier произошло немало задержек, суперкомпьютер планировалось запустить намного раньше. Но все препятствия остались позади.
HPE, поставщик суперкомпьютера, гордится реализацией стоек с водяным охлаждением. В них 100% компонентов охлаждается жидкостью. Что как раз и привело к улучшению эффективности Frontier. Кроме того, суперкомпьютер Frontier характеризуется сниженным уровнем шума, хотя этот фактор не так важен для серверного сегмента.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).