В ноябре на конференции Supercomputing и в июне на International Supercomputing Conference регулярно обновляется список суперкомпьютеров Top500. Что и произошло вчера, на первом дне конференции ISC19 в немецком Франкфурте. Впрочем, по разговорам с производителями было легко почувствовать, что список Top500 постепенно теряет свое значение, и тому несколько причин. В дизайне многих суперкомпьютеров произошли изменения, что затронуло производителей аппаратных и программных компонентов.
Мы поговорили с Патрисией Дамкрогер (Patricia A. Damkroger) вице-президентом Data Center Group в Intel. Если верить Дамкрогер, системам HPC сегодня нужна еще большая гибкость, чем раньше. Одна из причин - потенциальных сценариев использования суперкомпьютеров сегодня уже довольно много. Раньше основными покупателями были правительственные учреждения, и основной сферой могла быть, например, симуляция атомного взрыва. Между тем примерно 50% современных суперкомпьютеров построены на частные бюджеты или работают в частных компаниях.
Конечно, самые быстрые суперкомпьютеры по-прежнему тесно связаны с государством, но появление большого числа суперкомпьютеров на пограничной планке Top 10 явно показывает, что времена меняются. Суперкомпьютер Pangea III от Total с производительностью 19,8 PFLOPS занимает 11-е место. Основной сферой его использования является построение сейсмических карт, и Pangea III можно назвать самой крупной в мире промышленной системой HPC.
Однако список Top500 больше не отражает реальность сегмента суперкомпьютера. Amazon, Microsoft, NVIDIA, Apple, Beidu, Tencent и многие другие компании уже долгое время поддерживают крупные серверные фермы, которые существенно быстрее по производительности, чем можно было бы подумать по публичному рейтингу. У Amazon работает кластер EC2 C5 Instance Cluster us-east-1a, он есть в списке Top500. В состав кластера входят 2.304 процессора Xeon Platinum 8124M с 18 ядрами каждый, облако Amazon достигает производительности 1,93 PFLOPS и занимает 136 место.
Впрочем, частным компаниям часто не имеет смысла публично раскрывать производительность своих систем таким образом. Суперкомпьютер необходимо полностью выключать для теста, после чего запускать пакет High Performance Linpack (HPL) со всеми оптимизациями. Понятно, что когда суперкомпьютер не работает, то и прибыль он не приносит.
Отходим от HPL, переходим на HPL-AI
Но есть и другие аргументы в пользу более дифференцированной оценки производительности подобных систем. Например, системы в списке Top500 ранжированы по рейтингу High Performance Linpack (HPL). Он, в свою очередь, опирается на расчеты с плавающей запятой с точностью 64 бита (FP64). Но мы как раз подошли к тому моменту, когда все меньше и меньше приложений используют FP64.
Поэтому Intel решила предложить другой способ оценки производительности. Конечно, в нем заинтересована и сама Intel, поскольку собственное "железо" компании все больше ориентируется в сторону вычислений INT8 (вспомним DL Boost или VNNI) или BFloat16.
NVIDIA тоже относится к сторонникам поиска новой методики тестов. На данный момент она называется HPL-AI, но подробности неизвестны. Конечно, NVIDIA постарается сделать так, чтобы суперкомпьютеры с компонентами компании были на первых местах. Тот же Summit из Окриджской национальной лаборатории в тесте HPL-AI дает 445 PFLOPS, а производительность HPL составляет 148,6 PFLOPS - мы наблюдаем трехкратный прирост.
Документация, описывающая HPL-AI, была опубликована в конце 2018. Вместо вычислений FP64, здесь в фокусе вычисления FP16. Вычисления INT8 и INT16, а также BFloat16 востребованы для баз данных, опирающихся на целые числа или специальные числа с плавающей запятой. И таких сценариев будет все больше. Так что и оценка производительности суперкомпьютеров должна быть более комплексной.