Министерство энергетики США подписало контракты о создании двух новых суперкомпьютеров в США. Контракт был подписан IBM и NVIDIA, так что интерфейс NVLink может впервые воплотиться в реальность, поскольку обе компании являются основной поддержкой новой технологии связи между GPU и CPU. Первый компьютер под названием Summit будет поставлен в Окриджскую национальную лабораторию, второй под названием Sierra – в Ливерморскую национальную лабораторию. Впервые интерфейс NVLink был представлен на GTC 2014 в этом году. В октябре IBM объявила, что NVLink впервые будет использоваться в серверах в 2016 году.
Первое место среди самых быстрых суперкомпьютеров уже некоторое время занимает Tianhe-2, установленный в китайском Национальном суперкомпьютерном центре в Гуанчжоу. Конечно, у Министерства энергетики США уже есть суперкомпьютеры в Окриджской национальной лаборатории, однако Summit должен вывести её на первые места в списке Top 500. Сборка суперкомпьютеров Sierra и Summit начнётся в 2016 году, она будет закончена в 2017 году, поэтому технические спецификации пока неизвестны. Но можно смело предположить использование современных вычислительных карт Tesla и процессоров IBM. Summit обеспечит производительность между 150 и 300 петафлопов, а Sierra должен заменить IBM Blue Gene/Q в Ливерморской национальной лаборатории (LLNL), он нацеливается на производительность в 100 петафлопов. Для сравнения, упомянутый выше китайский Tianhe-2, номер один в списке суперкомпьютеров, даёт производительность 33,8 петафлопов.
Важность технологий интерконнекта, подобных NVLink, сложно переоценить, если взглянуть на количество процессоров и ускорителей. В Tianhe-2 используется 32.000 процессоров Intel Xeon E5-2692 12C на 2,2 ГГц. И 48.000 карт ускорения Xeon Phi 31S1P. Соединение данных компонентов в небольшие, а затем всё более увеличивающиеся по размеру узлы, является сложной задачей для разработчиков подобных суперкомпьютеров. Для систем, подобных Summit и Sierra, а также будущих суперкомпьютеров наверняка будет использоваться большее число процессоров и карт ускорения, так что вопрос связи/интерконнекта будет ещё более острым.
Интерконнекты на основе PCI Express становятся "узким местом". Пропускная способность обеспечивается на уровне около 16 Гбайт/с. Между памятью и процессором скорость обмена информацией достигает 60 Гбайт/с, а современные GPU с 512-битным интерфейсом обеспечивают пропускную способность более 300 Гбайт/с. Между стойками в подобных суперкомпьютерах используются Ethernet-адаптеры со скоростью 40 Гбит/с, которые обеспечивают её в двух направлениях, но на практике скорость оказывается меньше. Так что в узлах с множеством процессоров и ускорителей неизбежно возникают "узкие места".
Интерфейс NVIDIA NVLINK опирается на прямое подключение точка-точка. Каждое соединение NVLINK состоит из восьми линий. В Pascal изначально будет использоваться четыре соединения NVLINK. По информации NVIDIA, число соединений может меняться в зависимости от целевого рынка. Соединения NVLINK можно гибко комбинировать друг с другом, чтобы соответствовать требованиям сценариев использования. Здесь можно привести примеры простого соединения GPU-CPU, но также целой сети соединений GPU-CPU и GPU-GPU.
Но не только процессоры и ускорители в узлах выигрывают от прямого подключения, технология Unified Memory тоже начинает играть всё более важную роль, она выигрывает от быстрых интерконнектов.
В двух новых суперкомпьютерах в сотрудничестве с IBM технология будет доведена до практической реализации, рано или поздно она появится и в настольных ПК. Следующее поколение GPU Pascal уже будет поддерживать NVLink и PCI Express, но NVLink изначально будет поддерживаться только в серверах. В любом случае, пройдёт ещё некоторое время, прежде чем мы увидим в действии технологии Pascal и NVLink, в том числе в суперкомпьютерах Sierra и Summit.