NVIDIA в 2014 году на конференции GPU Technology Conference представила фирменный интерфейс NVLink, позволяющий с высокой пропускной способностью соединить GPU с компонентами сервера, например процессорами. Поскольку скорость соединений в современных серверах очень важна, та же Intel разработала свою систему Omni Path. Все же интерфейс PCI Express в нынешней версии 3.0 дает только 32 Гбайт/с по 16 линиям, что может ограничивать производительность.
В начале лета NVIDIA представила GPU-ускорители Tesla P100, которые связываются через NVLink – причем это касается связи GPU друг с другом, а также с сопроцессором от IBM (Power8). Ускорители NVIDIA Tesla P100 были объявлены и с интерфейсом PCI Express, но обмен данными через NVLink выполняется намного быстрее
NVLink опирается на технологию High-Speed Signaling Interconnect (NVHS), разработанную NVIDIA. NVHS обеспечивает пропускную способность по линии до 20 Гбит/с, что стало возможным благодаря дифференциальному кодированию. Восемь таких линий формируют sub-link. Два sub-link формируют связь (link), подобные связи как раз используются между двумя GPU (GPU-to-GPU или GPU-to-CPU). Связь дает пропускную способность 40 Гбайт/с в двух направлениях, реальная пропускная способность соответствует 97% от теоретической. То есть избыточность передачи информации очень невелика.
У GPU GP100 используется четыре связи. Их можно комбинировать в так называемые gangs. В случае GPU GP100 мы получаем максимальную пропускную способность соединения до 160 Гбайт/с. Теоретически четыре связи или два gangs могут давать до 80 Гбайт/с. Конкретный тип структуры NVLink в сервере зависит от сценариев использования.
NVLink 2.0 увеличивает частоту сигнала, что приводит к увеличению пропускной способности. Информация появилась от IBM. Первый сервер с процессором Power9 ожидается в середине 2017. Скорость линий увеличится до 25 Гбит/с. Поскольку нынешние GPU GP100 опираются на четыре связи, мы получаем до 200 Гбайт/с в одном направлении и до 400 Гбайт/с в двух направлениях. Первое поколение NVLink ограничивалось 320 Гбайт/с. Так что речь идет об увеличении на 25%, что, на первый взгляд, немного. Для сравнения, Intel Omni-Path Host Fabric Interface (HFI) дает скорость до 100 Гбайт/с, но в будущем тоже запланирован существенный прирост.
На слайде IBM упоминает NVLink 2.0 вместе с процессором Power9 от IBM. Здесь также можно видеть GPU NVIDIA на архитектуре Volta. Ранее NVIDIA на GTC 2015 сообщала о своих планах представить Volta только в 2018 году. Между тем, ходят слухи, что NVIDIA удалось выпустить Volta на 16-нм техпроцессе FinFET, что позволит выпустить GPU уже в следующем году. И данная информация это только подтверждает.
Остается открытым вопрос о том, какие дальнейшие изменения появятся в NVLink 2.0. Вполне возможно, что GPU Volta будут поддерживать больше связей. В таком случае в полносвязной топологии могут участвовать больше CPU. Но подробностей пока нет. Конференция GTC 2017, которая будет проводиться 8-11 мая 2017, отлично подходит для представления архитектуры Volta и новых GPU ускорителей с поддержкой NVLink 2.0.