В Китае прошла конференция GPU Technologies Conference, на которой NVIDIA раскрыла некоторые подробности новых продуктов. Чтобы и далее увеличивать вычислительную производительность чипов HPC, NVIDIA разрабатывает более быстрый интерконнект и сетевые технологии.
NVIDIA на данный момент недовольна тем, что на прием и отправку данных для вычислений требуются существенные аппаратные ресурсы и энергопотребление. В случае NVLink, например, работают те же блоки Serializer/Deserializer (SerDes). В случае NVLink 2.0 и коммутатора NVSwitch поддерживаются 18 подключений с комбинированной пропускной способностью 7,2 Тбит/с, но на данную задачу выделено 2 млрд. транзисторов. Со стороны GPU интерфейсы тоже необходимо добавлять, они потребляют ценное пространство на кристалле и энергию. Оптические подключения должны перенести эффективность на новый уровень, а также значительно увеличить скорость передачи.
Интересно, что Intel на Lab Day 2020 не так давно тоже рассказывала об оптических технологиях передачи для интерконнекта. Причина кроется в улучшениях технологий корпусировки - Integrated Silicon Photonics. Intel уже разработала полупроводниковые передатчики и приемники, которые могут работать с нужными длинами волн. Модуляторы и другие необходимые компоненты теперь получается интегрировать более компактно, Intel говорит о нескольких сотнях на корпусировку. Даже оптические усилители сегодня уже можно добавлять на полупроводниковые чипы. Intel видит себя на пороге внедрения Integrated Silicon Photonics в готовые решения.
NVIDIA также работает над технологиями оптической передачи NVLink. Если NVLink 2.0 потреблял порядка 8 пДж/б (пикоджоулей на бит) и работал на расстоянии до 0,3 м (без повторителей), оптический интерфейс будет потреблять в два раза меньше энергии (4 пДж/б), а расстояние получится увеличить до 20-100 м.
Концепт Optical DGX Station состоит из GPU на четырех вертикальных картах. Интерконнект между видеокартами как раз оптический. Видны оптические передатчики, которые обеспечивают свет необходимой длины волны. Лазерные передатчики (Laser Comb Source) обеспечивают от восьми до десяти длин волн для модуляции. Что позволяет передавать данные на скорости до 25 Гбит/с на волну (с помощью кольцевых резонаторов). В итоге пропускная способность составляет 200 Гбит/с, то есть начинается с технического предела NVLink 2.0. Кольцевые резонаторы используются и на принимающей стороне, они "отбирают" волну нужной длины на фотодетектор.
Чип может выглядеть так, как показано на иллюстрации выше. На подложке TSMC Interposer располагается GPU и память (например, GA100 GPU). Подложка TSMC Interposer располагается на еще одной подложке (Organic Package), которая содержит чип с интегрированной фотоникой Photonic Integrated Circuit (PIC). Чип Electrical Interface Chip (EIC) преобразует сигналы GPU через резонаторы в оптические волны. Коммутатор для оптического интерконнекта строится по подобному принципу, скорость коммутации будет намного выше.
Концепция инфраструктуры подразумевает как стойки GPU Tray, которые частично опираются на собственный интерконнект, так и стойки NVSwitch Tray. На иллюстрации показано голубое оптоволокно входящих данных от GPU Tray, желтое оптоволокно - исходящие данные, а серым показан интерконнект NVSwitch Tray.
Преимущества оптического интерконнекта хорошо известны: можно уменьшить энергопотребление и занимаемое пространство на чипе, а также существенно увеличить скорость передачи. Кроме того, оптическое подключение масштабируется намного лучше, чем классическое электромагнитное, где приходится прибегать к сложным схемам модуляции. Вместо 8x 25 Гбит/с, подобное оптоволокно может передавать данные на скорости 32x 25 Гбит/с, то есть в четыре раза больше.
Пока что NVIDIA не объявила о конкретных планах реализации технологии co-packaged photonics.
Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).