В ближайший понедельник NVIDIA CEO откроет ежегодную конференцию GPU Technology Conference 2019 пленарным докладом. Весной 2017 года NVIDIA представила архитектуру Volta. Годом ранее были раскрыты первые подробности архитектуры Pascal. Судя по всему, NVIDIA использует GTC19, чтобы представить преемницу Volta.
Еще до официального анонса архитектуры Turing минувшим летом, ходили слухи о названии Ampere. Теперь мы знаем, что Turing была реализована на видеокартах GeForce и Quadro, однако архитектура не предназначается для сегмента HPC. В Turing просто недостаточно блоков FP64 для данной задачи. Поэтому здесь речь может как раз идти о преемнице Volta в сегменте HPC под названием Ampere.
Еще в ноябре 2017 года мы высказали предположение о двух параллельных стратегиях NVIDIA по развитию архитектур GPU. Так и получилось: архитектура Volta ориентирована на сегмент дата-центров, а архитектура Pascal уступила место упомянутой архитектуре Turing для видеокарт GeForce и Quadro. То есть NVIDIA в той или иной степени разделила категории продуктов и архитектуры. Впрочем, это не мешает некоторым технологиям мигрировать с сегмента HPC на потребительский рынок. Например, это касается ядер Tensor. Впервые они появились в архитектуре Volta, где ядра Tensor использовались для инференса в сети глубокого обучения. Затем NVIDIA стала использовать эти ядра в видеокартах GeForce RTX для сглаживания Deep Learning Super Sampling и подавления шумов на кадрах с трассировкой лучей.
Вопрос заключается в том, будет ли NVIDIA использовать ядра RT в архитектуре Ampere, которые ранее применялись для аппаратного ускорения расчетов Bounding Volume Hierarchy (BVH), необходимых в процессе трассировки лучей. Сможет ли NVIDIA найти применение ядрам RT в сфере HPC? На наш взгляд, пока такие сценарии маловероятны, поскольку какие-либо конкретные случаи поддержки в приложениях неизвестны. Но NVIDIA способна на сюрпризы.
Конечно, мы увидим в Ampere и ядра Tensor. Причем NVIDIA уже заявила о дальнейшем расширении ядер Tensor.
До сих пор ядра использовались для матричного умножения данных INT16 и INT8. В будущем NVIDIA наверняка будет поддерживать форматы данных INT4, INT2 или даже INT1. Пока сложно говорить о потенциальных сценариях использования, но NVIDIA наверняка проводит соответствующие исследования.
Кроме ядер Tensor, Ampere, как и положено архитектуре HPC, будет масштабно задействовать блоки FP64. Их реализация и соотношение с потоковыми процессорами будут зависеть от техпроцесса, по которому NVIDIA планирует выпускать чипы Ampere. Вполне логичным решением кажется 7-нм техпроцесс. NVIDIA выжала максимум из 16-нм мощностей TSMC до Volta, как раз с Volta переключившись на 12 нм. В результате раскладку Volta получилось перенести и на чипы Turing, которые тоже производятся по 12-нм техпроцессу.
Теперь AMD перешла на 7-нм производство Vega 20 GPU, вычислительные ускорители Radeon Instinct MI50 и MI60, а также видеокарты Radeon VII тоже используют 7-нм GPU. Все говорит в пользу того, что NVIDIA тоже пойдет на данный шаг. Вполне возможно, что переход на 7-нм техпроцесс пока коснется только HPC GPU. Здесь NVIDIA может оправдать увеличение затрат на производство чипа ориентацией на дата-центры. Наверняка пройдет какое-либо время, прежде чем мы получим 7-нм Turing GPU, тем более что NVIDIA пока не испытывает конкуренции на верхних сегментах рынка.
Если вы интересуетесь технологиями, то рекомендуем не пропустить пленарный доклад на GPU Technology Conference в ближайший понедельник. Здесь же мы раскрыли лишь некоторые идеи, которые могут быть озвучены.