В мае прошлого года Intel анонсировала нейропроцессор Nervana NNP L-1000 Neural Network Processor (NNP) под кодовым названием Spring Crest, который должен выйти в 2019. На конференции Linley чиповый гигант раскрыл больше подробностей. Ранее было известно, что NNP L-1000 будет опираться на дизайн ASIC с 32 Гбайт памяти HBM2. Вычислительная производительность в определенных сферах будет намного превышать центральный процессор или ускорители GPU.
На конференции Linley Conference Девид Шор (David Schor) из Wikichips.org привел дополнительные сведения. Nervana NNP L-1000 состоит из четырех блоков (pod) по шесть вычислительных кластеров CC каждый, они могут выполнять все современные матричные вычисления с любыми типами данных. Каждый блок имеет свой контроллер памяти с подключенными 8 Гбайт HBM2. Локального кэша нет, но у кластеров есть сравнительно крупный объем SRAM 2 Мбайт. Подобный объем необходим, чтобы на кластерах можно было рассчитывать крупные матрицы 1k x 1k x 1k или даже 4k x 4k x 4k, которые требуют соответствующего пространства памяти.
Для связи между чипами используется интерконнект Inter-Chip Links (ICL) с двунаправленной пропускной способностью 100 Гбайт/с. Внутри каждого блока используются три двунаправленные шины, в результате данные из каждого кластера выходят в четырех направлениях. По сути, используется полносвязная топология (mesh). Для внешнего соединения группы чипов Intel планирует интерконнект с пропускной способностью 300 Гбайт/с с задержками 790 нс и ниже. Nervana NNP L-1000 можно сочетать в узлы с четырьмя чипами в каждом, после чего в стойки с двумя узлами. Подобный дизайн позволяет использовать восемь чипов на одной PCB. Для более крупных решений несколько стоек можно объединять, в результате можно собрать системы, включающие до 64 чипов.
Nervana NNP L-1000 производятся по 16-нм техпроцессу на TSMC
Intel не производит Nervana NNP L-1000 самостоятельно, опираясь на мощности TSMC. Сам чип довольно крупный - 741 мм², больше будет разве что NVIDIA GV100 с площадью 850 мм², который используется GPU-ускорителями Tesla V100. Тепловой пакет составляет 210 Вт, хотя NVIDIA увеличила TDP до 450 Вт в случае Tesla V100.
Nervana NNP L-1000 будут доступны в модулях OCP Accelerator Module (OAM). Intel также планирует устанавливать чипы на карты PCI Express.
Преимущества из-за более высокой эффективности и загрузки чипов
Производителям всегда нравится бравировать вычислительной производительностью. Но, как правило, мы получаем теоретические спецификации, которые имеют мало отношения к практике. Но вернемся к Intel. Весной 2018 Intel обещала обеспечить в случае Nervana NNP L-1000 производительность 36 TFLOPS. Для примера: NVIDIA Tesla V100 дает 120 TFLOPS по вычислениям INT8, которые наиболее важны для машинного обучения. Но Lake Crest обеспечивает 40 TFLOPS при нагрузке 96%, в то время как Tesla V100, в зависимости от приложения, нагружается лишь на 25%, что дает лишь 30 TFOPS.
Intel подтвердила данные результаты на Linley Conference, но также упомянула и другие результаты в случае операций GEMM (General Matrix to Matrix Multiplication). Nervana NNP L-1000 может достичь до 120 TFLOPS в теории, но на практике лучше рассчитывать на результат 85 TFLOPS, хотя и он быстрее продуктов конкурентов. Более высокая нагрузка вычислительных мощностей приводит к более высокой производительности, и в случае GPU-ускорителей всю теоретическую мощность задействовать не получается.
Nervana NNP L-1000 на данный момент тестируются в степпинге B, выход ускорителей планируется уже в этом году.
Nervana NNP I-1000 по 10 нм вместе с ядрами Ice Lake
Чипы Nervana NNP L-1000 ориентированы на тренировку сетей глубокого обучения, в случае же Nervana NNP I-1000 суть заключается в ускорении инференса, то есть обработки запросов в сеть глубокого обучения. Данные чипы под кодовым названием Spring Hill будут производиться по 10-нм техпроцессу, Intel планирует сочетать их с ядром Sunny Cove. Nervana NNP I-1000 тоже появятся ближе к концу года.