В ноябре прошлого года Intel заявила о своих амбициях по выпуску специального аппаратного обеспечения для тренировки нейронных сетей. Здесь, опять же, следует напомнить разницу между тренировкой подобной сети и дальнейшим обращением в сеть для выборки данных (inferencing). Оба процесса накладывают разные требования к аппаратному обеспечению. NVIDIA, например, для тренировки использует Tesla P100, а для выборки - Tesla P4 и P40.
Intel тоже понимает отличия в аппаратных требованиях для разных сценариев. По этой причине за последние годы Intel купила несколько компаний, чтобы набрать необходимую компетенцию и опыт. Конечно, тренировка и выборка могут выполняться на процессорах Xeon или ускорителях Knights Landing, но если использовать аппаратные ресурсы, оптимизированные под определенные задачи, то можно существенно сократить время вычислений.
Для выборки Intel использовала чипы FPGA от Arria. Первые образцы чипов уже поставлены, в этом году они должны быть доступны для всех клиентов. На мероприятии AI в Мюнхене Intel поделилась новыми деталями об ускорителе Lake Crest. Наши коллеги с сайта Golem.de присутствовали на мероприятии, поэтому получили информацию из первых рук.
Быстрый интерконнект и HBM2
Платформа Lake Crest ориентирована на быстрый обмен данными. Между двенадцатью вычислительными кластерами Lake Crest проложен двунаправленный интерконнект с пропускной способностью 100 Гбит/с. В общей сложности пропускная способность составляет 1,2 Тбит/с. Важность скоростного интерконнекта неоднократно подчеркивалась, например, AMD, которая разработала интерконнект Infinity Fabric в качестве основы для архитектур Zen и Vega. Но пока неизвестно, насколько быстро работают компоненты Infinity Fabric. AMD указывает лишь то, что пропускной способности хватает для памяти HBM2 со скоростью 512 Гбайт/с.
Еще один важный аспект – подключение памяти. Intel использует современный стандарт HBM2. Четыре стека памяти имеют емкость 8 Гбайт, на каждый чип пропускная способность составляет 256 Гбайт/с. В целом, Lake Crest получает 32 Гбайт памяти HBM2 с пропускной способностью 1 Тбайт/с. Память вместе с вычислительными ядрами располагается на единой подложке.
Вычислительные кластеры
Второй важный компонент подобного ускорителя – вычислительный блок. Intel называет свои блок вычислительными кластерами, но не уточняет их возможностей. Вычислительные кластеры разделены на несколько вычислительных ядер. Но конкретное количество вычислительных ядер Lake Crest Intel не указывает. Intel больше не говорит об операциях с плавающей запятой Floating Point Operations (FLOPS), предпочитая использовать термин Flexpoint Operations. В случае NVIDIA важную роль в вычислительной производительности играют операции INT8. В случае Intel вряд ли может быть иначе.
Lake Crest – специализированная платформа, ориентированная на определенные приложения. А именно на тренировку сетей глубокого обучения и нейронных сетей, чтобы получить максимальный прирост вычислительной производительности в сценариях тренировки. NVIDIA предлагает для данного сценария ускорители Tesla P100, AMD - Radeon Instinct MI25 на GPU Vega, а Google разработала TPU на собственных чипах. В любом случае, партнеры Intel получат образцы Lake Crest уже в этом году.