> > > > Hot Chips 33: Esperanto ET-SoC-1 с рекордной эффективностью инференса

Hot Chips 33: Esperanto ET-SoC-1 с рекордной эффективностью инференса

Опубликовано:

esperantoМашинное обучение и сферу ИИ можно разделить на две области. Первая - тренировка сети глубокого обучения, когда происходит обработка больших массивов данных. Вторая - инференс, то есть запрос в сеть глубокого обучения для поиска решения. В сфере автономного вождения, например, в сеть глубокого обучения постоянно загружаются новые видео, чтобы улучшить распознавание в разных ситуациях. В итоге беспилотные автомобили будут получать более качественные решения через инференс.

Esperanto разработала ET-SoC-1, чип на основе архитектуры RISC-V, предназначенный для инференса. Универсальные ускорители, такие как NVIDIA A100 или Intel Ponte Vecchio, хорошо справляются и с тренировкой, и инференсом. Однако эффективность инференса у них не самая высокая. Здесь как раз ET-SoC-1 показывает себя с лучшей стороны.

ET-SoC-1 использует 1.088 эффективных 64-битных ядер RISC-V с внеочередным выполнением под названием ET-Minion, каждое содержит векторный/тензорный блок. Также есть и четыре высокопроизводительных ядра ET-Maxion, тоже 64-битных RISC-V с внеочередным выполнением.

За такт ET-Minion могут проводить операции с 512-битные целыми числами, 256-битными числами с плавающей запятой. Поддерживаются и новые4 тензорные инструкции, которые вычисляются до 512 тактов. Тактовая частота составляет от 500 МГц до 2 ГГц. Ядра ET-Minion организованы в соседства (Neighborhoods) с восемью ядрами каждое. В свою очередь, четыре соседства формируют Minion Shire, содержащие уже 32 ядра. В ET-SoC-1 таких Minion Shire насчитывается 34. Каждый Minion Shire оснащен общим кэшем 4 Мбайт SRAM в четырех банках. Причем его можно конфигурировать как частный кэш L2 или общий L3. 34 Minion Shires соединяются с помощью mesh-сети.

Внешнее подключение выполняется по восьми линиям PCIe 4.0. Есть и восемь контроллеров LPDDR4X, к которым может подключаться LPDDR4X-4267. Пропускная способность памяти составляет 137 Гбайт/с. Есть поддержка ECC.

Если верить Esperanto, идеальный уровень энергопотребления ET-SoC-1 составляет всего 20 Вт. В таких условиях чип работает наиболее эффективно. Esperanto намеренно выбрала данный уровень, поскольку он позволяет оптимально сочетать шесть чипов ET-SoC-1 на карте Glacier Point V2. В таком случае энергопотребление составляет 120 Вт, но самое важное здесь то, что карта позволяет получать в несколько раз более высокую производительность инференса по сравнению с ускорителями NVIDIA или процессорами x86 от Intel. Преимущество по эффективности оказывается еще выше. Но энергопотребление чипа можно менять от 10 до 60+ Вт.

Две карты Glacier Point V2 можно объединять в блок Yosemite v2 Sled, четыре Yosemite v2 Sled - в Yosemite v2 Cubby. Последние устанавливаются в стойку в количестве восьми штук. В результате стойка содержит 384 ET-SoC-1.

Чипы ET-SoC-1 производятся по 7-нм техпроцессу на мощностях TSMC. Они содержат 24 млрд. транзисторов на площади 570 мм², размер корпусировки составляет 45 x 45 мм. Чип имеет 2.494 контактов BGA, причем кристалл соединяется с корпусировкой более 30.000 шариковыми контактами.

Esperanto пока еще тестирует ET-SoC-1. Но первые чипы уже произведены.

Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).