Для приложений искусственного интеллекта важно, чтобы память располагалась как можно ближе к процессору. Французская компания UPMEM подумала: "Почему бы не установить процессор непосредственно на память?". И на конференции Hotchips как раз были поставлены планки DDR4 с установленным процессором DPU (DRAM Processing Unit).
Причем UPMEM интегрирует DPU непосредственно в чипы памяти DRAM. На этапе производства памяти по 20-нм техпроцессу DPU встраивается в кристалл, занимая 2-3 металлических слоя. В 4-Гбит чипы памяти DDR4-2400 на данный момент удается встроить восемь DPU. Непосредственно ко всей памяти DPU доступ не получают, только к области 64 Мбайт. UPMEM планирует устанавливать 16 чипов на 4 Гбит на слой DIMM, так что для 8-Гбайт DIMM мы получаем 128 подобных DPU.
Впрочем, цель компании заключается в разработке 128-Гбайт планок, которые будут содержать 2.048 DPU. Каждый DPU имеет пропускную способность памяти 1 Гбайт/с к своей эксклюзивной области DRAM 64 Мбайт. В случае 2.048 DPU UPMEM указывает суммарную пропускную способность 2 Тбайт/с.
DPU работают на тактовых частотах 500 МГц. Конечно, энергопотребление чипов памяти и планок памяти DIMM при этом увеличивается. Для планки DIMM UPMEM указывает энергопотребление около 20 Вт. Напомним, что у модулей памяти Intel DC Optane Persistent Memory энергопотребление может составлять до 18 Вт, но его можно настроить на намного меньший уровень. UPMEM тоже планирует реализовать конфигурируемое энергопотребление.
Собственно, без такой функции не обойтись. С одной стороны, материнская плата должна обеспечивать достаточно дополнительного питания на слот DIMM. С другой стороны, система охлаждения должна справляться с выделяемым теплом.
Доступ к DPU возможен без дополнительных аппаратных модификаций. Контроллеров памяти современных процессоров вполне достаточно. Но без обновления BIOS не обойтись. Затем через API обеспечивается доступ к DPU. Вычислительную производительность UPMEM пока не называет. Но для некоторых сценариев вместо сервера ценой $40.000 можно будет получить намного более дешевое решение.
Первые образцы UPMEM намерена поставлять в октябре. Уже доступна программная симуляция и поддержка Amazon AWS на основе симуляции DPU. Так что заинтересованные разработчики уже могут работать с платформой.