Samsung представила новый тип памяти High Bandwidth Memory (HBM), который представляет собой не просто запоминающее устройство, но и содержит модуль вычислений на архитектуре Processing-in-Memory (PIM). Если верить Samsung, HBM впервые оснащается встроенными вычислительными способностями.
Пока точно неизвестно, как именно работает встроенный вычислительный модуль и какую производительность он обеспечивает. Samsung каких-либо результатов тестов не приводит. Но HBM-PIM ориентированы как на инференс с низкой точностью, так и на тренировку с высокой точностью. Преимущество встроенных вычислительных блоков заключается в высокой пропускной способности памяти и низких задержках.
Квангил Парк, старший вице-президент подразделения памяти, скаазал: "Our groundbreaking HBM-PIM is the industry’s first programmable PIM solution tailored for diverse AI-driven workloads such as HPC, training and inference. We plan to build upon this breakthrough by further collaborating with AI solution providers for even more advanced PIM-powered applications."
Чип HBM состоит из нескольких слоев. Логический слой является основанием, к нему подключается интерфейс памяти. Выше расположены до восьми слоев DRAM. Соединение между слоями обеспечивается TSV и микро-выступами. Samsung HBM-PIM содержат вычислительный движок ИИ в каждом банке памяти.
По сравнению с существующими решениями HBM2 Aquabolt, встроенный движок ИИ обеспечивает в два раза более высокую производительность при 70% меньшем энергопотреблении. Но не совсем понятно, что именно использовала Samsung для сравнения. Если верить Samsung, модули HBM-PIM будут совместимы с существующими аппаратными решениями.
Samsung планирует раскрыть подробности HBM-PIM на конференции International Solid-State Circuits Virtual Conference (ISSCC), которая будет проходить 22 февраля. Samsung уже работает с некоторым партнерами над внедрением. Валидация первых решений ожидается во второй половине 2021.
Обновление: новые подробности
Чуть раньше, чем ожидалось, появились новые подробности памяти HBM-PIM, хотя вопросы остаются. Наши коллеги Tom's Hardware взяли некоторые выдержки из презентации Samsung, которые показывают принцип работы HBM-PIM.
Для HBM-PIM Samsung использует буферный кристалл, четыре слоя памяти с вычислительными блоками, а также еще четыре слоя с классической памятью HBM. Слои FIMDRAM содержат 32 вычислительных ядра каждый, они работают на частоте 300 МГц. Каждое ядро способно выполнять операции FP16 с плавающей запятой. В результате вычислительная производительность чипа памяти с четырьмя слоями составляет 4 x 32 x 32 байт x 300 МГц = 1,2 TFLOPS.
Но модули памяти HBM PIM все же имеют меньшую емкость по сравнению с "чистыми" чипами HBM. Samsung указывает емкость 6 Гбайт, поскольку только четыре слоя из восьми полностью заняты памятью, а оставшиеся четыре слоя FIMDRAM наполовину состоят из памяти, наполовину из вычислительных ядер.
Наперекор ранее появившимся слухам, Samsung не будет выполнять распределение памяти в HBM-PIM на основе искусственного интеллекта, а обеспечит вычислительную производительность. Для сравнения: NVIDIA A100 GPU для FP16 дает производительность 78 TFLOPS. С ядрами Tensor Cores и Sparsity она может достигать 312 и 624 TFLOPS, соответственно. Поэтому HBM-PIM будет играть роль лишь для определенных сценариев. То есть использовать данную память только для вычислений вряд ли имеет смысл.
Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).