Samsung и SK Hynix начали тестовое производство памяти HBM2 примерно два года назад. С лета 2017 началось массовое производство, NVIDIA устанавливает память HBM2 на графические ускорители Tesla P100, Quadro GP100, Tesla V100 и Titan V. В потребительском сегменте пока присутствует только AMD с видеокартами Radeon RX Vega 56 и 64.
Несколько недель назад Samsung анонсировала второе поколение памяти HBM2 под названием Aquabolt. Корейская компания обещает пропускную способность 2,4 Гбит/с на контакт при прежнем энергопотреблении. В результате для одного чипа на 8 Гбайт с 1.024-битным интерфейсом можно ожидать пропускную способность 307 Гбайт/с. Если верить Samsung, у чипов памяти был улучшен дизайн SV (Through Silicon Via's), также используются специальные вставки Thermal Bumps для улучшения отведения тепла.
Японские коллеги из PC Watch смогли более глубоко ознакомиться с изменениями во втором поколении памяти HBM2, используя в качестве примера память SK Hynix. Память HBM2 разрабатывалась с максимальной пропускной способностью 2 Гбит/с на контакт, что дает для чипа 256 Гбайт/с. В конфигурации с четырьмя 4-слойными (4Hi) чипами мы должны получить пропускную способность 1 Тбайт/с при емкости 4 Гбайт на чип HBM2. Максимальная емкость с 8 слоями (8Hi) на чип составляет 32 Гбайт.
Но, как показала практика, цели остались недостигнутыми. У современных продуктов пропускная способность так и не увеличилась до 1 Тбайт/с. Например, у NVIDIA Tesla V100 мы получаем 720 Гбайт/с, в случае AMD Radeon Vega - 484 Гбайт/с, у NVIDIA Titan V - 652,8 Гбайт/с. NVIDIA не дает подробностей об ускорителе Tesla P100 с памятью HBM2, но компания явно разочарована тем, что поставленные цели не были достигнуты. Для Samsung и SK Hynix первое поколение HBM2 стало компромиссом между емкостью и пропускной способностью памяти. По этой причине Samsung увеличила пропускную способность памяти Aquabolt на контакт до 2,4 Гбит/с, хотя изначально планировалось 2 Гбит/с.
Со вторым поколением HBM2 Samsung и SK Hynix внесли фундаментальные изменения в дизайн. Они касаются топологии подключений TSVs в стеках DRAM к кристаллу логики. Мы уже опубликовали снимки кристаллов GPU Vega 10, на которых хорошо видны слои памяти HBM2, в том числе кристаллы DRAM и логики.
В первом поколении HBM2 верхние слои подключались по цепочке через кристаллы ниже. Прямого соединения между верхними слоями и кристаллом логики не было. В случае памяти HBM2 второго поколения теперь добавляются прямые соединения всех слоев с кристаллом логики. Samsung как раз подразумевает то же самое с улучшенным дизайном SV памяти Aquabolt HBM2. Для увеличения пропускной способности раньше каждый слой DRAM подключался по четырем каналам, для двух слоев мы получали восемь каналов. Что в случае четырех-восьми стеков добавляло нижний и верхний ранги.
Но в случае второго поколения HBM2 от SK используются только два канала на слой DRAM. Вероятно, Samsung тоже предлагала варианты HBM2 первого поколения с двумя или четырьмя каналами. Из-за меньшего числа каналов на слой DRAM теперь можно устанавливать прямые подключения со слоями и кристаллом логики. Подключение по цепочке уже не требуется.
Но это также означает, что максимальную пропускную способность в случае HBM2 можно получать при числе слоев DRAM четыре и больше. Интерфейс памяти шириной в 1.024 бита можно набрать подключением двух слоев DRAM 4x128 бит, по 512 бит каждый. В случае двух каналов 8x128 бит или 1.024 бит можно получить только от четырех стеков.
Изменение в конфигурации каналов показывает направление движения рынка. Цель первого поколения HBM2 заключалась в обеспечении максимальной пропускной способности - пусть даже эта цель достигалась не всегда. В результате производителям GPU пришлось мириться с некоторыми ограничениями по емкости. В случае второго поколения HBM2 данный компромисс сохраняется только для вариантов с двумя слоями; в случае 4Hi и 8Hi на компромисс по пропускной способности и емкости идти не придется.
Samsung и SK Hynix планируют начать массовое производство второго поколения HBM2 в ближайшее время, если уже не начали. Пока не совсем понятно, когда партнеры получат первые партии новой памяти. Кроме AMD и NVIDIA на рынке есть и другие производители ускорителей, использующих память HBM2. Здесь можно упомянуть Intel с ускорителями Stratix 10 MX, Google с Tensor Processing Unit, NEC с SX Aurora TSUBASA и многих других.