Sk hynix и Samsung давно работают над тем, чтобы объединить память и ускоритель ИИ. У Sk Hynix соответствующая технология называется AiM (Accelerator in Memory), у Samsung – Processing-in-Memory (PIM). Оба подхода не новые, но на нынешней HotChips 2023 они стали ближе к практической реализации.
Sk hynix, например, показала прототип GDDR6-AiM, который опирается на два FPGA. Каждый из FPGA работает с восемью чипами памяти. Емкость каждого чипа составляет 1 Гбайт, то есть в сумме установлено 16 Гбайт. Прототип будет использоваться для дальнейших тестов ускорителей (хотя сами чипы уже существуют), чтобы разработать необходимую программную инфраструктуру. Кроме того, пропускная способность 170 Гбайт/с сравнительно низкая.
Первое поколение AiM разработано с памятью GDDR6, но Sk hynix оценивает использование LPDDR5 и LPDDR5T.
Samsung продвинулась на шаг дальше
Похоже, что Samsung продвинулась на шаг дальше. У компании уже есть концепты, такие как MI100 с HBM-PIM, на основе которых разрабатываются новые решения. Samsung нацелилась увеличить производительность в три раза. Чтобы повысить эффективность, Samsung работает над LPDDR-PIM.
Но помимо концепта на основе Radeon Instinct MI100 с HBM-PIM, Samsung планирует представить расширение памяти с ускорителями ИИ через CXL. Samsung называет данное решение Processing-near-Memory (PNM).
В основе решения – CXL 2.0 Type 3, то есть CXL.io и CXL.mem, через данный интерфейс система связывается с картой расширения. На последней установлен CXL-контроллер, к нему подключена память со встроенными ускорителями. Вариантов два: контроллер тоже может содержать ускорители, которые имеют прямой доступ к памяти (CXL-PNM на контроллере CXL), либо представлять собой просто контроллер CXL и памяти, к которому подключена память PIM (CXL-PNM на памяти устройства).
Концепция Samsung CXL-PNM обещает дать пропускную способность памяти 1,1 Тбайт/с при емкости 512 Гбайт.
Ускорители ИИ на памяти пока существуют только в концептах. Чипы памяти уже выпущены, но производители все еще занимаются оптимизацией, о конкретных решениях говорить рано.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).