Tensordyne бросает вызов NVIDIA, Google и другим игрокам рынка ИИ-инференса

Компания Tensordyne намерена составить конкуренцию ведущим разработчикам ИИ-ускорителей с помощью новых форматов данных и специализированной архитектуры. Сегодня производительность и энергоэффективность инференса повышают за счет таких технологий, как разреженные вычисления (sparsity), а также компактных форматов FP8 и FP4. Более агрессивное сжатие данных позволяет ускорить вычисления без заметной потери точности моделей.

Tensordyne делает ставку на другой подход — логарифмическую арифметику. Компания стремится заменить ресурсоемкие операции умножения более простыми операциями сложения, что должно снизить вычислительные затраты, особенно в крупных масштабируемых нагрузках. Такой подход обещает повысить эффективность работы сложных ИИ-моделей и сократить потребление ресурсов.

Параллельно компания разрабатывала собственный процессор TDN-AIP, оснащенный 256 МБ SRAM и 144 ГБ памяти HBM3E. Такой объем памяти позволяет работать даже с крупными языковыми моделями.

Теперь чип успешно прошел этап tape-out, после чего Tensordyne раскрыла дополнительные подробности о своей аппаратной платформе и стоечных решениях, с которыми собирается выйти на рынок.

Учитывая смещение спроса от обучения моделей к их практическому использованию, Tensordyne сосредоточилась именно на инференсе. Особый акцент компания делает на нагрузках класса Agentic AI. В качестве ключевых метрик она предлагает использовать показатели «токены на стойку», «токены на ватт», «токены в секунду на пользователя» и «токены на доллар».

Переход индустрии от обучения моделей к их массовому применению изменил требования к аппаратному обеспечению. Современные модели остаются очень крупными, однако теперь важнее обеспечивать высокий поток токенов при минимальной задержке. От этого выигрывает не только главный игрок рынка — NVIDIA, но и такие компании, как Cerebras, SambaNova и Groq, которые заранее сделали ставку на инференс. Кроме того, интерес к традиционным CPU вновь растет, а безраздельное доминирование GPU уже не выглядит столь очевидным.

В основе всех решений Tensordyne лежит собственный процессор. Он изготовлен по техпроцессу TSMC N3P, содержит 138 млрд транзисторов и уже прошел tape-out. Первые образцы компания рассчитывает получить в своих лабораториях к концу года. После этапов запуска, тестирования и валидации коммерческие системы должны появиться в середине 2027 года. Поэтому все заявленные сегодня показатели предстоит сравнивать с конкурентами именно в реалиях 2027 года.

Tensordyne не планирует продавать отдельные ускорители. Компания намерена поставлять готовые решения уровня стойки. Первое поколение получило кодовое название Napier — в честь Джона Непера, создателя логарифмов.

По заявлениям разработчика, система TDN72, включающая 72 процессора Tensordyne, обеспечивает такую же производительность инференса, как стойка NVIDIA Grace Blackwell NVL72. При этом решение Tensordyne занимает лишь четверть пространства и потребляет примерно в пять раз меньше энергии.

Один модуль TDN72 объединяет 72 процессора TDN-AIP. Полноценная стойка состоит из четырех таких модулей и предлагает вычислительную производительность до 608 ПФЛОПС, 42 ТБ памяти HBM3E, 74 ГБ SRAM и еще 256 ТБ дополнительного хранилища. Межпроцессорный интерфейс TDN-AIP обеспечивает пропускную способность 460 ГБ/с в одном направлении, а суммарная пропускная способность внутренней сети стойки достигает 275 ТБ/с. При этом вся система обходится воздушным охлаждением и потребляет около 120 кВт.

В масштабах дата-центра Tensordyne приводит еще более впечатляющие цифры. По оценкам компании, для обработки 1 млрд токенов в секунду потребуется около 2.000 стоек GB300, которые суммарно будут потреблять 240 МВт электроэнергии. Для достижения той же производительности, по расчетам Tensordyne, достаточно 350 стоек TDN с энергопотреблением около 30 МВт.

Если же полностью заполнить доступную площадь собственными стойками TDN, то в одном дата-центре можно разместить до 2.000 стоек, способных генерировать до 6 млрд токенов в секунду. Даже в этом случае энергопотребление составит около 170 МВт, что остается ниже показателей альтернативного решения на базе GB300.

На основе собственных расчетов компания приводит следующее сравнение, используя в качестве модели DeepSeek-R1:

По данным компании, модуль с 72 процессорами TDN-AIP способен обрабатывать в 13 раз больше токенов в секунду на одну стойку и обеспечивает в 17 раз более высокую эффективность.

При инференсе крупных языковых моделей обработка запроса обычно делится на две фазы: Prefill и Decode. Каждая из них предъявляет к аппаратному обеспечению совершенно разные требования.

Prefill: обработка запроса

Фаза Prefill начинается сразу после того, как пользователь отправляет запрос. На этом этапе модель за один проход обрабатывает весь входной контекст — вопрос, документ или историю диалога.

Для каждого токена вычисляются активации нейронной сети и формируется так называемый KV-кэш (Key-Value Cache), который затем используется во время генерации ответа.

Поскольку в этой фазе модель может обрабатывать большое количество токенов одновременно, нагрузка хорошо распараллеливается. Поэтому производительность Prefill прежде всего зависит от вычислительной мощности системы. Особенно эффективно с такой задачей справляются современные GPU с большим количеством вычислительных блоков и памятью HBM.

Время выполнения Prefill напрямую зависит от длины контекста: чем больше токенов содержит запрос, тем больше вычислений необходимо выполнить.

Decode: генерация ответа

После завершения Prefill начинается этап Decode. Теперь модель генерирует ответ последовательно, токен за токеном.

На каждом шаге вычисляется только один новый токен. Затем он добавляется в контекст, обновляется KV-кэш и запускается генерация следующего токена. Процесс продолжается до формирования полного ответа.

В отличие от Prefill, фазу Decode практически невозможно эффективно распараллелить. Следующий токен нельзя вычислить, пока не получен предыдущий. Поэтому производительность здесь определяется не столько пиковым быстродействием, сколько задержкой на токен, эффективностью работы с памятью и скоростью доступа к данным.

Именно поэтому воспринимаемая скорость работы чат-бота, которую обычно измеряют в токенах в секунду, в первую очередь зависит от производительности Decode.

NVIDIA планирует использовать для Prefill ускорители Vera Rubin, а задачи Decode в перспективе передать специализированным процессорам Groq LPU. Пока это остается для компании определенной проблемой, поскольку современные системы на базе Grace Hopper и Grace Blackwell не обеспечивают настолько эффективное декодирование, как хотелось бы.

AWS выполняет фазу Prefill на собственных процессорах Trainium, а для Decode сотрудничает с Cerebras, поскольку эта архитектура лучше подходит для подобных нагрузок.

По словам Tensordyne, компания предвидела такой сдвиг рынка еще два года назад и изначально проектировала платформу TDN-AIP и стоечные системы на ее основе с расчетом как на задачи Prefill, так и Decode.

TDN-AIP: логарифмическая арифметика и большой объем SRAM

По словам Tensordyne, прирост производительности обеспечивает использование логарифмического формата данных LNS8. Такой подход позволяет отказаться от множества блоков умножения и матричных вычислителей, которые занимают значительную площадь кристалла в традиционных ИИ-ускорителях. Благодаря этому освобождается место для других функциональных блоков. Компания утверждает, что соотношение площади вычислительных блоков и SRAM в TDN-AIP составляет 1:1.

Кроме того, Tensordyne использует более совершенную реализацию SRAM от TSMC по сравнению с решениями NVIDIA. Это позволяет добиться более высокого соотношения объема SRAM к вычислительной производительности на уровне стойки.

Современные ИИ-модели требуют одновременно большого объема памяти и высокой пропускной способности. Число параметров в актуальных моделях уже достигает двух триллионов, поэтому для их размещения необходимы сотни гигабайт памяти. Современные ИИ-ускорители AMD и NVIDIA оснащаются максимум 288 и 256 ГБ памяти HBM соответственно, поэтому емкости одного ускорителя зачастую оказывается недостаточно.

По этой причине несколько ускорителей объединяют в единую систему для совместной обработки модели. Для этого AMD использует Infinity Fabric Link, а NVIDIA — NVLink. Эти высокоскоростные интерфейсы обеспечивают быстрый обмен данными между чипами. Однако передача данных между ускорителями неизбежно снижает общую эффективность системы.

По мнению Tensordyne, сочетание большого объема SRAM и логарифмической арифметики позволяет добиться тех показателей производительности и энергоэффективности, о которых компания заявляла ранее.

Аппаратная платформа Tensordyne поддерживает форматы данных NVFP4, FP8 и FP16, причем данные хранятся в памяти именно в этих форматах. Однако сами вычисления в 16 ядрах каждого чипа выполняются уже в формате LNS8.

Заявленный уровень энергопотребления TDN-AIP составляет 300 Вт. Подсистема памяти включает 144 ГБ HBM3E с пропускной способностью 4,7 ТБ/с. Для обмена данными между чипами заявлена задержка 1 мкс при пропускной способности канала 1 ТБ/с.

Впрочем, к сравнению теоретической производительности в различных форматах данных следует относиться осторожно. Производители часто приводят показатели для идеальных сценариев, например при работе с разреженными матрицами. Поэтому подобные цифры обычно корректнее сравнивать между поколениями ускорителей одного класса. Кроме того, производители нередко публикуют характеристики лишь для отдельных форматов и уровней точности.

Tensordyne Napier Compute Tray

Compute Tray станет минимальным аппаратным модулем в линейке Tensordyne. Восемь таких модулей объединяются в один Pod, а четыре Pod образуют полноценную стойку.

Каждый Compute Tray включает девять чипов TDN-AIP, поэтому объемы SRAM и HBM3E в рамках модуля суммируются. Энергопотребление одного модуля составляет 3 кВт. Помимо девяти TDN-AIP, Compute Tray оснащается 8 ТБ SSD-накопителей, а также двумя интерфейсами QSFP для внешней сети масштабирования (scale-out) с пропускной способностью 200 Гбит/с на каждый порт.

В качестве хост-процессора используется один из процессоров Xeon, который отвечает за работу среды выполнения и API телеметрии. Какую именно модель выбрала Tensordyne, компания не уточняет.

Восемь Compute Tray внутри Pod соединяются между собой через интерфейс Napier Link. Таким образом, все 72 чипа TDN-AIP в составе одного Pod обмениваются данными по единой высокоскоростной шине. Двунаправленная пропускная способность Napier Link достигает 1 ТБ/с. Для сравнения, современные решения AMD и NVIDIA обеспечивают до 900 ГБ/с через Infinity Fabric и NVLink соответственно, хотя оба производителя уже готовят следующее поколение интерфейсов с более высокой пропускной способностью.

При создании сети масштабирования и конструкций Pod и стоек Tensordyne сотрудничала с HPE и Juniper. В разработке чипа компания также привлекала Broadcom, которая участвовала в проектировании backend-части кристалла. Производство TDN-AIP, как уже упоминалось, выполняет TSMC.

Tensordyne SDK

Главный вопрос для любой новой аппаратной платформы — насколько сложно перенести на нее существующее программное обеспечение и ИИ-модели.

Для этого Tensordyne разработала собственный SDK, который способен импортировать модели из Hugging Face, включая уже дообученные версии. Также заявлена поддержка компиляции моделей, созданных в PyTorch и Triton.

Полноценного аналога режима совместимости с CUDA компания не предлагает. В качестве альтернативы Tensordyne утверждает, что перенос кода при необходимости сможет автоматизировать ИИ.

Много обещаний, но пока без реальных тестов

Еще первый анонс Tensordyne привлек внимание отрасли, а теперь компания раскрывает все больше подробностей. Однако вместе с ними растет и число громких обещаний.

Сейчас Tensordyne сравнивает свои решения с актуальным поколением ускорителей NVIDIA. При этом коммерческие системы компании должны появиться лишь в середине 2027 года. К тому моменту NVIDIA уже будет поставлять платформу Vera Rubin, а AMD выпустит ускорители серии Instinct MI450.

Поэтому сложно оценить, сохранится ли заявленное преимущество в производительности и энергоэффективности к моменту выхода продукта на рынок. Все опубликованные показатели основаны на моделировании и внутренних расчетах компании, а протестировать реальное оборудование пока невозможно.

По словам Tensordyne, разработка не ограничивается первым поколением TDN-AIP. Компания уже работает над несколькими последующими архитектурами, а выход на рынок в 2027 году рассматривает лишь как первый этап долгосрочной стратегии.

Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).