NVIDIA опубликовала результаты исследования, описывающего новый метод сжатия, разработанный специально для текстур и поверхностей материалов. В PDF описан метод под названием Neural Texture Compression (NTC), приведены преимущества и недостатки. Саму технологию NVIDIA собирается представить разработчикам на конференции Siggraph 2023 с 6 по 10 августа, которые затем смогут использовать ее в играх.
На данный момент для сжатия крупных текстур используется алгоритм Block Compression (BC). За минувшие годы было сделано немало попыток оптимизировать сжатие крупных текстур, поскольку они занимают весьма значительную часть игровых данных, так как для фотореализма качество должно быть максимально возможным. Помимо высокого уровня детализации и минимизации потерь из-за сжатия, важна скорость распаковки. По этой причине в GPU есть выделенные аппаратные блоки, умеющие работать с алгоритмом BC.
Хотя по своему определению текстуры относятся к 2D-элементам, в 3D-графике они содержат несколько слоев. Например, есть уровень для отражений и преломлений света. Слои выше описывают поглощение света и характер прохождения луча через толщину материала, а также другие параметры.
Для NTC NVIDIA добавила еще два уровня детализации к привычным 14 текселям, используя сжатие с низким битрейтом, но качество при этом обещает быть даже выше, чем в случае довольно мощных технологий сжатия, таких как AVIF и JPEG XL.
Ключевая идея – в совместном сжатии нескольких текстур материалов и карт mipmap, после чего они распаковываются через нейросеть. То есть при участии искусственного интеллекта.
Для распаковки применяются матричные операции и инференс в нейросеть. Здесь как раз пригодятся ядра Tensor, которые присутствуют в трех последних архитектурах GPU NVIDIA. Строго говоря, первое поколение ядер Tensor появилось еще в архитектуре Volta для дата-центров. Нынешнее четвертое поколение ядер Tensor в архитектуре Ada Lovelace работает еще более эффективно во многих отношениях.
В документе описываются различные технические аспекты Neural Texture Compression. Но геймерам важны результаты, которые технология обеспечивает по сравнению с предыдущими методами.
NVIDIA показала преимущества Neural Texture Compression на нескольких примерах. В частности, была показана брусчатка, текстуры после сжатия NTC занимали 3,6 Мбайт, что больше 3,33 Мбайт у текстур BC, но качество было намного выше, детализация просто великолепная.
На видеокарте GeForce RTX 4090 метод BC был просчитан за дополнительные 0,49 мс, а метод NTC – за 1,15 мс. Из-за нейросети добавляются новые вычислительные этапы, для которых требуется время. В конвейере рендеринга каждая миллисекунда имеет значение, поэтому на данный момент NVIDIA работает над улучшением производительности Neural Texture Compression. Дальнейшие оптимизации ускорят работу с нейросетью, в итоге NVIDIA обеспечит доступ к технологии через инструментарий разработчиков.
На видеоролике можно посмотреть работу Neural Texture Compression:
На GDC Epic показала новый инструментарий работы с текстурами и материалами в Unreal Engine 5, который тоже обещает дать большую детализацию в перспективе.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).
Мы рекомендуем ознакомиться с нашим руководством по выбору видеокарты для разных бюджетов.