NVIDIA Streamline упрощает интеграцию технологий масштабирования в игры

В рамках конференции GDC на прошлой неделе NVIDIA представила Streamline, инструментарий с открытым исходным кодом, который упрощает разработчикам интеграцию различных технологий масштабирования в игры. Масштабирование – технология отнюдь не новая, она многие годы используется в движках и драйверах. Но с DLSS (Deep Learning Super Sampling) удалось значительно улучшить качество масштабирования благодаря искусственному интеллекту, AMD со своей стороны предложила FSR (FidelityFX Super Resolution).

Но геймерам не так просто разобраться в различных технологиях масштабирования, а также в их аппаратных требованиях. Одна только NVIDIA предлагает три технологии: DLSS, DLAA (Deep Learning Anti-Aliasing) и NIS (NVIDIA Image Scaling). AMD предлагает RSR (Radeon Super Resolution) в дополнение к FSR, но скоро выйдет улучшенная версия FSR 2.0, обещающая существенно улучшить качество масштабирования благодаря учету временного компонента.

Intel анонсировала доступность технологии XeSS (Xe Super Sampling) уже этим летом, так что перед нами еще один разработчик собственной технологии масштабирования.

Выбор появляется не только у геймеров, но и у разработчиков. Им придется выделять ресурсы, которых обычно всегда мало, на интеграцию технологий масштабирования. Если движок уже поддерживает простую интеграцию через плагин, то усилий потребуется меньше, но технологию все равно придется скрупулезно тестировать.

NVIDIA решила упростить интеграцию с помощью экосистемы Streamline. Под Streamline подразумевается инструментарий с открытым исходным кодом, который не зависит от производителя GPU. Streamline располагается между игрой/движком и API рендеринга, различные технологии интегрируются через плагины. Плагины NVIDIA поддерживают DLSS, DLAA и NIS, но также и алгоритм подавления шумов NVIDIA Real-time Denoiser (NRD). Intel уже добавила в Streamline плагин XeSS, так что разработчикам сегодня доступны плагины NVIDIA и Intel.

В репозитории Github есть вся необходимая информация и ресурсы, чтобы другие производители GPU смогли выпустить собственные плагины. Здесь, конечно, толстый намек AMD, которая могла бы добавить поддержку FSR, FSR 2.0 и RSR. Streamline предлагает через интерфейс все необходимые данные для работы различных алгоритмов масштабирования. В том числе векторы движения (для использования временной компоненты), информацию глубины и многое другое. Инструментарий Streamline на данный момент доступен в версии 1.0.1.

Streamline уже можно интегрировать в игры с API рендеринга DirectX 11 и DirectX 12. Поддержка Vulkan пока находится в состоянии беты. Для NVIDIA инструментарий Streamline, в первую очередь, является дополнительным средством поддержки DLSS и других проприетарных технологий. Для Intel открывается удобная возможность максимально широкой поддержки XeSS, поскольку игровых разработчиков очень сложно убеждать в интеграции дополнительных технологий от разных вендоров. Все производители GPU давят на разработчиков, которые не могут разорваться, поскольку ресурсы ограничены.

Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).

Обзор технологий масштабирования

Технологий масштабирования на рынке уже довольно много, поэтому мы приведем краткий обзор:

*См. разъяснение ниже

В таблице есть пункты, которые необходимо дополнительно пояснить. Не так здесь все просто, как кажется на первый взгляд. Технологии DLSS и DLAA опираются на искусственный интеллект, то есть на сеть глубокого обучения, но только DLSS обеспечивает масштабирование. DLAA – это технология сглаживания границ полигонов, она работает в родном разрешении, а искусственный интеллект используется для повышения качества. DLSS и DLAA требуют наличия ядер Tensor, поэтому работают только на видеокартах GeForce RTX.

NIS представляет собой фильтр резкости, тоже не технологию масштабирования, причем к помощи искусственного интеллекта алгоритм не прибегает. Поэтому NIS будет работать на всех видеокартах NVIDIA через драйвер. Теоретически можно добавить поддержку NIS и на видеокартах AMD, но здесь необходима поддержка со стороны драйвера или игры. Вряд ли AMD на это пойдет, будучи конкурентом NVIDIA.

FSR – фильтр пространственного масштабирования без использования ИИ. Здесь аппаратных требований нет или они очень невысоки, поскольку AMD FSR работает на видеокартах линейки Radeon RX 500 и более свежих, а также на NVIDIA GPU, таких как GeForce GTX 10 и GeForce RTX 20, и новее. Игровые разработчики должны явно интегрировать поддержку FSR в игру, после чего технологию смогут использовать геймеры на упомянутых видеокартах.

FSR 2.0 получает улучшения из-за интеграции временного компонента. Но алгоритмы искусственного интеллекта не поддерживаются и здесь. Поэтому по аппаратным требованиям изменения вряд ли будут. AMD пока не привела конкретных спецификаций, но в анонсе упомянула рекомендованное "железо" для некоторых выходных разрешений, в том числе и видеокарты NVIDIA. RSR представляет собой встроенную в драйвер технологию масштабирования, которая использует только пространственные данные, здесь не требуются никакие дополнительные сведения от игры. В случае же FSR некоторые элементы, такие как графический интерфейс пользователя (HUD), не подвергаются масштабированию, поэтому они по-прежнему отображаются идеально. Насчет технологии RSR такого уже не скажешь.

XeSS тоже использует пространственные и временные данные. Здесь добавляется искусственный интеллект, соответствующие вычисления Intel будет ускорять на блоках XMX в составе видеокарт Arc. Если же используются видеокарты не-Intel, то применяется ускорение DP4a на основе вычислений INT8. Таким образом, XeSS будет работать и на современных GPU AMD и NVIDIA. Но на блоках XMX технология XeSS будет просчитываться все же быстрее, чем на продуктах конкурентов.

Мы надеемся, наш краткий экскурс в технологии масштабирования поможет лучше в них разобраться. Каждая технология имеет свои преимущества и недостатки, в том числе по качеству картинки или производительности, но это уже тема другого исследования. Мы планируем провести его в будущем, когда все три технологии, а именно DLSS, FSR 2.0 и XeSS, будут доступны на одинаковом уровне, то есть "заматереют".