> > > > GTC20: NVIDIA пояснила подробности DLSS 2.0

GTC20: NVIDIA пояснила подробности DLSS 2.0

Опубликовано:

dlss20Несколько дней назад NVIDIA представила DLSS 2.0. В версии 2.0 технология Deep Learning Super Sampling существенно повысила визуальное качество картинки. Именно такой мы бы хотели видеть DLSS с самого начала. NVIDIA пересмотрела технологию "с нуля", поэтому поддержка новой версии DLSS 2.0 доступна только в играх, которые под нее разрабатывались. Игры с поддержкой старой версии DLSS с новой DLSS 2.0 несовместимы.

Сначала мы опубликовали теоретический обзор DLSS 2.0, потом провели практические тесты. В рамках GPU Technology Conference NVIDIA теперь рассказала о технических подробностях реализации DLSS 2.0. Улучшение качества картинки стало возможным благодаря искусственному интеллекту, который обеспечивает до 75% пикселей программно, а не аппаратно. Звучит необычно, поэтому многие пользователи воспринимают DLSS 2.0 скептически.

С новым стандартом DLSS 2.0 NVIDIA на самом деле облегчила себе задачу, поскольку алгоритм и сеть глубокого обучения больше не требуется вручную адаптировать под ту или иную игру. DLSS 2.0 находится под постоянной доработкой, новые игры можно добавлять в сеть глубокого обучения в любое время.

NVIDIA привела сравнение качества картинки между родным разрешением, DLSS 1.0 и DLSS 2.0, причем с различным уровнем масштабирования.

Одним из самых важных аспектов DLSS 2.0 является сохранение качества картинки не ниже родного разрешения, второй аспект - производительность, хотя он акцентировался и в предыдущих реализациях. Алгоритму требуется порядка 1,5 мс для воссоздания кадра 4K на GeForce RTX 2080 Ti. Данные 1,5 мс являются задержкой, добавляемой DLSS. То есть недостатком технологии, по сути.

Однако DLSS 2.0 снижает время, которое требуется на рендеринг кадра, обеспечивая большую производительность fps. Если мы возьмем для примера уровень 60 fps без DLSS и увеличим скорость до 100 fps после активации DLSS, то расчет кадра без DLSS займет порядка 16 мс, а с DLSS - около 10 мс. Включая 1,5 мс на реконструкцию кадра. Задержка 1,5 мс всегда одинакова для разрешения 4K.

NVIDIA привела временные затраты на реконструкцию изображения на разных видеокартах с разным разрешением. В любом случае, задержка не превышает 2,5 мс. Что является малой частью общего времени рендеринга кадра.

Мы уже оценили производительность DLSS 2.0 в нескольких играх (Control, Mechwarrior 5, Deliver us the Moon и Wolfenstein: Youngblood).

Презентация NVIDIA была посвящена тому, чтобы разъяснить то, как DLSS 2.0 реконструирует кадр. DLSS в нынешнем виде не получилось бы сделать простым масштабированием даже с помощью искусственного интеллекта или другими методами (например, бикубическая интерполяция). Алгоритм под названием ESRGAN уже дает первые улучшения, но результат все равно не идеальный.

NVIDIA привела несколько сравнений. Для отдельных кадров алгоритм работает еще приемлемо, но из-за большого числа изменений между кадрами и отсутствия временной стабильной результат будет хуже. По этой причине DLSS 2.0 использует Temporal Feedback - своего рода временную обратную отдачу. В результате использования предыдущих результатов получается существенно улучшить качество картинки. Для обычной DLSS особые проблемы вызывают небольшие движущиеся объекты. И временная отдача должна существенно улучшить качество их рендеринга.

Большая часть лекции посвящена разным методам интерполяции, Multi-Frame Super-Resolution, Spatial-Temporal Super Sampling и Clamping, что уменьшает мерцание.

Для разработчиков интеграция DLSS 2.0 должна быть максимально простой. Они получат доступ к NGX API через SDK. При этом им не нужно думать о природе расчетов, семплах низкого разрешения, векторах движения и других входных параметрах DLSS. До этапа пост-обработки разработчик или движок получат кадр для дополнительных процессов: размывания движения, Bloom, Tone Mapping и т.д.

Целиком лекцию можно посмотреть на видео:

Мы рекомендуем ознакомиться с нашим руководством по выбору видеокарты для разных бюджетов.