Страница 5: DLSS 3: NVIDIA генерирует полные кадры
С третьей версией DLSS NVIDIA представляет совершенно новый метод, который является логическим развитием Deep Learning Super Sampling (DLSS).
Вместо того чтобы просчитывать кадр в низком разрешении и затем масштабировать его до целевого разрешения (включая реконструкцию ИИ), DLSS 3 регенерирует полные кадры с помощью Optical Multi Frame Generation. Без аппаратного ускорения генерация полных кадров невозможна, здесь используются ядра Tensor и ускорители Optical Flow (OFA) в ядрах RT.
Для создания кадра необходимы следующие составляющие: текущий и предыдущий кадр, так называемое поле Optical Flow, создаваемое ускорителями в ядрах RT, и некоторые сведения от игрового движка, такие как векторы движения и информация глубины.
Если ускоритель Optical Flow отслеживает эффекты на пиксельном уровне, то на уровне геометрии DLSS 3 получает информацию о векторах движения (Motion Vectors) от игрового движка для точного отслеживания движения геометрии в сцене. На примере выше векторы движения показывают, как перемещается дорожное покрытие по отношению к мотоциклисту, но не учитывают его тень. Если создавать кадр на основе только векторов движения, то будут ошибки рендеринга, например, в виде некорректной тени. Поэтому необходим дополнительный анализ, который и выполняют ускорители Optical Flow.
Для каждого пикселя сеть DLSS Frame Generation на основе искусственного интеллекта определяет, как использовать информацию векторов движения игры, поля Optical Flow и выводимые игрой кадры для создания собственных кадров. Благодаря векторам движения игры и полю Optical Flow сеть Frame Generation может точно отслеживать движение объектов, восстанавливать геометрию и эффекты.
DLSS 3 – многослойная реализация DLSS. Сначала с помощью DLSS Super Resolution создается кадр в четверти от разрешения монитора (например, 1.920 x 1.080 вместо 3.840 x 2.160 пикселей). Второй кадр создается уже через DLSS Frame Generation. Для третьего кадра вновь используется DLSS Super Resolution, а для четвертого - DLSS Frame Generation. Таким образом, только 1/8 пикселей, которые будут выведены на дисплей, проходят непосредственно через классический рендеринг и потоковые процессоры.
DLSS 3 работает вместе с NVIDIA Reflex. GPU и CPU синхронизируются, чтобы обеспечить минимальные системные задержки. Таким образом, DLSS 3 обещает уменьшить задержки в два раза.
DLSS 3 также дает преимущество в играх, которые упираются в ограничения СPU, не способных выдавать высокую частоту кадров. В данном случае меняется классическая зависимость от CPU или GPU. В подобных ситуациях NVIDIA ожидает, как минимум, двукратный прирост частоты кадров, поскольку каждый второй кадр создает видеокарта.
DLSS 3 работает только на видеокартах GeForce RTX 40, поскольку зависит от ускорителей Optical Flow архитектуры Ada Lovelace. DLSS Super Resolution, с другой стороны, продолжит работать и на видеокартах GeForce RTX 30 и GeForce RTX 20. Технология Reflex поддерживается и на предыдущих поколениях видеокарт, NVIDIA здесь спускается вплоть до линейки GeForce GTX 900.
DLSS 3.5: Реконструкция лучей
В DLSS 3.5 NVIDIA делает еще один шаг и убирает фильтр подавления шумов, который часто снижал визуальное качество. В DLSS 3.5 отсутствующая информация или пиксели по-прежнему будут добавляться через искусственный интеллект. Без ИИ не обойтись, поскольку производительности самых быстрых видеокарт GeForce RTX (RTX 4090) все равно недостаточно, чтобы вывести все пиксели через трассировку лучей. Сама по себе технология DLSS использует рендеринг с меньшим разрешением, пикселей получается меньше, и отсутствующие пиксели раньше добавлялись с помощью фильтра подавления шумов.
Фильтры подавления шумов используют разные способы, чтобы устранить недостаток информации. Можно использовать информацию предыдущих кадров, а также интерполировать соседние пиксели. Но все эти способы необходимо вручную дорабатывать и оптимизировать, чтобы получить приемлемый результат по качеству картинки. Но даже в этом случае все равно достичь идеала невозможно.
NVIDIA приводит в качестве примеров временные артефакты, некорректное вычисление освещения и ухудшение качества картинки из-за отсутствия информации.
С новой версией DLSS 3.5 выполняется реконструкция лучей (Ray Reconstruction). Используются кадры 4K и лучи, рассчитанные с высокой частотой. Они позволяют реконструировать кадр из низкого разрешения. При этом учитываются векторы движения игры. Кадр высокого разрешения создается с помощью реконструкции лучей и их масштабирования до нужного разрешения, также используются временные данные предыдущих кадров. Разница с предыдущей реализацией в том, что эффекты трассировки лучей тоже частично рассчитываются с помощью ИИ, что позволяет выводить их с более высоким качеством.
Нейросеть NVIDIA уже натренирована на реконструкцию трассировки лучей для разных эффектов. Разработчикам не нужно больше оптимизировать фильтр подавления шумов – DLSS 3.5 все сделает автоматически.
NVIDIA показала улучшенный рендеринг на примере выше. Вместо потери тени под объектом DLSS 3.5 выводит ее корректно.
В отличие от Frame Generation, реконструкция трассировки лучей работает не только на видеокартах GeForce RTX 40, но и на всех моделях предыдущих поколений RTX. Но Frame Generation остается прерогативой поколения Ada Lovelace.
Cyberpunk 2077 Phantom Liberty и Alan Wake 2 - первые две игры, которые уже поддерживают DLSS 3.5. В 2024 году ожидается еще много игр.