Страница 3: DLSS 3: NVIDIA генерирует полные кадры

С технологией DLSS 3 NVIDIA представила полностью новый метод, который является логической эволюцией Deep Learning Super Sampling (DLSS).

Вместо рендеринга кадра в низком разрешении и дальнейшего масштабирования до разрешения дисплея (включая реконструкцию потерянных деталей через ИИ), DLSS 3 создает полные кадры через технологию Optical Multi Frame Generation. Конечно, здесь требуется аппаратное ускорение вычислений. Используются ядра Tensor и ускорители Optical Flow ядер RT.

Для создания кадра необходимы следующие составляющие: предыдущий кадр, так называемое поле Optical Flow, создаваемое ускорителями в ядрах RT, и некоторые сведения от игрового движка, такие как векторы движения и информация глубины.

Ускорители Optical Flow анализируют два последовательных кадра и создают из них поле Optical Flow. Поле Optical Flow содержит информацию о направлении и скорости движения пикселей при переходе с первого кадра на второй. Ускоритель Optical Flow захватывает информацию на пиксельном уровне, такую как частицы, отражения, тени и освещение, которая отсутствует в векторной информации игрового движка.

И если ускоритель Optical Flow отслеживает эффекты на пиксельном уровне, то на уровне геометрии DLSS 3 получает информацию о векторах движения (Motion Vectors) от игрового движка. На примере выше векторы движения показывают, как перемещается дорожное покрытие по отношению к мотоциклисту, но не учитывают его тень. Если создавать кадр на основе только векторов движения, то будут ошибки рендеринга, например, в виде некорректной тени. Поэтому необходим дополнительный анализ, который и выполняют ускорители Optical Flow.

Для каждого пикселя сеть DLSS Frame Generation на основе искусственного интеллекта определяет, как использовать информацию векторов движения игры, поля Optical Flow и выводимые игрой кадры. Благодаря векторам движения игры и полю Optical Flow сеть Frame Generation может точно отслеживать движение объектов, восстанавливать геометрию и эффекты.

DLSS 3 – многослойная реализация DLSS. Сначала с помощью DLSS Super Resolution создается кадр в четверти от разрешения монитора (например, 1.920 x 1.080 вместо 3.840 x 2.160 пикселей). Второй кадр создается уже через DLSS Frame Generation. Для третьего кадра вновь используется DLSS Super Resolution, а для четвертого - DLSS Frame Generation. Таким образом, только 1/8 пикселей, которые будут выведены на дисплей, проходят непосредственно через классический рендеринг и потоковые процессоры.

DLSS 3 будет работать вместе с NVIDIA Reflex. GPU и CPU синхронизируются, чтобы обеспечить минимальные системные задержки. Таким образом, DLSS 3 обещает уполовинить задержки в два раза.

DLSS 3 также дает преимущество в играх, которые упираются в ограничения СPU или GPU, не способных выдавать высокую частоту кадров. В данном случае меняется классическая зависимость от CPU или GPU. В подобных ситуациях NVIDIA ожидает, как минимум, двукратный прирост частоты кадров, поскольку каждый второй кадр создает видеокарта. В тестах мы оценим, какое преимущество обеспечивает DLSS 3.

DLSS работает только на видеокартах GeForce RTX 40, поскольку зависит от ускорителей Optical Flow архитектуры Ada Lovelace. DLSS Super Resolution, с другой стороны, будет работать и на видеокартах GeForce RTX 30 и GeForce RTX 20. Технология Reflex поддерживается и на предыдущих поколениях видеокарт, NVIDIA здесь спускается вплоть до линейки GeForce GTX 900.

Поддержка DLSS добавится в ближайшие месяцы в десятках игр.