NVIDIA представила несколько технологий улучшения качества картинки и видео, которые позволяют добавлять отсутствующую информацию благодаря машинному обучению. Так называемая технология Denoising по снижению шумов при использовании метода трассировки лучей была представлена еще весной 2017, позднее она была реализована в реальном времени с технологией трассировки лучей RTX. Что позволило NVIDIA снизить вычислительную нагрузку на аппаратные блоки. Области, в которых расчет еще не произведен, представлены шумом. Поскольку рендер не знает, какие объекты на сцене более важны, он рассчитывает лучи в логическом порядке. Чтобы уменьшить время подготовки финального изображения и быстрее устранить шумы, алгоритм глубокого обучения выделяет важные области кадра, рассчитывая их в первую очередь.
В случае съемки Slow Motion необходимо решить несколько проблем. Начнем с того, что камера должна обеспечивать необходимое число кадров в секунду. Из-за малого время выдержки оптика должна иметь достаточную светосилу, а сенсор должен быть достаточно чувствительным, либо сцену придется дополнительно освещать. Наконец, данные, которые захватывает сенсор, необходимо записывать с высокой скоростью. Реализовать все это не тривиально.
Группа разработчиков NVIDIA разработала технологию, в которой алгоритм глубокого обучения превращает видео с 30 fps в видео с 240 fps Slow Motion. Алгоритм сравнивает два последовательных кадра и рассчитывает движение объектов. Затем формируются промежуточные кадры.
Однако для успешной работы алгоритма необходима тренировка. Плавные видеоролики в Slow Motion получаются только после тренировки системы с соответствующими видео Slow Motion. Например, это касается проезда автомобиля через лужу. Сначала алгоритму следует показать настоящие ролики Slow Motion, после чего он будет способен выполнить симуляцию.
Команда NVIDIA загрузила в сеть глубокого обучения PyTorch 11.000 различных видео Slow Motion. Которые охватывают наиболее популярные сценарии.
Подобный алгоритм стал бы весьма полезен для смартфонов. В некоторых случаях они могут записывать видео с 960 FPS, но при этом у сцены должно быть достаточное освещение, да и разрешение снижается. В случае упомянутого алгоритма эти условия уже не обязательны. Все необходимые вычисления выполняются в облаке, куда закачивается снятое видео.
Впрочем, алгоритм не может интерполировать бесконечное число кадров. Можно сделать 240 fps из 30 fps, но технология уже демонстрирует свои ограничения. Видеоролики с 120 или 240 fps можно "замедлить" в таком же соотношении.