У старых фильмов есть свой шарм, они выглядят совершенно по-особому, хотя здесь многое зависит от жанра. Конечно, в современную эпоху контента высокого разрешения старые фильмы по качеству заметно отстают.
Короткометражный фильм "Прибытие поезда" давно вошел в историю кинематографа. Фильм был снят в 1896 году Августом и Луисом Люмьером, он демонстрирует возможности технологий того времени. Задача заключалась в том, чтобы показать индустриальную эпоху, когда появилась возможность передвигаться поездом.
Конечно, низкое разрешение, шум и артефакты дают свой шарм, но с точки зрения качества они уступают современным стандартам. Ниже приведен фильм в оригинальном качестве:
Денис Ширяев с помощью приложения AI Gigapixel провел обработку короткометражного фильма. Программа AI Gigapixel уже использовалась в прошлом для подобных проектов. В том числе и для ремастера телевизионного сериала "Звездный путь: глубокий космос девять".
Масштабирование отдельных кадров выполняется до разрешения 4K с частотой кадров 60 fps. С помощью искусственного интеллекта добавляются кадры и детали, которые в оригинале отсутствуют. AI Gigapixel для работы опирается на различные сети глубокого обучения, прошедшие предварительную тренировку. Например, сеть тренируется на тысячах фотографий. Они должны быть той же тематики, что и сам фильм. Искусственный интеллект затем распознает отличия и может даже добавить детали, отсутствующие в оригинальном фильме.
Данный способ в чем-то напоминает NVIDIA Deep Learning Super Sampling. После первых сложностей NVIDIA приблизилась к качеству картинки оригинального разрешения. Для DLSS тоже используется нейросеть, анализирующая кадры из разных игр. С одной стороны, видеокарта обеспечивает рендеринг кадров (в меньшем разрешении, нежели родное), с другой стороны имеются идеальные кадры. Последние были получены на суперкомпьютере NVIDIA SATURN V с 64x суперсемплингом (64xAA). Через DLSS просчитываются финальные кадры, которые используют на входе как кадры видеокарты с низким разрешением, так и идеальные кадры. За инференс отвечают ядра Tensor архитектуры Turing.
На следующем этапе черно-белый исходный материал раскрашивается. Наши коллеги ArsTechnica демонстрируют данный процесс через приложение Colorize. Здесь тоже используется сеть глубокого обучения, которая и добавляет подходящий цвет к черно-белым кадрам.
Еще раз подобный проект демонстрирует возможности, которые обеспечивает глубокое или машинное обучение.