Многие телевизионные сериалы из 90-х остаются весьма популярными. Но в нынешние времена высокого разрешения они значительно уступают по качеству. По этой причине киностудии выпускают ремастер-версии известных фильмов и сериалов. Зачастую они базируются на оригинальных материалах в высоком разрешении, иногда добавляются новые визуальные эффекты. В случае фильмов и сериалов, подразумевающих значительную долю пост-обработки в производстве, в том числе добавление компьютерной графики, все не так просто. Например, в сериале "Звёздный путь: Глубокий космос девять", оригинальный 35-мм материал был перенесен на видеокассеты в разрешении 640 x 480 пикселей, а уже затем монтировался и обрабатывался. Что облегчило задачу добавления эффектов. Однако из-за этого исходных материалов в высоком разрешении не осталось.
Но это отнюдь не означает, что 176 эпизодов сериала "Звёздный путь: Глубокий космос девять" и "Звёздный путь: Вояджер" не получится повторно выпустить в более высоком качестве. Определенные алгоритмы позволяют автоматически поднять разрешение. В играх, например, мы видим их работу на примере Deep Learning Super Sampling - в Battlefield V и Metro: Exodus.
Сравнение кадров до и после обработки
Сравнение кадров до и после обработки
Проект "Remastering Star Trek: Deep Space Nine With Machine Learning" демонстрирует, как подобные технологии можно применить к старым телевизионным сериалам. Данный проект был посвящен исследованию того, насколько сильно можно улучшить изображение с помощью AI Gigapixel - сети глубокого обучения, нацеленной на улучшение фотографий. Соответственно, тренировка сети выполнялась на реальных фотографиях, но возможности AI Gigapixel оказались достаточны и для улучшения видеоряда сериала с компьютерной графикой и эффектами.
Сравнение скриншотов наглядно показывает улучшение качества картинки. Масштабирование выполнялось из начального разрешения 712 x 480 пикселей в 1.600 x 1.079 пикселей. Однако у настольной системы с неназванными аппаратными компонентами на обработку сцены длиной пять минут ушло почти два дня.
В блоге проекта приведено сравнение оригинальных скриншотов и видео без сжатия YouTube.
Масштабирование до разрешения UHD теоретически возможно, однако улучшения качества картинки будут уже не такими существенными, как при переходе с SD на Full-HD. Требования к вычислительной производительности будут существенно выше, как и время обработки.
Пока что проект "Remastering Star Trek: Deep Space Nine With Machine Learning" является любительским, с довольно туманной перспективой. Компания CBS, владеющая правами на сериал, уже запрещала в прошлом многие любительские проекты на основе вселенной "Звездный путь".
В любом случае, мы получаем наглядную демонстрацию, как можно переделать старые сериалы и фильмы в более высокое разрешение. В том числе и те, ремастеринг которых невозможен из-за ограничений пост-обработки. CBS наверняка обладает финансовыми возможностями для тренировки соответствующей сети, при этом вычислительная производительность будет уже не так важна. Что ж, посмотрим.