Процедурная генерация и дизайн уровней знакомы нашим читателям по тем же играм No Man's Sky и Star Citizen. Под данным термином скрывается процедурный синтез контента: текстур, 3D-объектов и музыки, что избавляет разработчика от 100% прописывания мира. В случае двумерных игр только так можно создать сотни или даже тысячи миров.
Но генерация 3D-мира должна быть максимально приближена к реальности, даже если не каждая деталь создана вручную. Ученые из Массачусетского технологического института и NVIDIA как раз опубликовали исследование на эту тему.
Цель проекта заключалась в создании интерактивного 3D-мира из реальных данных. Сначала выполнялась тренировка сети глубокого обучения с помощью видеороликов. Затем в 3D-мире создавались объекты, важные для виртуального окружения: строения, деревья, автомобили и многое другое. Конечно, здесь подразумеваются 3D-модели и необходимые текстуры. Позднее все данные можно было редактировать при необходимости.
В результате создается полный 3D-мир, который содержит все объекты, ранее показанные на видео. Таким образом можно быстро и легко виртуализировать реальные окружения. Например, перенести действие GTA V в виртуальный Лос-Анджелес. Или добавить Нью-Йорк в игру про Человека-паука. Конечно, можно создавать игровые гоночные трассы, весьма близкие к реальным. Кроме игровой индустрии NVIDIA видит пользу от данной технологии в автомобильном сегменте, чтобы можно было создавать 3D-карты городов, а также в архитектурных приложениях. Данный способ может использоваться для переноса реального окружения в виртуальный мир, что раньше приходилось делать вручную.
Тренировка сети глубокого обучения выполняется на мощных системах, таких как DGX-1, содержащих до восьми Tesla V100. Инференс 3D-мира работает уже на локальном железе. В архитектурах Volta и Turing как раз есть необходимые ядра Tensor, на которых инференс может выполняться в реальном времени. Данную методику в чем-то можно сравнить с технологией DLSS. В ней ядра Tensor тоже выполняют запросы (инференс) в сеть глубокого обучения, прошедшую тренировку. Демонстрация NVIDIA работала на видеокарте Titan V на основе архитектуры Volta. Как мы уже отмечали, тренировка выполняется на более мощном железе.
Пока что технология синтеза видео находится на раннем этапе. И мы пока еще довольно далеко до момента, когда можно будет создавать готовые 3D-миры. Но работа будет продолжена, так что нас ждет интересное будущее.