На GTC24 исследовательский отдел NVIDIA представил новые результаты проекта Toronto AI Labs с несколько громоздким названием Large-scale Amortised Text-To-Enhanced3D Synthesis (LATTE3D). Суть проекта проста: искусственный интеллект полностью генерирует 3D-объекты. В качестве ввода используется текстовый запрос - и ничего больше.
Особенность LATTE3D: модель диффузии изображений тренирует модель «текст - 3D» по принципу обратной связи. Запросы для модели диффузии изображений поступают от LLM. Таким образом, модель по большей части обучается сама. Однако в фоновом режиме должны работать еще две модели, из которых затем создаются окончательные текстурированные 3D-модели: текстурная модель и геометрическая модель.
Эти две модели изначально работают с одинаковым весом при переходе от текста в инференс Text-to-3D. Как только финальная 3D-модель будет найдена, она замораживается, и текстура адаптируется к ней. Если раньше на этот процесс уходили минуты, то теперь меньше секунды. На демонстрации производительность составила порядка 400 мс. Инференс выполнялся на RTX A6000. Модели тренировались на GPU A100 Tensor Core.
NVIDIA и исследователи более подробно описывают свою работу в документе (PDF). Страница проекта также является хорошим источником дополнительной информации. Цель проекта - предоставить 3D-дизайнерам быструю и гибкую альтернативу базам данных объектов, содержимое которых приходится адаптировать вручную. NVIDIA демонстрировала, как можно создать 3D-объект и импортировать его в Omniverse, где его можно интегрировать в рабочий процесс.
На данный момент сеть LATTE3D тренирована примерно на 100.000 текстовых запросов. Но если выйти за пределы области тренировки, то модель не сможет предложить объекты.
Помимо LATTE3D, NVIDIA в настоящее время работает над сотнями исследовательских проектов. Сюда также входят фундаментальные исследования по оптимизации моделей и сетевых архитектур и разработке новых рецептов тренировки - EDM2 является лишь одним из примеров.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).