NVIDIA сделала свои модели Audio2Face и комплект разработки (SDK) с открытым исходным кодом. Теперь разработчики игр и 3D-приложений могут бесплатно использовать технологию для создания реалистичных персонажей с точной анимацией речи.
Кроме того, NVIDIA открыла и обучающий фреймворк, позволяющий адаптировать существующие модели под конкретные задачи.
- Audio2Face отвечает за синхронную анимацию губ с голосом.
- Audio2Emotion анализирует эмоции и корректирует мимику персонажа.
Обе технологии доступны как в виде регрессионных моделей (предсказание выходных данных на основе входных) и как диффузионные модели — нейросети, способные обучаться и генерировать новые данные.
В составе Audio2Face 3D SDK есть плагины для Unreal Engine и Maya. Первые тесты провели такие студии, как Codemasters, GSC Game World, NetEase и Perfect World Games. А компании вроде Convai, Inworld AI или Reallusion уже предлагают готовые решения на базе Audio2Face.
Дополнительная информация доступна на сайте NVIDIA. Впервые NVIDIA показала технологию весной 2024 года. С тех пор её расширили и дополнили новыми возможностями.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).