NVIDIA открыла ежегодную конференцию GPU Technology Conference с новыми анонсами в сфере анализа видео на собственных GPU и связанных с ними SDK. И Metropolis, платформа для умного анализа видео, является только началом. NVIDIA считает анализ видеоряда одним из наиболее важных сфер применения для своих чипов, автоматизация в сегменте систем видеомониторинга становится все более актуальной. На данный момент большинство систем просто записывают видеоряд, но не проводят его анализ.
В качестве соответствующей аппаратной платформы NVIDIA предлагает несколько видеокарт Quadro, которые могут обрабатывать несколько потоков видео. Есть и менее мощное решение: встраиваемая платформа Jetson. Поскольку локально можно провести не все операции анализа видеоряда, NVIDIA предлагает сервер NVR с облачным подключением. Затем к анализу видеоряда будут подключены мощные серверы DGX-1.
“Глубокое обучение позволяет проводить серьезный анализ видео, который в реальном времени превращает сухие данные в ценную информацию, повышая безопасность и улучшая качество жизни, - говорит Дипу Талла (Deepu Talla), вице-президент и генеральный директор по решениям Tegra в NVIDIA. - Платформа NVIDIA Metropolis позволяет применять ИИ к каждому видеопотоку, чтобы делать города умнее”.
Платформа Metropolis как раз была только что объявлена, она станет составным звеном крупных сетей мониторинга.
VRWorks Audio и 360° Video SDK
Также на GTC 2017 был объявлен новый SDK для VRWorks Audio. Напомним, что технология VRWorks Audio была представлена вместе с архитектурой Pascal. Все же реалистичный 3D-звук становится все более важным для игр и профессиональных приложений. Источники звука можно позиционировать в пространстве, используя отличия по времени распространения сигнала и уровню громкости. Также можно учитывать отражение звука от плеч, на основе данной информации человеческий мозг просчитывает высоту источника звука. Все это можно симулировать в программном обеспечении, обеспечивая не только визуальное, но и акустическое погружение.
Современные GPU от NVIDIA способны просчитывать тысячи путей звука, что напоминает технологию отслеживания лучей. Здесь как раз требуется высокая вычислительная производительность. На данный момент NVIDIA может обрабатывать 12 источников звука с максимумом 16.000 путей звука. Сама NVIDIA называет VRWORKS Audio первыми расчетами 3D-звука в реальном времени. Технология VRWorks Audio теперь поддерживается Epic Unreal Engine 4.
Конечно, кроме реалистичного аудио NVIDIA не забывает и о визуальной составляющей. Здесь как раз интересен VRWorks 360 Video SDK. NVIDIA комбинирует 360-градусную панораму видео от нескольких камер в реальном времени. Конечно, для этого требуется мощная видеокарта. NVIDIA указывает использование двух вычислительных ускорителей Quadro P6000 на GPU GP100 с памятью High Bandwidth Memory второго поколения. На примере NVIDIA указала систему камер Z CAM V1 PRO VR с восемью камера UHD.
NVIDIA VRWorks 360 Video и Audio SDK доступны напрямую на сайте NVIDIA.