Сегодня NVIDIA объявила об обновлении библиотек с алгоритмами глубокого обучения (deep learning) с поддержкой GPU-ускорения. Новая версия ПО позволяет удвоить скорость обучения нейронных сетей.
Более точные нейронные сети благодаря ускоренному обучению моделей и их более сложной структуре позволят учёным и исследователям ускорить работу над проектами, связанными с глубоким обучением.
Система глубокого обучения NVIDIA DIGITS Deep Learning GPU Training System версии 2 (DIGITS 2) и библиотека NVIDIA CUDA Deep Neural Network library версии 3 (cuDNN 3) обеспечивают значительно более высокую производительность и предоставляют новые возможности для исследователей.
DIGITS 2 теперь позволяет автоматически масштабировать обучение нейронных сетей на несколько высокопроизводительных графических процессоров. Для задач классификации изображений это позволит сократить время обучения сети вдвое (по сравнению с системой на базе одного GPU).
cuDNN 3 позволяет оптимизировать хранение данных в памяти GPU при обучении более сложных нейронных сетей. cuDNN 3 также обеспечивает прирост производительности по сравнению с версией cuDNN 2, позволяя исследователям обучать нейронные сети до двух раз быстрее, чем на системах с одним GPU.
Ожидается, что новая библиотека cuDNN 3 будет интегрирована в новые версии фреймворков глубокого обучения Caffe, Minerva, Theano и Torch, которые широко применяются для обучения глубоких нейронных сетей.
DIGITS 2
DIGITS 2 – это первая полнофункциональная система с графическим интерфейсом, которая помогает пользователям проектировать, обучать и тестировать сети глубокого обучения в задачах классификации изображений.
Поддержка автоматического масштабирования на несколько GPU в DIGITS 2 максимально полно задействует ресурсы системы благодаря автоматическому распределению нагрузки между графическими процессорами системы. С помощью DIGITS 2, на системе на базе четырех GPU на базе архитектуры NVIDIA Maxwell, инженеры NVIDIA обучили широко известную нейронную сеть AlexNet в два раза быстрее, чем на системе на базе одного GPU. Заказчики компании, уже получившие возможность испытать новую версию системы, смогли добиться даже лучших результатов.
cuDNN 3
cuDNN – это GPU-ускоренная библиотека математических операций для глубоких нейронных сетей, которую разработчики встраивают во фреймворки машинного обучения высокого уровня.
В cuDNN 3 добавлена поддержка хранения 16-битных данных с плавающей точкой в памяти GPU, что удваивает объём хранимой информации и оптимизирует использование пропускной способности памяти. Благодаря этому исследователи могут обучать более сложные нейронные сети.
cuDNN 3 также обеспечивает весомый рост производительности в сравнении с cuDNN 2 при обучении нейронных сетей на одном GPU. Так, с новой версией инженеры NVIDIA смогли обучить сеть AlexNet в два раза быстрее на системе на базе одного GPU NVIDIA GeForce GTX TITAN X.
Доступность
Предфинальная версия DIGITS 2 уже доступна для бесплатного скачивания для зарегистрированных разработчиков NVIDIA. Подробнее смотрите на сайте DIGITS.
Библиотека cuDNN 3 будет доступна в крупных инфраструктурах глубокого обучения в ближайшие месяцы. Подробнее смотрите на сайте cuDNN.