> > > > Kubernetes - теперь с ускорением на GPU NVIDIA

Kubernetes - теперь с ускорением на GPU NVIDIA

Опубликовано:

nvidiaВ этом году NVIDIA, по всей видимости, сфокусируется на масштабировании существующих решений. Вычислительные ускорители Quadro GV100 и Tesla V100 теперь доступны с 32 Гбайт HBM2, но более интересна совместная работа нескольких десятков GPU, что позволит значительно нарастить вычислительную производительность.

Интересным решением обещает стать обновленный программный пакет TensorRT 4. TensorRT 4 обеспечивает значительное увеличение производительности вычислений INT8 и FP16. В зависимости от приложения, тренировка будет выполняться до 70% быстрее. С аппаратной стороны хорошим примером является NVIDIA DGX-2. Здесь 16 чипов Tesla V100 с 32 GB HBM2 каждый объединены через NVSwitch в единую систему, обеспечивающую в сумме 81.920 потоковых процессоров.

Конечно, если в дата-центре будут работать несколько DGX-2, требуется соответствующая программная инфраструктура. NVIDIA уже предлагает готовые контейнеры Docker через GPU Cloud, которые можно легко распределять по имеющимся аппаратным ресурсам. Через Kubernetes экосистему можно расширять и дальше. Здесь можно использовать практически любое количество GPU и кластеров GPU. В зависимости от требований по производительности, GPU и кластеры GPU под Kubernetes можно комбинировать и динамически назначать. Все это позволяет оптимизировать использование аппаратных ресурсов.

NVIDIA пошла еще на шаг дальше, позволяя добавить две или больше привязки в облаке. В случае сбоя активируются дополнительные привязки, которые были выделены под цели резервирования.

На видеоролике показана демонстрация работы Kubernetes. Четыре из восьми GPU были отключены, после чего были автоматически задействованы резервные GPU. На все ушли считанные секунды, процесс тренировки не прерывался.

На видеоролике также приведено сравнение производительности тренировки сети глубокого обучения по сравнению с системой на CPU.