В наших тестах мы всегда стараемся показать производительность аппаратных компонентов, проводя тесты и бенчмарки при одинаковых условиях. Для процессоров, видеокарт, памяти и кулеров, например, такой подход вполне применим.
Но в случае серверных сценариев все не так просто, поскольку тесты здесь более сложные. Особенно это верно для приложений искусственного интеллекта или машинного обучения, где добавляется множество переменных. Пакет MLPerf от MLCommons призван устранить этот недостаток, позволяя легко сравнить производительность в данном сегменте. В прошлом году были опубликованы результаты MLPerf Training v0.7, где в лидеры вышел NVIDIA A100, позднее появились результаты MLPerf Inference v0.7. Но из-за пандемии COVID развитие бенчмарка несколько затормозилось.
Кроме чистых результатов производительности по тренировке сетей глубокого обучения и инференсу, важное значение имеет эффективность систем. Тем более вычислительные компоненты будут использоваться не только в дата-центрах, но и на периферийных узлах (edge). Например, в базовых станциях 5G - и это только один из сценариев.
Поэтому важно собирать данные об эффективности, они приведены в бенчмарке MLPerf Inference 1.0 Power. Приведем несколько примеров:
- Dell EMC PowerEdge R7525: 2x AMD EPYC 7502, 2x NVIDIA A100 – 93.371 семплов/с при 1.101 Вт (84,8 семплов/с/Вт)
- Dell EMC PowerEdge XE2420: 2x Intel Xeon Gold 6252, 2x NVIDIA T4 – 23.309 семплов/с при 794 Вт (29,3 семплов/с/Вт)
- NVIDIA DGX-A100: 2x AMD EPYC 7742, 8x NVIDIA A100 – 270.706 семплов/с при 3.459 Вт (78,3 семплов/с/Вт)
- Gigabyte R282-Z93: 2x AMD EPYC 7282, 5x Qualcomm AI 100 – 100.077 семплов/с при 562 Вт (178,1 семплов/с/Вт)
Если посмотреть на результаты производительности ImageNet, разница весьма ощутима: 23.000 семплов/с при энергопотреблении почти 800 Вт намного менее эффективно, чем 100.000 семплов при 562 Вт. Поэтому мы добавили результат в виде семплов в секунду на ватт. Впрочем, в итоге все зависит от требований системы, а не только от эффективности.
Что верно для упомянутых выше периферийных вычислений, где подать несколько сотен ватт не всегда возможно. Весьма интересным вариантом здесь будет Qualcomm Snapdragon 865, поскольку производительность 7.806 семплов/с достигается при 36,4 Вт (214,4 семплов/с/Вт).
Есть и новые результаты инференса. Они касаются новых GPU-ускорителей A30 и A10. В остальном участники знакомые, хотя есть пара новых ускорителей ИИ (Qualcomm Cloud AI 100 PCIe).
Появились не только результаты GPU-ускорителей A30 и A10, но также и процессоров Intel Ice Lake - но, опять же, только предварительные.
MLPerf Inference и MLPerf Inference Power опираются на различные приложения, в том числе распознавание изображений Resnet50-v1.5, распознавание объектов SSD ResNet34, сегментация медицинских изображений 3D UNET, распознавание текста RNNT, распознавание речи BERT и движок рекомендаций DLRM на основе искусственного интеллекта. Что охватывает большую часть сценариев ИИ. В какой-то степени можно говорить о стандарте, который обеспечивает сравнение систем друг с другом.
Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).