Решения multi-GPU в сегменте high-end игровых систем продолжают сдавать свои позиции, но многие геймеры по-прежнему рассматривают вариант установки двух видеокарт, тем более модели предыдущих поколений на вторичном рынке можно приобрести по весьма "вкусной" цене. Возникает вопрос подходящей платформы, которая обеспечивает необходимое число линий PCI Express. Подойдет ли для такой задачи платформа с сокетом LGA1151? И поможет ли в таком случае мост PCI Express? Мы решили ответить на эти вопросы с материнской платой Supermicro C9Z390-PGW.
Сначала о базовых требованиях: в зависимости от платформы, число доступных линий PCI Express может быть весьма ограниченным. В случае современных процессоров Coffee Lake-S, можно рассчитывать на максимум в 40 линий PCI Express вместе с чипсетом Z390 (16 - CPU, 24 - Z390). Процессоры AMD Ryzen обеспечивают с FCH 24 линии PCI Express (16 - CPU, 8 - FCH). Данные линии кроме слотов расширения используются для подключения SSD и других компонентов. Если вычесть 16 линий для основного слота PCI Express первой видеокарты, то оставшееся число линий будет совсем небольшим: для работы двух GPU получится использовать режим 2x 8 или 16+4.
Единственным выходом является переход на high-end платформы AMD или Intel, а именно процессоры Skylake-X/Socket LGA2066 и Ryzen Threadripper/TR4, которые обеспечивают 44 и 60 линии PCI Express, соответственно. Поэтому и места для маневра больше. Но цена подобных материнских плат существенно выше, да и по памяти требования совсем иные.
Конечно, системы SLI становятся все менее интересны для геймеров, но все равно спрос на них имеется. Кроме того, несколько GPU в системе интересны для ускорения вычислений. В зависимости от сценария, здесь может пригодиться высокая пропускная способность NVLink, да и скорость подключения GPU через интерфейс PCI Express. Для геймеров, с другой стороны, подключение видеокарты по 8 или 16 линиям PCI Express может и не давать существенных отличий.
Supermicro предлагает материнскую плату C9Z390-PGW для сокета LGA1151, у которой есть отличительная особенность. А именно чип PEX 8747, который ранее выпускала компания PLX, по позднее ее купил Broadcom. PEX 8747 - довольно распространенное решение по увеличению числа линий PCI Express, подобные мосты присутствуют на рынке уже многие годы. Что касается материнских плат, то чаще всего мостами оснащаются серверные модели. Когда AMD и NVIDIA выпускали видеокарты с двумя GPU, то они использовали на них тоже чип PEX 8747, соединяющий два GPU и интерфейс системы.
PEX 8747 может управлять 48 линиями PCI Express стандарта 3.0. Их можно разделять на пять портов. То есть возможны конфигурации 3x 16 PCI Express или 2x 16 и 2x 8 PCI Express. Если верить спецификациям, к сигналу добавляется задержка коммутации порядка 100 нс.
Почему же не ставить PEX 8747 на все материнские платы? Причина кроется в цене чипа. При одиночных покупках чип обойдется клиентам более $100. Конечно, клиенты, подобные Supermicro, закупают чипы партиями в тысячи штук, но при этом цена остается на уровне $50. Поэтому установка PEX 8747 соответствующим образом поднимает цену материнской платы. Сегодня материнские платы на Z390 можно приобрести от 8.500 ₽, хорошо оснащенные модели продаются в районе 15-20 тыс. рублей, но за C9Z390-PGW от Supermicro придется отдать от 34.500 ₽ в России или €375 в Европе. Впрочем, материнская плата Supermicro только появилась в продаже (в России мы обнаружили одно предложение), так что цена в ближайшие недели наверняка снизится.
В случае C9Z390-PGW от Supermicro коммутатор PEX 8747 получает 16 линий напрямую от процессора. Поддерживаются четыре порта по восемь линий каждый, которые можно разделить на четыре слота по 8 линий или объединить парами на два слота x16. Также на плату установлены мультиплексоры ASM1480 от ASMedia.
Возникает вопрос в том, добавляет ли коммутатор PCI Express существенные задержки? Дает ли он ощутимую разницу по производительности multi-GPU? Мы тестировали материнскую плату C9Z390-PGW вместе с процессором Intel Core i7-9700K. Также для сравнения мы взяли материнскую плату ASRock Z390 Taichi (тест), у которой режим multi-GPU опирается на восемь линий к двум слотам PCI Express. У материнской платы Supermicro C9Z390-PGW, с другой стороны, доступны полные 16 линий на двух слотах PCI Express x16. Использование коммутатора PEX8747 на материнских платах LGA1151 весьма необычно, поэтому будет интересно посмотреть на результаты C9Z390-PGW. Supermicro желает выделиться на потребительском рынке, поэтому и предлагает столь необычные решения.
Результаты тестов
Перейдем к результатам тестов, а именно времени вывода кадров (frametime). Мы использовали материнские платы ASRock Z390 Taichi и Supermicro C9Z390-PGW. В качестве процессора работал Intel Core i7-9700K. Оперативная память Corsair была установлена в два канала, две планки по 8 Гбайт работали на 3.200 МГц. В качестве видеокарт мы использовали GeForce RTX 2080 Ti Founders Edition (тест) и MSI GeForce RTX 2080 Ti Duke 11G OC (тест).
На материнской плате ASRock Z390 Taichi мы соединяли две видеокарты мостиком NVLink длиной в три слота, в случае Supermicro C9Z390-PGW пришлось воспользоваться мостиком в четыре слота. После установки видеокарт и мостика мы активировали режим SLI в настройках драйвера NVIDIA.
Мы провели тесты трех игр:
- Shadow of the Tomb Raider
- Final Fantasy XV
- Far Cry 5
Конечно, было бы интересно провести тесты той же Battlefield V с активными эффектами DXR, но, к сожалению, профиль SLI пока отсутствует, ручная активация через биты SLI тоже не срабатывает. Что, кстати, необходимо для Shadow of the Tomb Raider.
Перейдем к результатам тестов. Ниже приведены графики времени вывода кадров в миллисекундах. По оси Y откладывается время вывода кадра, по оси X - номер кадра.
Синим цветом показан результат с одним GPU. Как можно видеть, время вывода кадра существенно выше, чем в режиме multi-GPU. Масштабирование SLI не всегда идеальное, зачастую разброс по времени вывода кадра в SLI оказывается шире. Время вывода кадра в SLI показано серым цветом (Supermicro C9Z390-PGW) и оранжевым (ASRock Z390 Taichi).
Кадры в режиме SLI синхронизируются через мост NVLink. В случае GeForce RTX 2080 Ti пропускная способность 100 Гбайт/с не является узким местом.
Более высоких задержек мы не получили
Решения с коммутатором PCIe часто критикуют за более высокие задержки. Действительно, чип PEX 8747 теоретически добавляет задержку 100 нс, что указано в спецификациях. Но на практике в сценариях SLI это вряд ли актуально. В теории мультиплексоры ASM1480 тоже добавляют задержку, но на практике мы не видим каких-либо недостатков.
Мы также попытались максимально нагрузить системы в вычислительных приложениях. Мы провели тесты 3D-рендеринга на трех видеокартах GeForce RTX в Adobe After Effects, а также использовали Radeon Pro WX 8200 для рендеринга Autodesk Maya.
Однако данные на соответствующую видеокарту передаются только один раз. Интерфейс PCI Express интенсивно нагружается в начале расчетов, после чего данные уже имеются в видеопамяти. И узкое место при начальной передаче связано с 16 линиями PCI Express от процессора к коммутатору PEX 8747. После чего обработка данных выполняется на видеокартах, за коммутатором PCI Express.
Итог таков: установка коммутатора PEX 8747 на материнскую плату может дать преимущества, при этом существенных недостатков мы не обнаружили. Что хорошо видно на примере Supermicro C9Z390-PGW.