Сеть проекта PMXX: оборудование QNAP для сети 100 Гбит/с

В предыдущих статьях о проекте PMXX мы в основном рассматривали «внутренние» возможности нового сервера. Но использовать такой сервер и подключать его к сети обычным гигабитным линком смысла мало. Уже для резервного копирования и снимков, а тем более для возможных сценариев высокой доступности, PMXX нужен быстрый канал к другим системам. Поэтому нашу прежнюю 10-гигабитную сеть, работавшую в серверной стойке, мы постепенно заменяем на 100-гигабитную — с сетевыми картами QNAP QXG-100G2SF-E810 и коммутатором QSW-M7308R-4X. В этой статье мы рассмотрим оборудование и покажем первые результаты тестов.

Предыдущие материалы о проекте PMXX доступны по ссылкам:

• Проект PMXX: сервер Proxmox VE для Hardwareluxx
• Проект PMXX: тест сервера Gigabyte R284-S93-AAL1
• Тест Kingston DC3000ME и GRAID Technology SupremeRAID Core: пиковая производительность в проекте PMXX

В этом материале речь пойдет о внешнем подключении. Поэтому сначала кратко расскажем, как мы планируем развивать инфраструктуру в стойке. Сейчас мы переносим виртуальные машины на сервер PMXX и в среду Proxmox. Благодаря очень высокой производительности локальной подсистемы хранения все VM, которым нужно максимально быстрое хранилище, будут работать непосредственно на сервере. Но для таких сценариев нам, конечно, нужен резервный план на случай отказа PMXX или планового обслуживания. Виртуальные машины, которым достаточно более медленной инфраструктуры, мы сразу будем подключать по сети к внешним ресурсам. 

Поэтому на первом этапе нужно подключить еще две системы:

• наш прежний сервер, который сейчас работает под VMware ESX и в будущем будет служить резервной платформой Proxmox;
• подсистему хранения, куда мы сможем складывать снимки, резервные копии и storage-контейнеры.

Если посмотреть на цены современных 100-гигабитных решений, становится ясно: бывшая когда-то почти роскошной инфраструктура уже опустилась до уровня, при котором ее можно использовать и без огромного бюджета. Теоретически такая сеть дает почти 12 ГБ/с пропускной способности, что хорошо сочетается с массивами на NVMe SSD. На этом фоне 10-гигабитная сеть с ее примерно 1,2 ГБ/с уже выглядит узким местом. 

Компоненты QNAP

Начнем с сетевых карт. QNAP QXG-100G2SF-E810 — типичные 100-гигабитные адаптеры с двумя портами QSFP28. Каждый такой порт может передавать до 100 Гбит/с, поэтому при использовании двух кабелей через контроллер теоретически можно прокачать почти 25 ГБ/с данных. Для этого нужна быстрая системная шина, поэтому карта подключается через PCIe 4.0 x16. На этот момент стоит обратить внимание при покупке 100-гигабитного адаптера: у двухпортовых моделей более узкий интерфейс быстро станет ограничением. 

В качестве контроллера QNAP использует Intel E810-CAM2. Он поддерживает ряд полезных функций, включая FEC (Forward Error Correction) — прямую коррекцию ошибок, которая помогает обнаруживать потери данных и обеспечивать передачу по зашумленным каналам. Карту можно использовать и с breakout-кабелями 1× QSFP28 → 4× SFP+/SFP28, подключая ее к 25- или 10-гигабитным коммутаторам.

QNAP продает такие адаптеры прежде всего для собственных NAS, например для NVMe All-Flash NAS TS-h2490FU. Поэтому карты прошли валидацию для систем QNAP и полноценно поддерживаются в QTS. Кроме того, QXG-100G2SF-E810 оснащена крупным радиатором с вентилятором. Многие более дешевые варианты на рынке, например Intel E810-CQDA2, обходятся без активного охлаждения. Впрочем, для большинства систем достаточно и таких стандартных карт. Среди альтернатив по контроллерам остаются решения NVIDIA Mellanox, а по форм-фактору можно рассмотреть и карты OCP 3.0. В сегменте 100-гигабитных сетей сегодня уже есть несколько вариантов на выбор.

Недавно QNAP представила еще одну сетевую карту — QXG-100G2SF-BCM. Она построена на контроллере Broadcom 57508 и в некоторых сценариях должна работать немного быстрее. 

В линейке коммутаторов QNAP предлагает особенно интересную модель — QNAP QSW-M7308R-4X. Это коммутатор половинной ширины, поэтому теоретически в стойке можно установить два таких устройства рядом. Модель относится к управляемым коммутаторам класса L3 Lite.

Всего QSW-M7308R-4X предлагает четыре порта 100GbE QSFP28 и восемь портов 25GbE SFP28. Такая конфигурация дает много гибкости: при подходящих кабелях можно подключить, например, три сервера с агрегированными 200-гигабитными соединениями либо четыре сервера по 100 Гбит/с и еще восемь — по 25 Гбит/с. Общая коммутационная емкость составляет 1,2 Тбит/с.

Коммутатор поставляется с QSS Pro — операционной системой QNAP для сетевых устройств. Она поддерживает управление уровня L3 Lite: настройку IPv4, IPv6, DNS, статической маршрутизации, DHCP-сервера, SNTP и расширенных параметров VLAN. Также коммутатор поддерживает RDMA-Ready Lossless Ethernet со встроенными механизмами PFC, ECN и QoS. При наличии системы управления AMIZcloud устройство можно контролировать и администрировать через эту платформу.

На момент тестирования QSW-M7308R-4X стоил около 1 580 евро, то есть оставался в сравнительно доступном сегменте. Более крупные 100-гигабитные коммутаторы быстро уходят в кратно более высокий бюджет. Разумеется, у таких решений есть дополнительные функции корпоративного класса, вплоть до резервирования блоков питания. Но если нужно подключить и администрировать небольшую стойку или, как в нашем случае, ограниченное количество устройств, формат QNAP подходит почти идеально. 

Первые тесты и бенчмарки

Настройка коммутатора через консоль управления не вызывает сложностей. QSW-M7308R-4X работает сразу после включения, но для каждого порта можно задать параметры QoS, настройки уровней L2/L3, функции безопасности и ограничения доступа. Через интерфейс QSS Pro все это настраивается без проблем. В дальнейшем QNAP сможет добавлять новые функции и выпускать исправления через обновления ПО.

Для IT-компонентов в первую очередь стоит оценить энергопотребление. Наша PCIe-карта QNAP в простое потребляла чуть менее 5 Вт. Под нагрузкой значение поднималось примерно до 15–20 Вт. Для карт на базе Intel E810 это типичный уровень.

Коммутатор в простое потреблял около 30 Вт. Заявленный QNAP максимум 55 Вт под полной нагрузкой мы, конечно, воспроизвести не смогли: в тесте участвовал только один встречный узел. Поэтому в нашей конфигурации при обычной работе энергопотребление коммутатора, скорее всего, стабилизируется ниже 40 Вт. 

Проверить полную производительность сейчас непросто. Чтобы приблизиться к максимуму, нужен второй сервер сопоставимого уровня, причем обе системы должны работать без фоновой нагрузки. Наш «старый» сервер VMware ESX уже оснащен SSD, но он одновременно обслуживает сайт и другие сервисы, которые мы по понятным причинам не можем просто остановить. Такая нагрузка мешает провести чистый бенчмарк. Когда все виртуальные машины переедут на новую платформу, возникнет обратная проблема: уже сам PMXX получит базовую нагрузку, которая сможет исказить результаты.

Тесты со второй системой во время настройки PMXX за пределами дата-центра тоже не дали идеальных условий. Мы использовали Windows Server на PMXX и Windows 11 на клиентской системе, поэтому из-за особенностей ОС и сопутствующих накладных расходов рекордных значений получить не удалось. 

Тем не менее оценить производительность можно. Для этого мы использовали iperf3. С одним потоком iPerf результаты колебались в диапазоне 20–40 Гбит/с. Один TCP-поток масштабируется плохо, поэтому для более высокой загрузки сети нужно запускать несколько потоков iperf параллельно. При четырех параллельных потоках мы уже получили до 70 Гбит/с.

После отметки около 70 Гбит/с на результат начинают заметно влиять другие факторы. В Linux производительность можно повысить с помощью Jumbo Frames с MTU 9000, RDMA (RoCEv2) или более продвинутых приемов вроде обхода сетевого стека ядра. Но на таких скоростях уже важны нагрузка на CPU и связанные с ней эффекты, включая NUMA. В нашем сценарии такие оптимизации сильно влияют на параллельные процессы сервера, поэтому протестировать их «вживую» без искажений практически невозможно.

Сама QNAP в своем руководстве по тестированию 100-гигабитных сетей получила расчетную скорость чтения и записи чуть выше 11 ГБ/с. С учетом методики эти цифры выглядят реалистично. При этом интересно, что при переходе от iperf3 к тестам с файловой системой результаты снижаются до чуть более 7 ГБ/с. Этот пример хорошо показывает, сколько факторов в итоге влияет на сетевую производительность.

Но даже без оптимизаций такая сеть уверенно превосходит 10GbE: в худшем случае прирост составляет примерно в три, четыре или пять раз.  

Заключение

Для подключения внешних быстрых систем хранения нужна 100-гигабитная сеть. В нашем случае позже в стойке появится соответствующая система хранения данных, на которой будут храниться резервные копии, зеркалируемые файлы, виртуальные машины и другие данные. Чтобы среда Proxmox получила достаточную пропускную способность при работе с этим массивом, решение QNAP подходит отлично.

Особенно хорошо себя показал коммутатор. В стойке с ограниченным числом серверов четырех портов QSFP28 часто уже достаточно. Дополнительные восемь портов SFP28 позволяют подключить множество других устройств или с помощью breakout-кабелей организовать еще два 100-гигабитных соединения. По набору портов, возможностям управления и оснащению QSW-M7308R-4X выглядит очень удачным решением для такого сценария. А с сетевыми картами QXG-100G2SF-E810 особо нагруженные системы можно подключить даже по схеме 2×100 Гбит/с.

При этом если коммутатор предлагает отличное соотношение цены и возможностей, то сетевые карты QXG-100G2SF-E810 у QNAP стоят заметно дороже стандартных 100-гигабитных адаптеров на рынке. Главная причина — валидация для собственных NAS-систем QNAP, где эти карты прежде всего и должны работать. Такие компоненты обычно обходятся дороже, чем более или менее аналогичные по конструкции, но не проверенные производителем варианты.

По производительности карты находятся на уровне других моделей на базе Intel E810. Из-за вентилятора энергопотребление у QNAP, вероятно, немного выше, зато температуры должны быть ниже. В нашем случае карта QNAP установлена прямо над 10-гигабитным адаптером, причем большого зазора между ними нет. Поэтому активное охлаждение должно обеспечить более комфортный температурный режим, чем пассивный радиатор.

В финальной статье, которую мы подготовим после переноса всех виртуальных машин на PMXX, мы еще раз оценим эти компоненты уже с точки зрения производительности в рабочей среде.

Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).