Последнее обновление серверной инфраструктуры Hardwareluxx состоялось довольно давно — в 2022 году. Тогда мы ввели в эксплуатацию новый ESX-сервер на базе платформы Intel Ice Lake с двумя процессорами Intel Xeon Gold 6348. Он дополнил наши системы хранения Synology FS3017, которые мы используем с 2018 года. С тех пор — за исключением нескольких незначительных изменений в резервных системах — инфраструктура оставалась практически без изменений. В 2026 году мы вновь запускаем процесс обновления. За прошедшие годы заметно продвинулись как серверные архитектуры, так и программная экосистема. Именно поэтому в этой статье мы впервые представляем наш новый проект под названием PMXX.
И на одном материале дело не ограничится — планов у нас много. Причиной перехода на новую серверную платформу стало не устаревшее «железо» и не недостаточная производительность сервисов: существующие системы по-прежнему работают стабильно и быстро. Основной фактор — изменения в лицензировании. После приобретения VMware компанией Broadcom условия использования применяемого нами vSphere/ESXi существенно ужесточились.
vSphere/ESXi как профессиональное серверное решение теперь лицензируется по числу ядер. При ранее используемых 56 ядрах это, в зависимости от версии ESX и набора функций, легко приводит к затратам свыше 3000 евро в год. Для крупных компаний с расширенными требованиями к поддержке такие расходы могут быть оправданы, однако для наших задач это избыточный и нежелательный финансовый блок.
После длительного анализа и обсуждений в прошлом и текущем году мы приняли решение перейти на Proxmox VE. Как решение с открытым исходным кодом, Proxmox избавляет от крупных лицензионных затрат. Подписка здесь оформляется на процессорный сокет, а не на ядро, и даже максимальный уровень поддержки обходится дешевле, чем предложения Broadcom — при том, что в нашем случае столь высокий уровень поддержки, скорее всего, и не потребуется.
Кроме того, Proxmox предлагает ряд дополнительных возможностей, включая встроенные механизмы резервного копирования. Это позволит в будущем экономить не только деньги на лицензиях, но и рабочее время.
Отдельная статья, посвящённая Proxmox и нашему переходу на эту платформу, выйдет в ближайшее время. Поскольку для нас критично избежать простоев сервисов, мы планируем установить новый сервер с уже предустановленным Proxmox VE, а затем перенести на него все службы. После этого текущий сервер также будет переоборудован и останется в стойке в выключенном состоянии — в качестве резервного решения на экстренный случай.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).
Но какое оборудование мы будем использовать в дальнейшем?
Сервер: Gigabyte R284-S93-AAL1
Основой нашего нового сервера на Proxmox VE — а значит, и всего проекта PMXX — стал стоечный сервер Gigabyte. Модель R284-S93-AAL1 в форм-факторе 2U использует архитектуру Intel и обладает рядом особенностей, которые делают её особенно интересной для наших задач. Мы ставили цель совместить быстрое локальное хранилище с возможностью высокоскоростного сетевого подключения к нашему основному хранилищу от Synology.
В R284-S93-AAL1 можно установить актуальные процессоры Xeon серий 6700 и 6500 на базе архитектуры Granite Rapids. Мы выбрали два Intel Xeon 6737P — это быстрые 32-ядерные процессоры с высоким TDP и максимальной частотой Boost до 4 ГГц. В сумме сервер располагает 64 ядрами и 128 потоками, а общий объём кэша составляет 288 МБ.
Процессоры работают с 8-канальным контроллером памяти, поэтому для раскрытия полного потенциала платформы оптимально использовать 16 модулей DDR5-6400. Всего сервер оснащён 32 слотами RDIMM/MRDIMM, что оставляет значительный запас для дальнейшего расширения объёма ОЗУ.
Помимо двух процессорных сокетов, фронтальная часть сервера позволяет установить до 12 SSD, подключаемых по интерфейсу PCIe 5.0 NVMe. Альтернативно в hot-swap-отсеки можно установить накопители SATA или SAS-4. На задней панели предусмотрены ещё два 2,5-дюймовых отсека для дополнительных SATA/SAS-4-дисков. Кроме того, внутри сервера размещены два M.2-слота для SSD с интерфейсом PCIe 5.0 NVMe.
Наш план прост: полностью задействовать фронтальные отсеки под высокопроизводительные накопители, а внутренние SSD использовать под операционную систему.
Сегодня в серверных системах всё большую роль играют и карты расширения. В R284-S93-AAL1 Gigabyte реализовала два слота PCIe 5.0 FHFL (Full Height, Full Length) под GPU, а также два слота FHHL (Full Height, Half Length) для дополнительных устройств — все они работают с полной пропускной способностью. Кроме того, сервер оснащён двумя слотами OCP NIC 3.0 с подключением по PCIe Gen5.
OCP NIC (Open Compute Project Network Interface Card) позволяет устанавливать сетевые адаптеры с тыльной стороны сервера. Мы планируем задействовать сразу две PCIe-карты. Во-первых, это NVIDIA A400, установленная на карте GRAID Technologies SupremeRAID Core SR-1001 AM. Она переносит RAID-операции на GPU с помощью программного стека GRAID, что позволяет ускорить обработку операций до 10 миллионов IOPS.
Во-вторых, мы серьёзно усиливаем сетевую подсистему, используя QNAP QXG-100G2SF-E810 с двумя портами 100 Гбит/с. Именно через эту карту пойдёт весь внутренний трафик между системами Synology и другими серверами.
Помимо этого, Gigabyte R284-S93-AAL1 изначально оснащён двумя гигабитными Ethernet-портами на базе контроллера Intel i350-AM2 — мы будем использовать их для внешнего доступа. Разумеется, присутствует и выделенный порт управления на базе BMC ASpeed AST2600. Через Gigabyte Management Console можно отслеживать состояние сервера, параметры работы и статистику. Также Gigabyte предусмотрела разъёмы Mini-DisplayPort и USB.
Несмотря на то что подобная конфигурация даже с учётом энергосберегающих технологий потребляет немало электроэнергии, в плюс можно записать два резервированных блока питания мощностью по 2700 Вт с сертификатом 80 Plus Titanium.
Ещё один важный момент: Gigabyte сразу включает в комплект воздушные кожухи CPU, автоматически управляемые вентиляторы, подходящие процессорные кулеры, направляющие для установки в стойку и прочие необходимые аксессуары. В результате R284-S93-AAL1 представляет собой действительно продуманное комплексное решение для построения мощного, гибкого и масштабируемого сервера.
| Технические характеристики сервера | |
|---|---|
| Габариты (Ш × В × Г) | 2U, 438 × 87,5 × 815 мм |
| Материнская плата | MS94-FS0 |
| Процессоры | Intel Xeon 6 серий 6700/6500 (архитектуры Granite Rapids SP / Sierra Forest SP) Двухпроцессорная конфигурация TDP до 300 Вт При температуре окружающей среды 25 °C: TDP до 350 Вт |
| Процессорный разъём | 2× LGA 4710 (Socket E2) |
| Оперативная память | 32 слота DIMM (DDR5 RDIMM / MRDIMM) 8-канальный контроллер памяти на каждый процессор RDIMM: до 6400 MT/с (1DPC), до 5200 MT/с (2DPC) MRDIMM: до 8000 MT/с |
| Сетевые интерфейсы (LAN) | 2× 1 Гбит/с Ethernet (контроллер Intel I350-AM2) поддержка NCSI 1× 10/100/1000 Мбит/с порт управления (Management LAN) |
| Видео | Интегрированное, ASPEED AST2600 1× Mini DisplayPort |
| Подсистема хранения данных | Фронтальная панель, hot-swap: |
| Слоты расширения PCIe | 1× FHFL x16 (PCIe Gen5 x16), от CPU_0, для GPU 1× FHFL x16 (PCIe Gen5 x16), от CPU_1, для GPU 1× FHHL x16 (PCIe Gen5 x16), от CPU_0 1× FHHL x16 (PCIe Gen5 x16), от CPU_1 1× OCP NIC 3.0 (PCIe Gen5 x16), от CPU_0 1× OCP NIC 3.0 (PCIe Gen5 x16), от CPU_1 |
| Задняя панель ввода-вывода (Rear I/O) | 2× USB 3.2 Gen1 (Type-A) 1× Mini DisplayPort 2× RJ45 1× MLAN (порт управления) |
| Модули безопасности | TPM-разъём с интерфейсом SPI опциональный комплект TPM 2.0: CTM012 PRoT-разъём (активен только в версиях с RoT) |
| Блоки питания | 2× 2700 Вт, резервированные Сертификация 80 PLUS Titanium |
| Системные вентиляторы | 4× 80 × 80 × 38 мм |
Сервер Gigabyte R284-S93-AAL1 можно приобрести от 550 000 ₽ (Реклама. ООО «Яндекс Маркет», ИНН 9704254424).
Подсистема хранения: SSD Kingston DC3000ME
Для системы хранения нашего нового сервера мы снова сделали ставку на Kingston. Начнём с SSD: линейку DC3000ME мы уже рассматривали в середине года, и эти быстрые PCIe-5.0-накопители идеально подходят для сервера Gigabyte. По производительности они, скорее всего, заметно превосходят наши реальные потребности — особенно в конфигурации из двенадцати дисков.
Накопители используют интерфейс PCIe Gen5 x4, который платформа Gigabyte может задействовать на всех 12 фронтальных слотах без каких-либо ограничений по пропускной способности. Линейка DC3000ME доступна с ёмкостями от 3,84 ТБ до 15,36 ТБ. Помимо последовательных скоростей до 14 000 МБ/с на чтение и 5 800 МБ/с на запись, особенно впечатляют показатели производительности при случайном доступе — до 2,7 млн IOPS на чтение и 300 тыс. IOPS на запись.
В основе накопителей лежит контроллер Marvell MV-SS1333 в сочетании с 3D eTLC-NAND от Micron (232 слоя).
В среде дата-центров важна не только производительность, но и надёжность. Здесь Kingston уже давно зарекомендовал себя: из девяти SATA-SSD DC400, установленных в наших flash-хранилищах ещё в 2018 году, за годы круглосуточной эксплуатации не вышел из строя ни один накопитель — при том, что их номинальный срок службы уже давно превышен.
На аналогичную стабильность мы рассчитываем и в случае DC3000ME. С показателем MTBF 2 млн часов, ресурсом до 7 000 ТБ записи и нагрузкой 1 DWPD эти SSD без проблем должны отработать ближайшие годы. В наших сценариях такие значения мы вряд ли вообще приблизим к пределу. Kingston предоставляет на накопители пятилетнюю гарантию.
Практичный момент: благодаря встроенным радиаторам не возникает проблем и с тепловым режимом. Энергопотребление остаётся в разумных рамках — до 24 Вт при записи. Дополняют картину функции корпоративного уровня, включая TCG Opal 2.0 и AES-256-битное шифрование.
Все 12 SSD уже установлены в сервер — и подобная «домино-линейка» накопителей в фронтальных корзинах всегда выглядит впечатляюще.
| DC3000ME | |
| Форм-фактор | U.2, 2,5″ × 15 мм 100,5 × 69,8 × 14,8 мм |
| Интерфейс | PCIe NVMe Gen5 x4 |
| Ёмкость | 3,84 ТБ / 7,68 ТБ / 15,36 ТБ |
| Тип NAND | 3D eTLC |
| Последовательное чтение / запись | 3,84 ТБ: 14 000 / 5 800 МБ/с 7,68 ТБ: 14 000 / 10 000 МБ/с 15,36 ТБ: 14 000 / 9 700 МБ/с |
| Случайное чтение / запись (4K, IOPS) | 3,84 ТБ: 2 700 000 / 300 000 7,68 ТБ: 2 800 000 / 500 000 15,36 ТБ: 2 700 000 / 400 000 |
| Качество обслуживания (QoS) | 99 %: чтение < 10 мкс запись < 70 мкс |
| Защита от потери питания (PLP) | Да |
| Ресурс (TBW / DWPD) | 3,84 ТБ: 7 008 ТБ, 1 DWPD (5 лет) 7,68 ТБ: 14 016 ТБ, 1 DWPD (5 лет) 15,36 ТБ: 28 032 ТБ, 1 DWPD (5 лет) |
| MTBF | 2 000 000 часов |
| Энергопотребление | Idle: 8 Вт Максимум (чтение): 8,2 Вт Максимум (запись): 24 Вт |
| Рабочая температура | 0–70 °C |
| Шифрование | TCG Opal 2.0, AES-256 |
| Управление пространствами имён | До 128 namespaces |
| Гарантия | Ограниченная гарантия производителя, 5 лет |
Как и у большинства корпоративных накопителей, цены на DC3000ME заметно выросли. На текущий момент один SSD обходится примерно в 90 000 ₽ (Реклама. ООО «Яндекс Маркет», ИНН 9704254424), и тенденция, вероятно, останется восходящей.
Оперативная память: Kingston Server Premier DDR5
При выборе оперативной памяти мы также сделали ставку на качество Kingston. В системе используются 16 модулей KSM64R52BD4-64MD. Да, эти модули сейчас крайне дефицитны: на старте проекта их, к счастью, ещё можно было приобрести в достаточном количестве примерно по 80 000 ₽ за штуку (Реклама. ООО «Яндекс Маркет», ИНН 9704254424). Для сравнения, аналогичные серверные модули с частотой всего DDR5-5600 на сегодняшний день стоят в два раза дороже за модуль. Остаётся надеяться, что ситуация на рынке памяти со временем стабилизируется.
Всего нам потребовалось 16 модулей DRAM, что напрямую связано с архитектурой сервера: оба процессора Intel располагают 8-канальным контроллером памяти. Чтобы получить максимальную пропускную способность, на каждый процессор необходимо установить по восемь DIMM-модулей — то есть 16 модулей в двухсокетной системе. Поскольку для RDIMM-памяти архитектура Intel предусматривает поддержку DDR5-6400, мы сознательно выбрали максимальный доступный уровень производительности.
Модули Kingston Server Premier RDIMM имеют ёмкость 64 ГБ каждый, в сумме система располагает 1 ТБ оперативной памяти. С таймингами CL52-52-52, организацией 2Rx4 (Dual Rank) и поддержкой registered ECC модули полностью соответствуют требованиям к серверной памяти. Рабочее напряжение составляет 1,1 В, а высота модуля соответствует стандарту JEDEC — 31,25 мм, что гарантирует совместимость с любыми серверными платформами.
| Характеристики | |
|---|---|
| Производитель | Kingston |
| Серия | Server Premier |
| Модель | KSM64R52BD4-64MD |
| Тип | Registered DIMM (RDIMM), ECC |
| Ёмкость | 64 ГБ |
| Тип памяти | DDR5 SDRAM |
| Скорость передачи данных | 6400 MT/s |
| JEDEC-обозначение | PC5-51200R |
| CAS-латентность | CL52 |
| Организация | 2R × 4 (dual rank, x4) |
| Форм-фактор | 288-контактный DIMM |
| Рабочее напряжение | 1,1 В |
| ECC | Sideband ECC + On-Die ECC |
| Высота модуля | ~31,25 мм |
| Особенности | профиль JEDEC, чипы Micron D-Die |
Сеть: QNAP QSW-M7308R-4X и QXG-100G2SF-E810
Проект PMXX не ограничивается 2026 годом: в перспективе мы также планируем постепенную замену систем хранения FS3017. Формально в этом пока нет острой необходимости, однако оборудование, которое работает круглосуточно, 365 дней в году и уже насчитывает около восьми лет эксплуатации, рано или поздно может выйти из строя.
Если текущие FS3017 соединены между собой и с ESX-сервером по 10-гигабитному Ethernet, то для будущей инфраструктуры мы сразу закладываем переход на 100-гигабитную сеть.
Основу сетевой подсистемы составляют адаптеры QXG-100G2SF-E810 от QNAP, оснащённые контроллером Intel E810-CAM2 и двумя портами QSFP28. Эти PCIe 4.0-карты будут установлены как в сервер PMXX, так и позднее — в модернизированный старый ESX-сервер. Кроме того, будущее основное хранилище, которое со временем заменит FS3017, также получит подключение по 100GbE.
Сетевые адаптеры поддерживают Forward Error Correction на уровне контроллера Intel, а порты можно гибко конфигурировать:
- 2× или 4× 25GbE (SFP28)
- либо 2×4× 10GbE
В роли коммутатора используется QSW-M7308R-4X от QNAP. Он оснащён четырьмя портами QSFP28 (100GbE) и восемью портами SFP28 (25GbE). Управляемый коммутатор работает под QNAP QSS-PRO и предлагает функциональность L3 Lite. Совокупная пропускная способность коммутационной матрицы достигает 1 200 Гбит/с.
Благодаря полуширинному форм-фактору 1U в стандартную 19-дюймовую стойку при необходимости можно установить сразу два таких коммутатора рядом. Нас, разумеется, особенно интересует реальная производительность, которую удастся получить в этой сетевой конфигурации.
| Характеристики | |
|---|---|
| Модель | QXG-100G2SF-E810 |
| Интерфейс | PCIe 4.0 ×16 |
| Пропускная способность | 100 Гбит/с |
| Порты | 2 × QSFP28 |
| Контроллер | Intel Ethernet Controller E810-CAM2 |
| Крепления | Low-Profile (установлен), Full-Height в комплекте |
| Характеристики | |
|---|---|
| Модель | QSW-M7308R-4X |
| Тип | управляемый 100GbE-коммутатор (L3 Lite) |
| Общее число портов | 12 |
| QSFP28 (100GbE) | 4 |
| SFP28 (25GbE) | 8 |
| Порт управления | 1 × 1GbE RJ45 (задняя панель) |
| Коммутационная ёмкость | 1 200 Гбит/с |
| Макс. энергопотребление | 55,15 Вт |
| Охлаждение | 2 × PWM-вентилятора с VAPO-подшипниками |
| Форм-фактор | половинная ширина, rack-mount |
На текущий момент коммутатор доступенот 150 000 ₽ (Реклама. ООО «Яндекс Маркет», ИНН 9704254424), а стоимость одной сетевой карты составляет 80 000 ₽.
Промежуточный итог
В наш серверный шкаф отправится действительно впечатляющий комплект оборудования — однако до этого момента ещё предстоит пройти несколько этапов. Сейчас мы всё ещё ожидаем поставку процессоров и графического ускорителя NVIDIA, после чего сможем приступить к базовой установке системы. Разумеется, перед транспортировкой сервера в дата-центр мы проведём здесь, в лаборатории, полноценное предварительное тестирование.
В первую очередь нас особенно интересует пропускная способность SSD-подсистемы — как при использовании решения GRAID Technologies, так и без него. Кроме того, мы традиционно проверим стандартные бенчмарки для процессоров и пропускной способности памяти, а также оценим, какие объёмы данных удастся передать через сетевые карты QNAP. Все эти тесты логично и значительно удобнее выполнить заранее, до установки сервера в стойку.
Разумеется, о результатах мы подробно расскажем нашим читателям в отдельной статье. После этого мы перейдём к установке Proxmox VE — и этому этапу также будет посвящён отдельный материал, в котором мы подробно разберём миграцию с текущей инфраструктуры на новую платформу.
Остаётся лишь надеяться, что всё пройдёт гладко. Впрочем, в одном можно быть уверенными уже сейчас: по части аппаратного обеспечения слабых мест здесь точно нет.