Тест Kingston DC3000ME и GRAID Technology SupremeRAID Core: пиковая производительность в проекте PMXX

О проекте PMXX мы уже рассказывали дважды: сначала вышел вводный материал, затем — подробный разбор сервера Gigabyte. Теперь переходим к ключевой части — подсистеме хранения. В последние недели мы протестировали разные RAID-уровни и конфигурации с накопителями Kingston DC3000ME и специализированным решением GRAID Technology. Задача у сервера простая: надежно хранить данные Hardwareluxx и быстро их отдавать.

Даже один NVMe-накопитель сегодня выдает очень высокую производительность. Текущая система хранения у нас все еще построена на SATA SSD: с их ~550 МБ/с по чтению и записи они уже давно обгоняли HDD, особенно при работе с мелкими файлами и базами данных. Но Kingston DC3000ME на 3,84 ТБ с интерфейсом PCIe 5.0 работает на другом уровне — до 14 000 МБ/с на чтение и 5 800 МБ/с на запись. Это примерно в 25 раз быстрее по чтению и почти в 10 раз по записи.

В PMXX мы используем не один такой SSD — мы полностью заполнили 12 фронтальных отсеков сервера Gigabyte. Важно, что модель R284-S93-AAL1 обеспечивает достаточное число линий PCIe. U.2-накопители Kingston работают через PCIe Gen5 x4, а сам сервер выводит 12 таких подключений через шесть разъемов MCIO 8i x8. Четыре накопителя подключены к CPU0 через интерфейс PCIe 5.0 x16, еще восемь — к CPU1 через два PCIe 5.0 x16.

Сами по себе Kingston DC3000ME уже показывают высокий уровень. Версия PCIe Gen5 x4 выдает до 14 000 МБ/с на чтение и 5 800 МБ/с на запись, а модели на 7,68 и 15,36 ТБ еще быстрее. Это серверные SSD с иной логикой работы по сравнению с десктопными моделями вроде Kingston Renegade. Разницу видно сразу: есть Power Loss Protection (конденсаторы для сохранения данных при сбое питания), высокий MTBF и большой ресурс по DWPD. Kingston гарантирует полную перезапись накопителя раз в день на протяжении пяти лет.

Отдельно стоит отметить новую версию на 30,72 ТБ. За гарантийный срок в пять лет на нее можно записать до 56 064 ТБ (56 ПБ), оставаясь в рамках спецификаций.

GRAID Technology SupremeRAID Core

Для высокой производительности NVMe-накопителей важна не только пропускная способность интерфейса. В зависимости от ОС и задач CPU обычно обрабатывает поток данных — и именно здесь часто возникает узкое место, особенно при использовании RAID. Простой RAID 0 или RAID 1 из двух–четырех NVMe еще тянет программная реализация, но с ростом числа накопителей или переходом к более сложным уровням накладные расходы быстро становятся критичными.

Ранее в системах с SATA применяли аппаратные RAID-контроллеры. Они не только обеспечивали подключение и пропускную способность, но и брали на себя расчет четности и запись служебных данных. Это разгружало CPU и ускоряло вычисления за счет специализированной логики. Плюс контроллеры часто имели собственные интерфейсы подключения накопителей, что снижало требования к платформе.

С NVMe ситуация изменилась: для максимальной производительности накопители подключают напрямую к CPU. Любые дополнительные контроллеры здесь упираются в ограничение по линиям и пропускной способности. Встает вопрос — как ускорить программный RAID для NVMe?

Решение предлагает GRAID Technology. Линейка SupremeRAID фактически использует GPU NVIDIA как ускоритель RAID-операций. В нашем случае — это профессиональная карта уровня NVIDIA RTX A1000. Важно: через GPU не гоняют весь поток данных, на нее выносят только вычисления — например, расчет четности при чтении и записи.

Это дает два ключевых эффекта. Во-первых, GPU справляется с параллельными задачами быстрее CPU, поэтому операции вроде расчета четности выполняются значительно быстрее. Во-вторых, CPU освобождается от I/O-нагрузки и может заниматься другими задачами.

GRAID предлагает несколько конфигураций, и для нашего сценария достаточно базовой. Мы используем SupremeRAID Core — решение на базе NVIDIA RTX A1000 с интерфейсом PCIe x8, рассчитанное на 12 накопителей. Это совпадает с максимальной конфигурацией сервера, поэтому мы выбрали более энергоэффективный вариант. Карта потребляет порядка 70–80 Вт, и брать более мощное решение смысла нет.

Есть важный нюанс по энергопотреблению. Драйвер GRAID переводит GPU в состояние постоянной готовности: даже без активного I/O карта показывает 100% загрузки, поскольку ресурсы резервируются сразу после создания массива (Drive Group). В результате энергопотребление не масштабируется с нагрузкой — оно практически сразу выходит на максимальный уровень при активации GRAID. Такой подход обеспечивает приоритет пропускной способности и минимальные задержки.

Ключевой элемент решения — не столько сам GPU, сколько драйвер GRAID. Он заменяет стандартные драйверы NVMe/SATA в ОС. Управление выполняется через веб-интерфейс или консоль: можно объединять накопители в группы, выбирать RAID-уровни (в нашем случае — RAID 0, 1, 5, 6) и создавать виртуальные диски. Для системы они выглядят как обычные накопители.

Сравнение производительности

В тестах мы рассмотрели несколько сценариев.

Во-первых, сравнили классический программный RAID, который используют в большинстве ОС, с решением GRAID Technology SupremeRAID Core. Дополнительно варьировали число накопителей и уровни RAID. В реальной эксплуатации никто не станет собирать массив из 12 SSD в RAID0, но для оценки предельной производительности такой сценарий вполне уместен.

Наиболее показателен именно RAID5 и RAID6: здесь CPU считает паритет, и как раз в этих режимах решение GRAID должно раскрыться. При 12 накопителях RAID6 дает емкость десяти дисков (в нашем случае 10 × 3,84 ТБ), еще два уходят под паритет. В боевой конфигурации логично добавить один-два диска под hot spare для повышения отказоустойчивости.

При этом важны не только линейные скорости в ГБ/с, но и IOPS и задержки доступа. Для нашей задачи последние даже критичнее: мы не гоняем массивные потоки данных, а обеспечиваем быстрый отклик баз данных.

Первые тесты — для наглядности — мы выполнили под Windows Server 2025. Здесь нужно учитывать два момента:

• драйвер GRAID версии 2.x под Linux уже показывает более высокую производительность;
• у Windows в этом сценарии есть собственные ограничения, поэтому итоговые тесты мы дополнили результатами под Linux.

В первом тесте мы смотрим именно пропускную способность. Прогнали конфигурации с 1, 4 и 12 накопителями в RAID0, RAID5 и RAID6 — как на программном RAID, так и на GRAID.

Сразу видно две особенности. Даже при чтении есть заметные различия, но до четырех накопителей они невелики: программный RAID и GRAID показывают близкие результаты.

С 12 SSD ситуация меняется. У программного RAID появляется ощутимый оверхед: с двенадцатью Kingston DC3000ME мы получаем чуть более 60 000 МБ/с на чтение. Причем разницы между RAID0 и RAID5 практически нет.

GRAID снимает это ограничение: даже в RAID6 мы выходим почти на 100 ГБ/с, а максимум достигается в RAID0 — чуть выше 113 ГБ/с последовательного чтения.

В последовательной записи картина иная. В RAID0 на GRAID массив из 12 накопителей дает около 60 ГБ/с — программный RAID отстает незначительно. Конфигурация из четырех SSD в RAID0 тоже показывает высокие скорости, а вот RAID5 и RAID6 ожидаемо проседают из-за расчета паритета.

Зато в RAID5/6 с 12 накопителями GRAID выдает более чем двукратное преимущество над программным RAID. При этом разницы между RAID5 и RAID6 практически нет. С четырьмя SSD массив уже упирается в нехватку дисков — для RAID6 имеет смысл использовать как можно больше накопителей.

Перед переходом к IOPS стоит обратить внимание на задержки. В тесте Random 4K на запись GRAID показывает латентность на уровне нескольких микросекунд независимо от уровня RAID. У программного RAID приемлемые значения есть только у одиночного диска и RAID0. В RAID5 задержка заметно растет — из-за расчета паритета. GPU NVIDIA выполняет эти операции значительно быстрее, поэтому преимущество GRAID особенно заметно при работе с большим количеством мелких записей.

Интересно, что при чтении ситуация обратная: здесь программный RAID быстрее. Вероятно, стек драйверов ОС работает эффективнее, тогда как драйвер GRAID добавляет небольшую дополнительную задержку. 

Задержка напрямую влияет на IOPS — и по-разному сказывается на результатах GRAID и программного RAID в зависимости от типа нагрузки. Это хорошо видно в тесте Random 4K Write с глубиной очереди 32 (высокая нагрузка) и 64 потоками (максимальный параллелизм).

Результаты GRAID в этом сценарии лежат близко друг к другу — даже RAID6 не проседает. А вот у программного RAID5 производительность резко падает: CPU уже не справляется с расчетом паритета.

При этом есть и обратные сценарии, где программный RAID выглядит лучше. Например, при случайном чтении 4K с очередью 1 (T1) GRAID не раскрывает преимущества и уступает программной реализации. Но для серверных задач такой режим не характерен — это скорее нагрузка уровня десктопа.

Финальная конфигурация на Proxmox 9.1

После синтетических тестов мы перешли к практической конфигурации. Помимо производительности, учитывали и другие факторы.

Ключевой приоритет — надежность. Если переносить Hardwareluxx на новый массив, он должен выдерживать даже отказные сценарии. Бэкапы есть всегда, но простой в несколько часов — это потери и лишняя нагрузка на администраторов. Поэтому RAID0 сразу исключили. С учетом минимальной разницы по производительности между RAID5 и RAID6 на GRAID мы выбрали RAID6. 

При этом не стали объединять весь объем в один GRAID-массив. Система Proxmox работает на двух отдельных NVMe Kingston (ZFS RAID1), и часть данных также имеет смысл держать вне GRAID.

Причина — зависимость от GPU. Если NVIDIA-карта выйдет из строя, потребуется замена и новая лицензия от GRAID. Лицензия привязана к серийному номеру GPU, поэтому после замены доступ к данным может восстановиться не сразу. 

В итоге выбрали следующую конфигурацию:

• 8× Kingston DC3000ME (диски 4–11, CPU1) — GRAID SupremeRAID, RAID6
• 2× Kingston DC3000ME (диски 0–1, CPU0) — программный RAID1
• 2× Kingston DC3000ME (диски 2–3) — hot spare

Такая схема дает максимальную производительность RAID6: CPU не пересекаются по нагрузке и не обмениваются данными через UPI.

Финальные тесты мы выполнили уже на рабочей системе с Proxmox VE 9.1 и GRAID Technology 2.0.0 Update 93. 

Результат оказался выше, чем в тестах под Windows — сказывается более быстрый драйвер GRAID под Linux и меньший оверхед ОС.

Мы получили:

• 80,2 ГБ/с при последовательном чтении
• 26,6 ГБ/с при последовательной записи

С такими показателями узких мест по скорости не ожидается, а уровень IOPS полностью соответствует задачам. 

Заключение

Связка из двенадцати Kingston DC3000ME и GRAID Technology SupremeRAID Core показывает очень высокую производительность. Но результаты стоит разбирать по сценариям.

GRAID явно выигрывает в записи и под длительной нагрузкой. Задержки остаются низкими и стабильными даже в RAID5 и RAID6, поэтому Random Write IOPS на порядки выше, чем у программного RAID. Последовательная запись тоже на очень высоком уровне. Такое решение имеет смысл, если сервер работает с интенсивными по записи и чувствительными к задержкам нагрузками.

Программный RAID, наоборот, силен в чтении. При записи — особенно в RAID5 — упирается в CPU: растут задержки и падают IOPS. Зато при последовательном чтении, интенсивных задачах по чтению и малой глубине очереди (Q1T1) он остается вполне быстрым. Это уже ближе к десктопным сценариям.

Во многих тестах видно и другое: даже один NVMe-накопитель может дать достаточную производительность. В задачах уровня десктопа один быстрый SSD, вроде DC3000ME, часто оказывается рациональнее сложного RAID — даже без учета стоимости.

В нашем случае нагрузка — базы данных и виртуализация, то есть множество мелких и параллельных операций. Здесь GRAID дает ощутимое преимущество. При этом важно понимать: предыдущий сервер вообще не использовал быстрые NVMe вроде DC3000ME, поэтому запас производительности оказался выше ожидаемого. 

Для десктопа GRAID смысла почти не имеет. Если нужна максимальная скорость, проще взять один быстрый NVMe или собрать небольшой программный RAID из двух накопителей. 

Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).