За время существования проекта Hardwareluxx с декабря 2000 года, мы несколько раз обновляли серверы. Чаще всего апгрейд был обусловлен ростом аудитории и нагрузки, иногда какими-либо аппаратными сбоями. Но мы обновляли серверы более-менее регулярно. В конце лета настало время для очередного апгрейда. На сей раз мы перешли на две системы Synology FlashStation FS3017, а также полностью виртуализировали Hardwareluxx.
В прошлом мы уже публиковали новости, в которых рассказывали об обновлении наших серверов. Последний серьезный апгрейд был три года назад, в 2015 году мы заменили SSD и установили больше оперативной памяти. С тех пор три наших сервера работали практически без изменений, разве что приходилось заменять SSD или жесткий диск по причине выхода из строя.
Хотя наши серверы, в целом, работали хорошо, тема регулярной модернизации никуда не девается. После более чем пятилетнего срока эксплуатации компоненты выходят из строя чаще, и не хотелось бы оказаться жертвой сгоревшей материнской платы или других комплектующих. Также модернизация обычно дает преимущество по производительности и эффективности. Да и новые поколения серверов обычно предлагают более удобные и совершенные средства администрирования.
Идея апгрейда родилась еще на Computex 2017, поскольку там мы впервые столкнулись с FlashStation FS3017. Причем FS3017 - это не просто мощное хранилище NAS, система способна эффективно обслуживать виртуальные машины через Synology Virtual Machine Manager. Аппаратное оснащение соответствующее: два скоростных процессора Xeon и достаточный объем оперативной памяти. Так что идея web-сервера и сервера баз данных родилась довольно быстро. Мы планировали использовать "Synology NAS", причем в количестве двух штук. Вторая FS3017 была нужна для балансировки нагрузки, а также для повышения надежности через Synology High Availability.
Впрочем, в 2017 году соответствующая поддержка Synology DSM находилась в бета-версии, так что мы набрались терпения. Позднее Synology несколько раз обновляла решения VMM и SHA, из беты они превратились в финальные версии. И летом 2018 мы начали миграцию на Synology FS3017.
Конечно, сначала необходимо было все спланировать:
- Системы FS3017 следовало модернизировать, чтобы они соответствовали требованиям по ОЗУ и сетевым подключениям
- Необходимо было закупить жесткие диски и SSD. Несмотря на название "FlashStation", внутри по-прежнему используются жесткие диски, поскольку те же резервные копии и базы данных вряд ли разумно хранить на SSD с весьма дорогой ценой гигабайта
- Пришлось приобрести коммутатор, чтобы гарантировать функцию высокой доступности SHA в случае сбоя
- Необходимо было подготовить виртуальные машины, которые взяли бы на себя все задачи, ранее выполнявшиеся на серверах без виртуализации
Аппаратное обеспечение
В базовой конфигурации Synology поставляет FlashStation FS3017 с 64 Гбайт DDR4 ECC RDIMM (4x 16 Гбайт). Максимальный объем памяти составляет 512 Гбайт (16x 32 Гбайт), он набирается 16 планками DDR4 RDIMM, интерфейс памяти 4-канальный. В систему можно установить до 24 SSD SATA/SAS или HDD SAS в 2,5" формате. Если использовать модули расширения, то число накопителей можно увеличить до 72. Максимальный объем составляет 96 Тбайт или 288 Тбайт в случае подключенных модулей расширения. На практике доступное пространство зависит от используемых уровней RAID.
В прошлом мы использовали 192 Гбайт оперативной памяти в нашем сервере. Памяти было более чем достаточно, поэтому мы решили оснастить каждую FlashStation 256 Гбайт оперативной памяти. Таким образом, в обе FlashStation мы добавили 192 Гбайт памяти, используя 32-Гбайт планки DDR4. Еще осталась возможность установить четыре 32-Гбайт модуля на сервер без замены штатной ОЗУ.
Для подключения существующего сервера и двух FlashStation друг к другу по современному интерфейсу 10GB Ethernet, нам пришлось установить две сетевых карты на 10GBe. Мы использовали по одной карте Intel X710DA2 на каждую FlashStation. В результате на каждую FlashStation мы получили четыре порта 10GBe (учитывая два штатных). Их мы подключили к коммутатору Netgear M4300-8X8F. В производительности коммутатора Netgear сомневаться не приходится, да и функции управления и резервирования весьма мощные.
Для хранения данных мы выбрали массив Kingston DC400 SSD и жестких дисков Seagate Exos 10E2400. В общей сложности мы установили в каждый сервер шесть Exos 10E2400 емкостью 1 Тбайт, они были объединены в RAID 6. Также мы установили в каждый сервер девять SSD Kingston DC400 емкостью 480 Гбайт. Они работали в режиме RAID F1, Synology в своей документации подробно описывает преимущества данного режима RAID, который построен на основе RAID5. Он специально разработан под системы хранения на SSD, предотвращая ранний износ накопителей. Также мы переставили различные накопители из наших старых серверов, поскольку новые SSD и жесткие диски заняли только 15 слотов из доступных 24. Старые SSD и жесткие диски в 2,5" формате пригодились в качестве промежуточных накопителей или просто для резерва.
Ниже представлена наша аппаратная конфигурация:
| FlashStation FS3017 (I) | FlashStation FS3017 (II) | Старый сервер | |
|---|---|---|---|
| Процессоры | 2x Intel Xeon E5-2620 v3 | 2x Intel Xeon E5-2620 v3 | 2x Intel Xeon X5670 |
| Память | 256 GB DDR4 (4x16GB + 6x32GB) reg. ECC | 256 GB DDR4 (4x16GB + 6x32GB) reg. ECC | 192 GB DDR3 reg. ECC |
| Основные накопители | 9x Kingston DC400 (480GB) в RAID F1 6x Seagate Exos 10E2400 (1TB) в RAID6 | 9x Kingston DC400 (480GB) в RAID F1 6x Seagate Exos 10E2400 (1TB) в RAID6 | 4x Samsung SM863 (480GB) в RAID10 |
| Сеть | Штатно: 2x 10GBe, 2x 1 GBe 2x 10GBe через Intel X710DA2 | Штатно: 2x 10GBe, 2x 1 GBe
2x 10GBe через Intel X710DA2 | Штатно: 2x 1 GBe 2x 10GBe через Intel X520DA2 |
| Коммутатор: | Netgear M4300-8X8F | Netgear M4300-8X8F | Netgear M4300-8X8F |
В будущем мы планируем полностью вывести старый сервер из работы, пока что он по-прежнему используется в дата-центре в целях дополнительного резервирования.
Миграция, производительность, использование программного обеспечения Synology Software
Нашей целью была миграция трех серверов на виртуальные машины под управлением Synology Virtual Machine Manager. Сначала мы начали с самой маленькой VM, которая хранит базу данных фотографий, русскоязычный сервер Hardwareluxx.ru, резервные копии. Многие задачи уже были виртуализированы на сервере ESX, так что миграция была несложной. В большинстве случаев мы просто восстановили VM на FlashStation из резервных копий.
Затем мы перевели основной сервер www, и система Synology FS3017 впервые стала использоваться по своему назначению. В принципе, производительность FS3017 такова, что мы можем запустить все VM на FlashStation без ущерба производительности. Но чтобы справиться с потенциальными пиковыми нагрузками и быть готовыми к наплыву посетителей, вариантов два. Можно распределить нагрузку по обеим системам FS3017 через Load Balancer, либо использовать ресурсы CPU и памяти второй FlashStation FS3017, но данные при этом будут храниться на одной FS3017. А на вторую FS3017 данные можно зеркалировать через репликацию. Мы планируем проверить эффективность обоих способов в ближайшие месяцы.
Также мы перешли и на другие приложения Synology для командной работы: Mail Pro, Chat, Calendar и т.д. Вместо использования внешних сервисов, FS3017 может гарантировать необходимую защиту данных, а также избавляет от дополнительных расходов, поскольку не нужно тратиться на облачные сервисы или тот же Slack.
Мы провели несколько тестов производительности Synology FS3017, ниже мы поясним результаты.
Тест CPU, время в секундах, меньше - лучше.
Время загрузки HTTP, меньше - лучше.
Пропускная способность сети, больше - лучше. Слева - между VM, справа - между VM и отдельным сервером.
Как можно видеть, время отклика ядер в sysbench существенно улучшилось. Впрочем, на времени загрузки сайта это вряд ли сильно сказалось. Конечно, новые процессоры Xeon E5-2620v3 от Intel намного мощнее старых Xeon E5620. Мы можем добавить несколько VM на одну FlashStation, но вряд ли можно ожидать существенного влияния на работу сайта, поскольку Xeon E5620 уже хорошо справлялись. Здесь сказываются другие факторы, в том числе размер сайта, запросы к серверу баз данных и т.д.
Более интересна пропускная способность сети, которая значительно увеличилась. Обмен данными между VM выполняется эффективнее, чем между двумя выделенными серверами.
Заключение
У перехода на новую архитектуру несколько преимуществ.
Сначала позвольте рассказать пару слов об управлении: интерфейс DSM весьма удобен для администрирования. В случае сбоя жесткого диска или SSD мы получаем простые уведомления FlashStation или DiskStation, также управление пользователями, приложениями, резервными копиями и другие функции можно выполнять легко и удобно, без багажа глубоких знаний. Теоретически даже обычный пользователь может создавать новые учетные записи, заниматься управлением приложениями или перезапускать VM, если админа рядом нет. Для небольших групп пользователей, как в нашем случае, такой подход оправдан.
В теории систему можно расширять и дальше. К двум FS3017 можно добавить еще одну FS3017, если производительности будет не хватать. Или установить модуль расширения, такой как RX2417sas, обеспечивающий еще 24 SSD. Все это позволяет быть готовым к грядущим потребностям, можно наращивать производительность и емкость нашего решения без дополнительных административных усилий и новых систем.
Также мы получили возможность снизить текущие расходы: мы перешли на Synology Chat и облачные сервисы, теперь мы не зависим от сторонних поставщиков услуг с ежемесячной платой. Также мы получили возможность заменить все серверы, некоторым из которых уже исполнилось восемь лет, современной архитектурой. Старые CPU, жесткие диски и блоки питания не отличались эффективностью энергопотребления. В отличие от FS3017. Что тоже позволяет сэкономить, так как расходы на электричество занимают весьма существенную долю в бюджете дата-центра. Причем к ним относятся и расходы на системы кондиционирования, поскольку тепло нужно выводить наружу.
Но самым большим преимуществом будет надежность работы. Наш сайт окупается только за счет рекламы. Если сайт не будет работать, то и прибыли не будет. И наши редакторы не смогут публиковать статьи и обзоры. Откат на второй сервер (как вручную, так и через Synology High Availability) позволит уменьшить время простоя к минимуму. Кроме того, теперь мы можем тестировать обновления сначала на втором сервере. Так что сайт Hardwareluxx теперь будет всегда оперативно доступен, что улучшит комфорт для наших читателей.
В целом, миграция на Synology FlashStation оказалась даже проще, чем мы ожидали. Synology Virtual Machine Manager, который мы использовали в версии Pro, оказался вполне достаточным и эффективным средством виртуализации. Конечно, без мелких препятствий не обошлось. Например, для обновления сервер FS3017 пришлось сначала выключать, что касается и VM. Но благодаря двум FS3017 мы можем перенести VM на второй FS3017 и затем обновить "пустой" FS3017.
Кроме того, Synology продолжает обновлять свою систему, и в будущих версиях DSM наверняка появятся новые полезные функции, которые можно будет использовать для командной работы, VMM или SHA.
Если сравнивать Synology с другими серверными поставщиками, то здесь есть важное отличие: Synology предлагает не только "железо", но и готовую программную инфраструктуру. Крупным компаниям она не нужна, поскольку они могут позволить себе отдельные программные решения. Но для малого бизнеса, когда все построено вокруг эффективности, подобные решения весьма привлекательны. Кроме того, не стоит забывать об отличной масштабируемости, что позволяет при необходимости расширить систему по мере роста бизнеса.