Поддержка памяти Optane DC Persistent Memory процессорами Xeon Scalable второго поколения, известными как Cascade Lake, весьма важна для развития серверной экосистемы. Память Optane DC Persistent Memory является как бы промежуточным уровнем между кэшами процессора и скоростными накопителями NVMe. На практике преимущества использования Optane DC Persistent Memory заключаются в низких задержках и высоком уровне емкости.
В отдельной статье мы рассматривали аспекты использования разных режимов работы и преимущества, касающиеся задержек. Но есть и некоторые недостатки по сравнению с классической DRAM. На International Supercomputing Conference Intel представила новый движок хранения данных на основе открытого исходного кода, который сделает память Optane DC Persistent Memory более привлекательной и доступной для высокопроизводительных вычислений HPC, а также усилит преимущества. Distributed Asynchronous Object Storage (DAOS) обещает сочетать все преимущества быстрого стека памяти: высокую пропускную способность, низкие задержки и максимальную производительность IOPS.
Все это весьма важно для приложений, зависящих от определенной пропускной способности или задержек, или у которых есть минимальные требования для максимально быстрого выполнения вычислений.
До сих пор движки памяти разрабатывались с учетом использования разных технологий памяти. Здесь DAOS чем-то напоминает интерфейс NVMe, то есть он позволяет использовать традиционную энергонезависимую память (NVM) на тех же SSD NVMe, но также поддерживает и Optane DC Persistent Memory.
DAOS работает полностью в пользовательском пространстве, что позволяет снизить задержки из-за отсутствия дополнительной вычислительной нагрузки. Также DAOS уже не работает на уровне блоков Linux, минуя ядро Linux для ускорения доступа. В зависимости от типа данных (метаданные или другие типы данных) они могут оставаться в памяти Optane DC Persistent Memory, к ним можно получить быстрый доступ через Persistent Memory Development Kit (PMDK).
Обычные данные (bulk data на слайде) большого объема хранятся на скоростных SSD, но при этом задержки доступа минимизируются через Storage Performance Development Kit (SPDK). Intel указывает задержки в диапазоне микросекунд для SSD, хотя обычный уровень - миллисекунды. Данные на Optane DC Persistent Memory уже доступны для системы с задержками микросекундного уровня. И DOAS, в данном отношении, обеспечивает большую однородность.
DAOS обеспечивает быстрый доступ к памяти не только на серверах, в которые эта память напрямую установлена или находится на том же узле. Через OpenFabric Interface (OFI) память доступна в режиме Remote Direct Memory Access (RDMA) тоже с очень низкими задержками. Что весьма важно для HPC, так как здесь память редко используется эксклюзивно подключенным узлом или ядрами CPU. Через слой эмуляции HPC, такой как Silo, MDHIM и Dataspaces, обеспечивается backend для доступа DAOS.
Intel видит технологии, такие как Distributed Asynchronous Object Storage, важным строительным блоком современных систем HPC. Конечно, очень многое зависит непосредственно от "железа", то есть процессоров и вычислительных ускорителей, но без быстрой памяти с гарантированными низкими задержками и производительностью IOPS, аппаратное обеспечение не сможет эффективно обрабатывать большое количество данных.
DAOS пока находится на начальном этапе разработки. Intel уже опубликовала планы до 2022 года. В ближайшие годы можно ждать как доработки функций, так и расширения поддерживаемого программного обеспечения.