Xeon Scalable 3-го поколения: Xeon Cooper Lake - 224 ядра в серверах 8S

После второго поколения процессоров Xeon Scalable на основе архитектуры Cascade Lake, Intel представила третье поколение. Оно базируется на дизайне Cooper Lake и нацелено, главным образом, на гиперскейлеров со сценариями искусственного интеллекта и интенсивной обработки данных. Процессоры Cooper Lake SP будут доступны только для серверов с четырьмя или восемью сокетами. Для младших серверов Intel в этом году планирует представить Ice Lake-SP.

Таким образом, платформа Purley для процессоров Cascade Lake-SP будет заменена двумя платформами, однако они не будут доступны параллельно, как планировалось изначально. Несколько недель назад Intel объявила, что процессоры Cooper Lake-SP выйдут только под старшие серверы 4S и 8S (платформа Cedar Island), а процессоры Ice Lake-SP (платформа Whitley) будут работать в серверах 1S и 2S. Два платформы будут существовать раздельно до появления единой Eagle Stream в 2021 году.

Соответствующие процессоры Xeon на дизайне Sapphire Rapids будут вновь работать на всем диапазоне от одного до восьми сокетов. С процессорами Sapphire Rapids также планируются и новые расширения DL Boost. А именно Intel AMX, которые расшифровываются как Advanced Matrix Extension - по аналогии с AVX (Advanced Vector Extension). В следующем году наверняка появятся новые подробности. Intel уже получила первые протототипы Sapphire Rapids, которые сейчас тестируются. Так что все идет по плану.

Пока не подтверждено, но процессоры на дизайне Sapphire Rapids будут использовать архитектуру Willow Cove и производиться по 10-нм техпроцессу. Они также будут поддерживать DDR5 и PCI Express 5.0. Sapphire Rapids получат инновацию и в сфере Optane DC DIMM. Но мы увидим их и с процессорами Cooper Lake, поэтому все же позвольте вернуться к представленным в четверг процессорам.

Cooper Lake: 28 ядер на CPU

С Cooper Lake Intel всегда упоминала об увеличении числа ядер на сокет, но представленные в четверг процессоры ничем новым здесь не могут похвастаться, мы получаем до 28 ядер на сокет. В сервере 4S это означает до 112 ядер, в сервере 8S - до 224 ядер. Будут ли представлены процессоры Cooper Lake-AP - неизвестно. Напомним, что с моделями Cascade Lake-AP Intel соединила вместе два кристалла Cascade Lake-SP в дизайне MCM, что дает до 56 ядер на сокет.

Базовая микроархитектура - по-прежнему Skylake, пусть даже она несколько раз модифицировалась. При изменении оригинального дизайна Skylake в процессорах Cascade Lake были добавлены улучшения - в основном в сфере контроллера памяти, устранений уязвимостей безопасности и наборов инструкций DL Boost.

Процессоры Cooper Lake-SP предлагают до 28 ядер, 1 MB кэша L2, 32 кбайт кэша L1D и 32 L1I. Отметим и кэш L3 емкостью 1375 Мбайт на ядро. Контроллер памяти остается 6-канальным, но, в зависимости от модели и оснащения, он может работать с DDR4-3200. Теперь процессоры поддерживают новые планки Optane DC DIMM, а именно Intel Optane Persistent Memory 200 Series. Но о них мы подготовили отдельную новость.

Сначала пару слов о схеме именования Cooper-Lake Xeon. У всех модельных номеров во второй позиции стоит тройка, как и суффикс H. Модели L предлагают расширенную поддержку памяти. По номеру модели нельзя определить, поддерживается ли технология Speed Select Technology или нет. Все процессоры имеют поддержку Hyper-Threading, то есть могут выполнять в два раза больше потоков, чем присутствует ядер.

Топовая модель Cooper Lake - процессор Xeon Platinum 8380HL с 28 ядрами, базовой частотой 2,9 ГГц, в режиме Single Core Turbo она достигает 4,3 ГГц. По сравнению с предшественником Xeon Platinum 8280L, Intel увеличила базовую. частоту на 200 МГц, частоту Boost - на 300 МГц. Но TDP увеличился с 205 до 250 Вт. Шесть каналов памяти поддерживают до 4,5 Тбайт ОЗУ. Планки DDR4-3200 можно использовать лишь по одной штуке на канал, максимальная конфигурация с двумя моделями на канал поддерживает лишь DDR4-2933.

Специфические требования для серверов 4S и 8S видны по линейке Cooper Lake-SP. Intel заменила ряд процессоров Cascade Lake, но продолжит выпускать остальные до появления Ice Lake Xeon. Речь идет о моделях, в основном, с 24, 18 и 16 ядрами.

Платформа Cedar Island позволяет установить вместе от четырех до восьми процессоров. Четыре процессора подключаются друг к другу через UPI. У каждого процессора имеются шесть каналов UPI с пропускной способностью до 10,4 GT/s, поэтому каждый процессор подключается к трем другим двумя каналами.

Каждый процессор обеспечивает 48 линий PCI Express 3.0. Чипсет C620A подключается к процессору через DMI 3.0, он дает 20 дополнительных линий PCI Express. А также до 10x USB 3.0 и 14x SATA III. Чипсет обеспечивает и различные функции управления.

Cooper Lake с фокусом на BFLOAT16

С процессорами Cooper Lake-SP Intel акцентирует набор инструкций AVX-512 Vector Neural Network Instructions (AVX512 VNNI). Расширение AVX-512 BF16 поддерживает ранее представленный формат BFLOAT16. Intel подчеркивает постоянно идущие разработки в данной сфере. Инструкции AVX-512 были представлены с первым поколением процессоров Xeon Scalable, за ними следовали DL Boost с ускорением INT8 у второго поколения процессоров Xeon Scalable.

В формате BFLOAT16 мантисса укорочена до 7 бит, что дает такой же диапазон, как и у формата FP32, но с гораздо меньшей точностью. Зато вычисления BFLOAT16 выполняются намного быстрее FP32. Формат BFLOAT16 подходит для инференса и тренировки сетей глубокого обучения. По сравнению с теми же задачами на FP32, производительность должна удвоиться.

Вместе с третьим поколением ядер Tensor NVIDIA недавно представила новый формат чисел с плавающей запятой для архитектуры Ampere. TF32 или Tensor Float 32 тоже имеет диапазон значений FP32, но точность FP16. Таким образом, NVIDIA сочетает преимущества FP32 и FP16, адаптируя их к потребностям в определенных сферах.

Intel упоминает и результаты производительности, сравнивая три поколения процессоров Xeon Scalable. BFLOAT16 будет применяться, главным образом, в сфере тренировки сетей глубокого обучения. Для инференса по-прежнему лучше подходит INT8. Возможно, в каких-то областях имеет смыл использовать BFLOAT16 и для инференса. В любом случае, Intel привела результаты тестов.

Что касается поддержки BFLOAT16, то Intel указывает на минимальные изменения в программном обеспечении для поддержки нового формата данных. Приложения, которые работают с DL Boost API, можно очень быстро и легко перенести на новый формат. Intel предлагает соответствующие интерфейсы OneAPI, OpenVINO и Select Solutions.

Speed Select Technology (SST)

Три модели процессоров Cooper Lake поддерживают технологию Speed Select. А именно Xeon Gold 6328HL, Xeon Gold 6328H и Xeon Gold 5320H. SST позволяет выставлять высокие частоты определенному числу ядер. Остальные ядра при этом снижают частоты. Кроме того, есть приложения, рассчитанные на работу на определенной базовой частоте. И Speed Select Technology помогает и в данном случае.

Процессоры Xeon Scalable третьего поколения уже отгружаются первым клиентам. Из крупных покупателей называется Facebook. Конечно, OEM и ODM представят свои серверы на основе процессоров Cooper Lake, они будут работать и у облачных провайдеров.

Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).

Мы рекомендуем ознакомиться с нашим руководством по выбору лучшего процессора Intel и AMD на текущий квартал. Оно поможет выбрать оптимальный CPU за свои деньги и не запутаться в ассортименте моделей на рынке.