На прошлой неделе Intel опубликовала документ "Intel Architecture Instruction Set Extensions and Future Features Programming Reference" (PDF). Он подтверждает ранее объявленную Intel информацию: следующее поколение процессоров Xeon на архитектуре Cooper Lake будет иметь поддержку инструкций AVX512_BF16, то есть аппаратное ускорение формата данных BFloat16.
Некоторую сумятицу внес тот факт, что Intel упомянула в документе поддержку AVX512_BF16 для "Future Cooper Lake", то есть для будущих Cooper Lake. Для инструкций AVX-512 с расширениями Vector Neural Network Instructions (VNNI), то естьAVX512_VNNI, Intel указывает "Cascade Lake and later" - Cascade Lake и позже. Таким образом набор инструкций поддерживается всеми следующими архитектурами CPU. Но в случае AVX512_BF16 не все так просто.
С одной стороны, ситуация довольно странная: Cooper Lake имеет поддержку AVX512_BF16, но преемник Ice Lake - нет. С другой стороны, Intel сможет лучше разделить процессоры Xeon на основе Cooper Lake и Ice Lake.
Реализация нового набора инструкций всегда подразумевает определенные требования к архитектуре. То есть добавление набора AVX512_VNNI к Cascade Lake Xeon - это не простая активация функции через прошивку или микрокод. Skylake Xeon не могут выполнять данные инструкции из-за отсутствия соответствующих аппаратных блоков.
Вероятно, архитектуры Cooper Lake и Ice Lake разрабатывались, исходя из разных принципов. Если действительно Cooper Lake Xeon будут поддерживать AVX512_BF16, но Ice Lake Xeon - не будут, то мы получим интересное новшество в линейке Xeon. О причинах подобного решения можно лишь догадываться. Cooper Lake - это промежуточное решение, которое закрывает брешь до выхода Ice Lake Xeon по 10-нм техпроцессу. Архитектура Ice Lake разрабатывается довольно давно, а архитектура Cooper Lake могла быть заложена в качестве преемницы Skylake позднее, когда роль тренировки и инференса сетей глубокого обучения стала более значимой. Поэтому данный набор инструкций заложен в архитектуру Cooper Lake, но его нет в Ice Lake.
Наши коллеги Anandtech связались с Intel, но не получили прямого ответа на вопрос, почему архитектура Cooper Lake поддерживает набор инструкций AVX512_BF16, а архитектура Ice Lake - нет:
"At this time, Cooper Lake will add support for Bfloat16 to DL Boost. We’re not giving any more guidance beyond that in our roadmap."