Intel – не единственный производитель, разрабатывающий нейрочипы. Три года назад Intel представила первое поколение нейропроцессоров Loihi. Чип состоял из 130.000 нейронов, он позволял сетям глубокого обучения работать эффективнее и, что более важно, быстрее. Между тем вышло второе поколение Loihi 2, которое состоит уже из 1.048/576 нейронов.
Нейронные вычисления характеризуются низкими задержками и высокой эффективностью, но как именно все это можно получить на практике и какие реализации существуют – для многих открытый вопрос. Вместе с Мюнхенским техническим университетом и Итальянским технологическим институтом Intel провела исследования, связанные с распознаванием объекта через нейросеть. На конференции International Conference on Neuromorphic Systems (ICONS) были опубликованы результаты исследования (PDF) .
Но в чем смысл? Компьютерные системы и сегодня умеют распознавать объекты, есть соответствующие реализации в сегментах автономного вождения и робототехники. В последнем случае обычно используется контролируемое окружение. То же самое касается и дороги, хотя уже в меньшей степени. И до полноценного автономного вождения еще далеко. Как только в прямое взаимодействие с такой системой вступает человек, риски безопасности кратно возрастают, тем более инциденты уже были.
Кроме того, усилия по тренировке подобных «классических» систем искусственного интеллекта весьма высоки. Google, NVIDIA, Microsoft, Tesla и другие компании, которые опираются на распознавание текста, картинок, объектов и других сущностей, тренирую свои системы на суперкомпьютерах, чтобы автомобиль распознал дорожный знак, текст был преобразован в речь и наоборот, а на картинке была найдена кошка. Если параметры системы меняются, то тренировку придется начинать сначала. И подобные вычислительные усилия, которые требуются, чтобы научить робота распознавать и брать объект манипулятором, с помощью нейронных вычислений можно существенно уменьшить.
Маленькая и гибкая нейросеть, исследованием которой Intel занималась, опирается на нейромашины NSM (neural state machine) которые выполняются напрямую на нейрочипе без длительного процесса тренировки. Достаточно показать роботу или камере объект под 20 углами. Так называемая событийная (event based) камера захватывает не полный снимок с пикселями по координатам X и Y, а только изменения по сравнению с предыдущим кадром. Что не только уменьшает объемы данных, но и лучше подходит под принципы работы нейропроцессоров.
При выполнении на чипе Loihi были получены следующие результаты.
При определении объектов (Inferencing) и тренировке (learning) задержки "Loihi Continual Classifier" были примерно на уровне классических систем, прошедших длительную тренировку. Точность 96,6 % (± 2,0) можно назвать довольно высокой.
Весьма интересно и энергопотребление. Классические системы тратят порядка 100 мДж на распознавание и до 160 мДж на тренировку, чипу Loihi требуется всего 0,6 мДж. Конечно, здесь использовалась очень небольшая сеть, которая для современных аппаратных компонентов проблемы не составляет. Но если масштабировать полученные результаты на более сложные сети, то повышение эффективности в 100 раз и больше играет важную роль.
Из 128.000 нейронов и 128 млн. возможных соединений синапсов Loihi, исследователи использовали всего 18.000 нейронов и 500.000 синапсов. Потенциал «железа» намного выше, и он будет задействован по мере совершенствования проекта. Следующий этап должен показать эффективность работы подобной интерактивной нейросети уже со 100 объектами.
Еще одно преимущество заключается в том, что подобные нейросети тренируются напрямую на чипе, то есть независимо от суперкомпьютеров. Если некоторые параметры сети глубокого обучения изменятся, то тренировку придется провести заново, по крайней мере, частично. Что требует времени, вычислительной производительности и энергии. А теперь представьте робота, который помогает человеку: если некоторые параметры изменятся, робот не сможет сразу на них отреагировать, только после определенной задержки. И реакция на событие может значительно запаздывать. Интерактивные нейросети с постоянным обучением возможны только на подобных нейрочипах.
Но разработка пока находится в начальном состоянии. Как и в случае сетей глубокого обучения, на первых этапах необходимо разработать алгоритмы, улучшить их и перейти к полностью новым реализациям. Первые этапы уже выполняются в лабораториях. Затем следует разработать аппаратное и программное обеспечение. Наконец, продумать сферы применения и представить готовые решения.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).