Нейронный процессор (англ. Neural Processing Unit, NPU или ИИ-ускоритель англ. AI accelerator) — это специализированный класс микропроцессоров и сопроцессоров (часто являющихся специализированной интегральной схемой), используемый для аппаратного ускорения работы алгоритмов искусственных нейронных сетей, компьютерного зрения, распознавания по голосу, машинного обучения и других методов искусственного интеллекта[1].
Описание
Нейронные процессоры относятся к вычислительной технике и используются для аппаратного ускорения эмуляции работы нейронных сетей и цифровой обработки сигналов в режиме реального времени. Как правило, нейропроцессор содержит регистры, блоки памяти магазинного типа, коммутатор и вычислительное устройство, содержащее матрицу умножения, дешифраторы, триггеры и мультиплексоры[2].
На современном этапе (по состоянию на 2017 год) к классу нейронных процессоров могут относится разные по устройству и специализации типы чипов, например:
- Нейроморфные процессоры — построенные по кластерной асинхронной архитектуре, разработанной в Корнеллском университете (принципиально отличающейся от фон Неймановской и Гарвардской компьютерных архитектур, используемых последние 70 лет в IT-отрасли). В отличие от традиционных вычислительных архитектур, логика нейроморфных процессоров изначально узкоспециализирована для создания и разработки разных видов искусственных нейронных сетей. В устройстве используются обычные транзисторы, из которых строятся вычислительные ядра (каждое ядро, как правило, содержит планировщик заданий, собственную память типа SRAM и маршрутизатор для связи с другими ядрами), каждое из ядер эмулирует работу нескольких сотен нейронов и, таким образом, одна интегральная схема, содержащая несколько тысяч таких ядер, алгоритмически может воссоздать массив из нескольких сотен тысяч нейронов и на порядок больше синапсов. Как правило, такие процессоры применяются для алгоритмов глубокого машинного обучения[3].
- Тензорные процессоры — устройства, как правило, являющиеся сопроцессорами, управляемыми центральным процессором, оперирующие тензорами — объектами, которые описывают преобразования элементов одного линейного пространства в другое и могут быть представлены как многомерные массивы чисел[4], обработка которых осуществляется с помощью таких программных библиотек, как, например TensorFlow. Они, как правило, оснащаются собственной встроенной оперативной памятью и оперируют низкоразрядными (8-битными) числами, и узкоспециализированы для выполнения таких операций, как матричное умножение и свёртка, используемая для эмуляции свёрточных нейронных сетей, которые используются для задач машинного обучения[5].
- Процессоры машинного зрения — во многом похожи на тензорные процессоры, но они узкоспециализированы для ускорения работы алгоритмов машинного зрения, в которых используются методы свёрточных нейронных сетей (CNN) и масштабно-инвариантная функция преобразования (SIFT). В них делается большой акцент на распараллеливание потока данных между множеством исполнительных ядер, включая использование модели блокнотной памяти — как в многоядерных цифровых сигнальных процессорах, и они так же, как тензорные процессоры, используются для вычислений c низкой точностью, принятой при обработке изображений[6].
История
Области применения
- Беспилотный автомобиль — например, в этом направлении развивает свои платы Drive PX-series компания Nvidia[7][8].
- Беспилотный летательный аппарат — например, навигационная система основанная на чипах Movidius Myriad 2 успешно управляет автономными беспилотными летательными аппаратами[9].
- Диагностика в здравоохранении.
- Машинный перевод.
- Обработка естественного языка.
- Поисковая система — NPU повышают энергоэффективность центров обработки данных, и дают возможность использовать все более сложные запросы.
- Промышленный робот — NPU позволяют расширить спектр задач, которые возможно автоматизировать, путём добавления приспособляемости к меняющимся ситуациям.
- Распознавание по голосу — например, в мобильных телефонах использование технологии Qualcomm Zeroth[10]
- Сельскохозяйственный робот — например, борьба с сорняками без применения химических средств[11].
Примеры
Существующие продукты
.jpg)
- Процессоры машинного зрения:
- Intel Movidius Myriad 2, который является многоядерным ИИ-ускорителем, основанным на VLIW-архитектуре, с дополненными узлами, предназначенными для обработки видео[6].
- Mobileye EyeQ — это специализированный процессор, ускоряющий обработку алгоритмов машинного зрения для использования в беспилотном автомобиле[12].
- Тензорные процессоры:
- Google TPU (англ. Tensor Processing Unit) — представлен как ускоритель для системы Google TensorFlow, которая широко применяется для свёрточных нейронных сетей. Сфокусирован на большом объёме арифметики 8-битной точности[5].
- Intel Nervana NNP (англ. Neural Network Processor) — это первый коммерчески доступный тензорный процессор, предназначенный для постройки сетей глубокого обучения[13], компания Facebook была партнёром в процессе его проектирования[14][15].
- Huawei Ascend 310 / Ascend 910 — первые два чипа оптимизированные под решения задач искусственного интеллекта из линейки Ascend компании Huawei[16].
- Нейроморфные процессоры:
- IBM TrueNorth — нейроморфный процессор, построенный по принципу взаимодействия нейронов, а не традиционной арифметики. Частота импульсов представляет интенсивность сигнала. По состоянию на 2016 год среди исследователей ИИ нет консенсуса, является ли это правильным путём для продвижения[17], но некоторые результаты являются многообещающими, с продемонстрированной большой экономией энергии для задач машинного зрения[18].
- Adapteva Epiphany — предназначен как сопроцессор, включает модель блокнотной памяти сети на кристалле, подходит к модели программирования потоком информации, которая должна подходить для многих задач машинного обучения.
- Cambricon MLU100 — карта расширения PCI Express с ИИ-процессором мощностью 64 TFLOPS с половинной точностью или 128 TOPS для вычислений INT8[19].
- KnuPath — процессор компании KnuEdge, предназначен для работы в системах распознавания речи и прочих отраслях машинного обучения, он использует соединительную технологию LambdaFabric и позволяет объединять в единую систему до 512 тысяч процессоров[20].
GPU-продукты
- Nvidia Tesla — серия специализированных GPGPU-продуктов компании Nvidia[21]:
- Nvidia Volta — графические процессоры (GPU) архитектуры Volta (2017 год) компании Nvidia (такие как Volta GV100), содержат до 640 специальных ядер для тензорных вычислений[1].
- Nvidia Turing — графические процессоры архитектуры Turing (2018 год) компании Nvidia (такие как Nvidia TU104), содержат до 576 специальных ядер для тензорных вычислений[22].
- Nvidia DGX-1 — специализированный сервер, состоящий из 2 центральных процессоров и 8 GPU Nvidia Volta GV100 (5120 тензорных ядер), связанных через быструю шину NVLink[23]. Специализированная архитектура памяти у этой системы является особенно подходящей для построения сетей глубокого обучения[24][25].
- AMD Radeon Instinct — специализированная GPGPU-плата компании AMD, предлагаемая как ускоритель для задач глубокого обучения[26][27].
ИИ-ускорители в виде внутренних сопроцессоров (аппаратных ИИ-блоков)
- Cambricon-1A — NPU-блок в ARM-чипах Huawei Kirin 970 разработанный компанией Cambricon Technologies[28].
- CEVA NeuPro — семейство лицензируемых ИИ-процессоров для глубокого обучения компании CEVA, Inc.[29].
- Neural Engine — ИИ-ускоритель внутри ARM-чипов Apple A11 Bionic и A12 Bionic SoC[30].
- PowerVR 2NX NNA (Neural Network Accelerator) — семейство лицензируемых IP-модулей для машинного обучения компании Imagination Technologies[31].
Научные исследования и разрабатываемые продукты
- Индийский технологический институт в Мадрасе — разрабатывает ускоритель на импульсных нейронах для новых систем архитектуры RISC-V, направленных на обработку больших данных на серверных системах[32].
- Eyeriss — разработка, направлена на свёрточные нейронные сети, с применением блокнотной памяти и сетевой архитектуры в пределах кристалла.
- Fujitsu DLU — многоблочный и многоядерный сопроцессор компании Fujitsu использующий вычисления с низкой точностью и предназначенный для глубокого машинного обучения[33].
- Intel Loihi — нейроморфный процессор компании Intel который сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку. Например при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети[34].
- Kalray — показала MPPA[35] и сообщила о повышении эффективности свёрточных нейронных сетей в сравнении с GPU.
- SpiNNaker — массово-параллельная компьютерная архитектура, которая сочетает ядра традиционной ARM-архитектуры с усовершенствованной сетевой структурой, специализированной для моделирования крупной нейронной сети.
- Zeroth NPU — разработка компании Qualcomm, направленная непосредственно на привнесение возможностей распознавания речи и изображений в мобильные устройства[36].
Примечания
- 1 2 Популярность машинного обучения влияет на эволюцию архитектуры процессоров. Servernews. (31 августа 2017). Проверено 17 ноября 2017.
- ↑ Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор. FindPatent.RU. Проверено 17 ноября 2017.
- ↑ IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн. Компьютерра. (31 марта 2016). Проверено 17 ноября 2017.
- ↑ Intel разрабатывает тензорные процессоры для ИИ. PC Week/RE. (22 ноября 2016). Проверено 17 ноября 2017.
- 1 2 Подробности о тензорном сопроцессоре Google TPU. Servernews. (25 августа 2017). Проверено 17 ноября 2017.
- 1 2 Intel анонсировала процессор машинного зрения Movidius Myriad X. 3DNews. (29 августа 2017). Проверено 17 ноября 2017.
- ↑ Nvidia Drive PX: Scalable AI Supercomputer For Autonomous Driving. Nvidia. Проверено 17 ноября 2017. (англ.)
- ↑ NVIDIA представила Drive PX Pegasus — платформу для автопилота нового поколения. 3DNews (10 октября 2017). Проверено 17 ноября 2017. (рус.)
- ↑ Movidius powers worlds most intelligent drone. (англ.)
- ↑ Qualcomm Research brings server-class machine learning to everyday devices. (англ.)
- ↑ Design of a machine vision system for weed control. (англ.)
- ↑ The Evolution of EyeQ.
- ↑ До конца года Intel выпустит «первую в отрасли микросхему для обработки нейронных сетей» — Intel Nervana Neural Network Processor. iXBT.com (18 октября 2017). Проверено 21 ноября 2017.
- ↑ Intel unveils purpose-built Neural Network Processor for deep learning, Tech Report (17 октября 2017). Проверено 17 ноября 2017.
- ↑ Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon (17 октября 2017). Проверено 17 ноября 2017.
- ↑ Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов», CNews (23 октября 2018). Проверено 24 октября 2018.
- ↑ Ян ЛеКун про IBM TrueNorth. (англ.)
- ↑ IBM cracks open new era of neuromorphic computing. — «TrueNorth is incredibly efficient: The chip consumes just 72 milliwatts at max load, which equates to around 400 billion synaptic operations per second per watt — or about 176,000 times more efficient than a modern CPU running the same brain-like workload, or 769 times more efficient than other state-of-the-art neuromorphic approaches». (англ.)
- ↑ Китайская компания Cambricon разрабатывает чипы ИИ для дата-центров.
- ↑ KnuPath — нейроморфный процессор военного назначения. 3DNews. (9 июня 2016). Проверено 17 ноября 2017.
- ↑ Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google. «Открытые системы». (1 июня 2016). Проверено 17 ноября 2017.
- ↑ Что принесёт на рынок новая архитектура NVIDIA Turing?. 3DNews. (14.08.2018). Проверено 17 августа 2018.
- ↑ Эра NVIDIA Volta началась с ускорителя Tesla V100. Servernews. (11 мая 2017). Проверено 17 ноября 2017.
- ↑ GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением. Servernews. (12 октября 2017). Проверено 17 ноября 2017.
- ↑ Новый российский суперкомпьютер предназначен для обучения нейросетей. Servernews. (1 сентября 2017). Проверено 17 ноября 2017.
- ↑ AMD Announces Radeon Instinct: GPU Accelerators for Deep Learning, Coming in 2017, Anandtech (12 декабря 2016). Проверено 12 декабря 2016.
- ↑ Radeon Instinct Machine Learning GPUs include Vega, Preview Performance, PC Per (12 декабря 2016). Проверено 12 декабря 2016.
- ↑ Huawei представляет будущее мобильного искусственного интеллекта на IFA 2017.
- ↑ CEVA NeuPro. A Family of AI Processors for Deep Learning at the Edge.
- ↑ The iPhone X’s new neural engine exemplifies Apple’s approach to AI, The Verge (13 сентября 2017). Проверено 17 ноября 2017.
- ↑ Imagination представила новые ИИ-ускорители PowerVR 2NX, 3DNews (8 июня 2018). Проверено 15 июня 2018.
- ↑ India preps RISC-V Processors - Shakti targets servers, IoT, analytics. — «The Shakti project now includes plans for at least six microprocessor designs as well as associated fabrics and an accelerator chip». (англ.)
- ↑ Fujitsu разрабатывает специализированный процессор для систем ИИ. Servernews. (24 июля 2017). Проверено 17 ноября 2017.
- ↑ Intel представила нейроморфный процессор Loihi. 3DNews. (26 сентября 2017). Проверено 17 ноября 2017.
- ↑ Kalray MPPA. (англ.)
- ↑ Qualcomm показала нейропроцессор Zeroth. Logmag.net (16 октября 2013). Проверено 17 ноября 2017.
Ссылки
- Популярность машинного обучения влияет на эволюцию архитектуры процессоров. Servernews. (31 августа 2017). Проверено 17 ноября 2017.
 |
Это заготовка статьи об аппаратном обеспечении. Вы можете помочь проекту, дополнив её. |
 Технологии цифровых процессоров | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| Архитектура | |||||||||
| Архитектура набора команд | |||||||||
| Машинное слово | |||||||||
| Параллелизм |
| ||||||||
| Реализации | |||||||||
| Компоненты | |||||||||
| Управление питанием | |||||||||
Данная страница на сайте WikiSort.ru содержит текст со страницы сайта "Википедия".
Если Вы хотите её отредактировать, то можете сделать это на странице редактирования в Википедии.
Если сделанные Вами правки не будут кем-нибудь удалены, то через несколько дней они появятся на сайте WikiSort.ru .