WikiSort.ru - Не сортированное

ПОИСК ПО САЙТУ | о проекте
Машинное обучение и
data mining
Насекомое управляется ИмНС для поиска цели в неизвестной местности.
Классификация комплексированных изображений, поступающих с двух систем технического зрения, в реальном времени силами ИмНС глубинного обучения.

Импульсная нейронная сеть (ИмНС, англ. Pulsed neural networks, PNN) или Спайковая нейронная сеть (СНН, англ. Spiking neural network, SNN) — третье поколение искусственных нейронных сетей (ИНС)[1], которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1-2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ). Является самой реалистичной, с точки зрения физиологии, моделью ИНС[2][3][4].

История

Истоки

Первая научная модель импульсной нейронной сети была предложена Аланом Ходжкином и Эндрю Хаксли в 1952 году. Эта модель описывала как потенциалы действия возникают и распространяются. Импульсы, однако, как правило, не передаются непосредственно между нейронами. Связь требует обмена химическими веществами, которые называются нейротрансмиттерами, в синаптической щели[5].

С точки зрения теории информации, проблема заключается в отсутствии модели, которая бы объясняла, как кодируется информация и декодируются серии последовательностей импульсов, то есть потенциалы действия. Для нейробиологии всё еще открытым является вопрос: нейроны связываются с помощью частотного или временного кодирования[6]? С помощью временного кодирования один импульсный нейрон может заменять сотни скрытых элементов частотной нейронной сети[1].

Современные исследования

В настоящее время существует два направления исследования ИмНС[2]:

  1. создание компьютерных моделей, точно повторяющих модели функционирования нейронов реального мозга, благодаря чему станет возможным как объяснение механизмов его работы, так и диагностика/лечение заболеваний и травм ЦНС;
  2. создание компьютерных моделей, абстрактно повторяющих модели функционирования нейронов реального мозга, что позволит использовать все преимущества реального мозга, таких как помехозащищенность и энергоэффективность, при анализе больших объемов данных.

Устройство

Импульсная нейронная сеть с одним скрытым слоем

Принцип работы

Сеть получает на входы серию импульсов и выдаёт импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса[7].

Модели нейронов

Способы моделирования нейронов ИмНС можно разделить на две группы[4][8]:

  1. Модель Ходжкина — Хаксли;
  2. Модель Ижикевича;
  3. Модель ФитцХью — Нагумо;
  4. Модель Хиндмарша — Роуза[en];
  5. Модель Морриса — Лекара[en];
  6. Модель Уилсона — Кована[en];
  7. Модель Гальвеса — Лёхербаха[en];
  8. Многокамерная модель[en];
  9. Кабельная теория дендритов.
  • модели порогового значения — порождают импульс при определенном уровне напряжения.
  1. Метод «интегрировать-и-сработать»;
  2. Метод «интегрировать-и-сработать» с утечками.

Представление информации

Способ представления информации в импульсных нейросетях: фазовый.
Способ представления информации в импульсных нейросетях: синхронный.
Способ представления информации в ИмНС: время до появления первого импульса.
Способ представления информации в ИмНС: порядковый.
Способ представления информации в ИмНС: интервальный.

В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты)[3]. Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов[9].

Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации[3][8][10][4]:

  1. фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного ритма головного мозга);
  2. синхронный (позиционный/пространственный/популяционный) — информация о сигнале задается синхронной активностью различных групп нейронов, и, как следствие, синхронным (или в пределах некоторого окна) появлением импульсов на определенных выходах сети (например, реагирующие на высокие и низкие частоты слуховые рецепторы улитки уха находятся в разных зонах);
  3. время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
  4. порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
  5. интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
  6. резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).

Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:

  1. пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
  2. популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.

Устройство

Архитектуры ИмНС можно разделить на следующие группы[8]:

  1. Нейросеть прямого распространения[en] (НПР) — данные передаются строго в одном направлении: от входов к выходам, обратные связи отсутствуют, а обработка может проходить по множеству слоев;
  2. Рекуррентная нейронная сеть (РНС) — отдельные нейроны/популяции нейронов взаимодействуют друг с другом, то есть имеется обратная связь. ИНС такого вида обладают собственной динамикой и высокой вычислительной способностью;
  3. Смешанная нейронная сеть[en] — внутри ИНС некоторые популяции нейронов относятся к виду НПР, а некоторые — к РНС. Взаимодействие между популяциями может быть как однонаправленным, так и взаимным.
  1. Синхронное возбуждение цепи[en] — представляет собой многослойную цепь, в которой импульсная активность может распространяться в виде синхронной волны передачи пачек импульсов от одной популяции к последующей;
  2. Резервуарные вычисления[en] — резервуарная ИНС состоит из резервуара, исполненного по рекуррентному виду, и выходных нейронов.

Методы обучения

Методы обучения ИмНС делятся на три группы[10][8][11]:

  1. Модель пластичности, зависимая от времени импульса[en] (англ. Spike-timing-dependent plasticity (STDP));
  2. Растущие импульсные нейронные сети (англ. Growing spiking neural networks);
  3. ABS правило (англ. Artola, Bröcher, Singer (ABS) rule);
  4. BCM правило (англ. Bienenstock, Cooper, Munro (BCM) rule);
  5. Отношение между правилами BCM и STDP (англ. Relationship between BCM and STDP rules);
  6. Общее обучение без учителя (англ. General unsupervised learning).
  1. SpikeProp (англ. SpikeProp);
  2. Методы глубокого обучения (англ. Deep learning);
  3. Дистанционный метод обучения с учителем (англ. Remote Supervised Method (ReSuMe));
  4. FreqProp (англ. FreqProp);
  5. Местный управляемый ошибкой ассоциативный биологические реалистичный алгоритм[en] (англ. Local error-driven associative biologically realistic algorithm (LEABRA));
  6. Обучение по Хеббу с учителем (англ. Supervised Hebbian Learning).
  1. Импульсный метод актера и критика (англ. Spiking actor-critic);
  2. Обучение с подкреплением с помощью размеренно-поощряющей модели STDP (англ. RL through reward-modulated STDP).

Качественные характеристики

Преимущества

Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений[12]:

  1. ИмНС являются динамическими, а значит отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений)[2];
  2. ИмНС обладают многозадачностью, ведь входные данные обрабатываются в нейронной сети с обратными связями, а разные группы считывающих нейронов могут быть обучены на решение разных задач;
  3. ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
  4. ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
  5. ИмНС имеют повышенную продуктивность обработки информации и помехоустойчивость, так как используют временно́е представление информации;
  6. ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона (возбуждающий и тормозящий) классической ИНС;
  7. ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС[13];
  8. ИмНС могут обучаться в процессе работы[14].

Недостатки

  1. ИмНС нецелесообразно использовать в системах с малым числом нейронов;
  2. Не существует совершенного алгоритма обучения.

Реализации

Красными точками отмечены первые по мощности суперкомпьютеры из TOP500 за соответствующие годы. Синие и зеленые горизонтальные линии отражают оценочные (по Рэймонду Курцвейлу) требования к производительности (выраженной в FLOPS) суперкомпьютеров для эмуляции соответствующих уровней человеческого мозга[15]. Таким образом, при удвоении мощности каждые 1.1 года, в 2019 году появится первый суперкомпьютер (1018 FLOPS ЦП и 104 Tb ОЗУ), способный полноценно эмулировать деятельность импульсной нейросети.

Программные

Программное обеспечение, которое используется, в основном, для имитации импульсных нейронных сетей и используемые биологами для изучения их работы, свойств и характеристик. Позволяет моделировать с высоким уровнем детализации и точности, но требуют большого времени моделирования.

Программное обеспечение, которое может использоваться для решения реальных, а не теоретических задач. Моделирование в них проходит очень быстро, но не позволяет моделировать сложные, то есть биологически реалистичные, модели нейронов.

Программное обеспечение, которое работает достаточно эффективно для того, чтобы моделирование проходило быстро, иногда даже в режиме реального времени, но, в то же время, оно способно использовать нейронные модели, которые подробно описаны и биологически правдоподобным. Все это очень удобно для задач обработки информации.

Аппаратные

Использующее существующую архитектуру пользователя:

Использующее свою, специализированную, архитектуру:

Применение

Протезирование

Зрительные и слуховые нейропротезы, использующие последовательности импульсов для подачи сигналов в зрительную кору, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона, дистонии, хронических болей, МДП и шизофрении[2].

Робототехника

Brain Corporation из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры[2][8].

Компьютерное зрение

Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов, что позволяет симулировать работу нейронов зрительной коры. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт[2].

Телекоммуникации

Qualcomm занимается исследованием возможности применения ИмНС в телекоммуникационных устройствах[2].

Примечания

  1. 1 2 Maas, Wolfgang (1997). “Networks of spiking neurons: The third generation of neural network models”. Neural Networks. 10: 1659–1671. DOI:10.1016/S0893-6080(97)00011-7.
  2. 1 2 3 4 5 6 7 Как исследования нейронных сетей перешли из лабораторий в компании?
  3. 1 2 3 Самоорганизация импульсных нейронных сетей
  4. 1 2 3 Gerstner, Wulfram and Kistler, Werner M. Spiking Neuron Models: Single Neurons, Populations, Plasticity. — Cambridge, U.K.: Cambridge university press, 2002.
  5. ↑ Hodgkin, Alan L; Huxley., Andrew F (1952). “A quantitative description of membrane current and its application to conduction and excitation in nerve”. The Journal of physiology. 117: 500—544.
  6. ↑ Wulfram Gerstner. Spiking Neurons // Pulsed Neural Networks. — MIT Press, 2001. — ISBN 0-262-63221-7.
  7. ↑ Головинов Михаил Викторович, Об автоматическом распознавании речи (недоступная ссылка). Проверено 16 октября 2016. Архивировано 11 июня 2015 года.
  8. 1 2 3 4 5 Ponulak, Filip; Kasinski, Andrzej (2010). “Introduction to spiking neural networks: Information processing, learning and applications”. Acta neurobiologiae experimentalis. 71: 409–433.
  9. ↑ Борисюк Г. Н.; Борисюк Р. М.; Казанович Я. Б.; Иваницкий Г. Р. (2002). “Модели динамики нейронной активности при обработке информации мозгом — итоги «десятилетия»”. Успехи физических наук. 172: 1189–1214. DOI:10.3367/UFNr.0172.200210d.1189.
  10. 1 2 Коденко Никита Игоревич, Методы обучения импульсных нейронных сетей
  11. ↑ Bekolay, Trevor (2011). “Learning in large-scale spiking neural networks”.
  12. ↑ Колесницкий О. К., Бокоцей И. В., Яремчук С. С. Аппаратная реализация элементов импульсных нейронных сетей с использованием биспин-приборов, Часть 1 // XII Всеросиийская научно-техническая конференция «Нейроинформатика». — Москва: МИФИ, 2010. — С. 122—127.
  13. ↑ Синявский Олег Юрьевич. Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации. — Москва, 2011.
  14. ↑ Скнар И.И. Концепция построения биологически правдоподобной искусственной нейронной сети // Нейро-нечіткі технології моделювання в економіці / А. В. Матвійчук. — Київ: КНЕУ, 2014. — Т. 3. — С. 188-218.
  15. ↑ Roadmap p.11 «Given the complexities and conceptual issues of consciousness we will not examine criteria 6abc, but mainly examine achieving criteria 1‐5.»

Данная страница на сайте WikiSort.ru содержит текст со страницы сайта "Википедия".

Если Вы хотите её отредактировать, то можете сделать это на странице редактирования в Википедии.

Если сделанные Вами правки не будут кем-нибудь удалены, то через несколько дней они появятся на сайте WikiSort.ru .



Текст в блоке "Читать" взят с сайта "Википедия" и доступен по лицензии Creative Commons Attribution-ShareAlike; в отдельных случаях могут действовать дополнительные условия.

Другой контент может иметь иную лицензию. Перед использованием материалов сайта WikiSort.ru внимательно изучите правила лицензирования конкретных элементов наполнения сайта.

2019-2024
WikiSort.ru - проект по пересортировке и дополнению контента Википедии