WikiSort.ru - Не сортированное

ПОИСК ПО САЙТУ | о проекте

База данных MNIST (сокращение от «Modified National Institute of Standards and Technology») — объёмная база данных образцов рукописного написания цифр. База данных является стандартом, предложенным Национальным институтом стандартов и технологий США с целью калибрации и сопоставления методов распознавания изображений с помощью машинного обучения в первую очередь на основе нейронных сетей[1][2]. Данные состоят из заранее подготовленных примеров изображений, на основе которых проводится обучение и тестирование систем[3][4]. База данных была создана после переработки оригинального набора чёрно-белых образцов размером 20x20 пикселей NIST. Создатели базы данных NIST, в свою очередь, использовали набор образцов из Бюро переписи населения США, к которому были добавлены ещё тестовые образцы, написанные студентами американских университетов[5]. Образцы из набора NIST были нормализированы, прошли сглаживание и приведены к серому полутоновому изображению размером 28x28 пикселей[5].

База данных MNIST содержит 60000 изображений для обучения и 10000 изображений для тестирования[6]. Половина образцов для обучения и тестирования были взяты из набора NIST для обучения, а другая половина — из набора NIST для тестирования[7].

Производились многочисленные попытки достичь минимальной ошибки после обучения по базе данных MNIST, которые обсуждались в научной литературе. Рекордные результаты указывались в публикациях, посвящённых использованию свёрточных нейронных сетей, уровень ошибки был доведён до 0,23 %[8]. Сами создатели базы данных предусмотрели несколько методов тестирования[5]. В оригинальной работе указывается, что использование метода опорных векторов позволяет достичь уровня ошибки 0,8 %[9].

Качество результата и развитие подходов

В некоторых работах отмечают высокие результаты систем, построенных на ансамблях из нескольких нейронных сетей; при этом качество распознавания цифр для базы MNIST оказывается сравнимым с уровнем человека, а для других задач распознавания, в частности, для дорожных знаков — даже в два раза лучше[8].

На оригинальных страницах создателей[5] отмечаются ошибки в 12 % при использовании простых линейных классификаторов без предварительной обработки[9].

В 2004 году система LIRA, использующая трёхслойный перцептрон Розенблатта, получила уровень ошибки 0,42 %[10].

Проводились исследование на обучении по системе MNIST с использованием случайных искажений. В качестве искажений вводились аффинные или упругие преобразования[5]. Иногда такие системы достигали хороших показателей, в частности имеются публикации про уровень ошибки 0,39 %[11].

В 2011 был достигнут уровень ошибок 0,27 % при использовании нейронных сетей[12]. В 2013 появились публикации о достижении ошибки 0,21 %, используя регуляризацию нейронных сетей (через разрывы соединений DropConnect)[13].

Позднее применение одиночной свёрточной нейронной сети позволило улучшить качество до уровня ошибки 0,31 %[14]. Самый лучший результат на одиночной свёрточной нейронной сети показала система, полученная после 74 эпох обучения — 0,27 %[15]. Однако ансамбль из пяти свёрточных нейронных сетей позволил добиться 0,21 % уровня ошибок[16][17]. В 2018 году исследователи, использующие Random Multimodel Deep Learning (RMDL), сообщили об ошибке в размере 0,18 процента, улучшив предыдущий наилучший результат: новый ансамбль, метод глубокого обучения для классификации [18].

Сопоставление систем

В таблице собраны примеры результатов машинного обучения в различных системах классификации изображений:[19]

ТипСтруктураИскаженияПредварительная обработкаОшибка (%)
Линейный классификаторОдноуровневый перцептронНетНет12[8]
Линейный классификаторПопарный линейный классификаторНетВыравнивание7.6[9]
Метод k ближайших соседейK-NN с нелинейной деформацией (P2DHMDM)НетShiftable edges0.52[20]
Gradient boostingОбработка остатков на базе признаков ХаараНетПризнаки Хаара0.87[21]
Нелинейный классификатор40 PCA + квадратичный классификаторНетНет3.3[9]
Метод опорных векторовВиртуальна система опорных векторов, deg-9 poly, 2-pixel jitteredНетВыравнивание0.56[22]
Нейронная сеть2-уровневая сеть 784-800-10НетНет1.6[23]
Нейронная сеть2-уровневая сеть 784-800-10Упругие деформацииНет0.7[23]
Глубокая нейронная сеть6-уровневая сеть 784-2500-2000-1500-1000-500-10Упругие деформацииНет0.35[24]
Свёрточная нейронная сеть6-уровневая сеть 784-40-80-500-1000-2000-10НетРасширение данных для обучения0.31[14]
Свёрточная нейронная сеть6-уровневая сеть 784-50-100-500-1000-10-10НетРасширение данных для обучения0.27[15]
Свёрточная нейронная сетьАнсамбль из 35 CNN-сетей, 1-20-P-40-P-150-10Упругие деформацииС нормализацией0.23[8]
Свёрточная нейронная сетьАнсамбль из 5 CNN-сетей, 6-уровней 784-50-100-500-1000-10-10НетРасширение данных для обучения0.21[16]
Случайное мультимодельное глубокое обучение (RMDL)30 моделей случайного глубокого отскакивания (RDL) (10 CNN, 10 RNN и 10 DNN)НетНет0.18[18]

См. также

Примечания

  1. ↑ Support vector machines speed pattern recognition - Vision Systems Design. Vision Systems Design. Проверено 17 августа 2013.
  2. ↑ Gangaputra, Sachin Handwritten digit database. Проверено 17 августа 2013.
  3. ↑ Qiao, Yu THE MNIST DATABASE of handwritten digits (2007). Проверено 18 августа 2013.
  4. ↑ Platt, John C. (1999). “Using analytic QP and sparseness to speed training of support vector machines” (PDF). Advances in Neural Information Processing Systems: 557—563. Архивировано из оригинала (PDF) 2016-03-04. Проверено 18 August 2013. Используется устаревший параметр |deadlink= (справка)
  5. 1 2 3 4 5 LeCun, Yann MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges. Проверено 17 августа 2013.
  6. ↑ Kussul, Ernst; Tatiana Baidyk (2004). “Improved method of handwritten digit recognition tested on MNIST database”. Image and Vision Computing. 22 (12): 971—981. DOI:10.1016/j.imavis.2004.03.008.
  7. ↑ Zhang, Bin; Sargur N. Srihari (2004). “Fast k -Nearest Neighbor Classification Using Cluster-Based Trees” (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (4): 525—528. DOI:10.1109/TPAMI.2004.1265868. PMID 15382657. Проверено 18 August 2013.
  8. 1 2 3 4 Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber (2012). “Multi-column deep neural networks for image classification” (PDF). 2012 IEEE Conference on Computer Vision and Pattern Recognition: 3642—3649. arXiv:1202.2745. DOI:10.1109/CVPR.2012.6248110. ISBN 978-1-4673-1228-8.
  9. 1 2 3 4 LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). “Gradient-Based Learning Applied to Document Recognition” (PDF). Proceedings of the IEEE 86. 86 (11): 2278—2324. DOI:10.1109/5.726791. Проверено 18 August 2013.
  10. ↑ Kussul, Ernst; Tatiana Baidyk (2004). “Improved method of handwritten digit recognition tested on MNIST database” (PDF). Image and Vision Computing. 22: 971—981. DOI:10.1016/j.imavis.2004.03.008. Архивировано из оригинала (PDF) 2013-09-21. Проверено 20 September 2013. Используется устаревший параметр |deadlink= (справка)
  11. ↑ Ranzato, Marc’Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun (2006). “Efficient Learning of Sparse Representations with an Energy-Based Model” (PDF). Advances in Neural Information Processing Systems. 19: 1137—1144. Проверено 20 September 2013.
  12. ↑ Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber (2011). “Convolutional neural network committees for handwritten character classification” (PDF). 2011 International Conference on Document Analysis and Recognition (ICDAR): 1135—1139. DOI:10.1109/ICDAR.2011.229. Проверено 20 September 2013.
  13. ↑ Wan, Li (2013). "Regularization of Neural Network using DropConnect" in International Conference on Machine Learning(ICML).. 
  14. 1 2 Romanuke, Vadim The single convolutional neural network best performance in 18 epochs on the expanded training data at Parallel Computing Center, Khmelnitskiy, Ukraine. Проверено 16 ноября 2016.
  15. 1 2 Romanuke, Vadim Parallel Computing Center (Khmelnitskiy, Ukraine) gives a single convolutional neural network performing on MNIST at 0.27 percent error rate.. Проверено 24 ноября 2016.
  16. 1 2 Romanuke, Vadim Parallel Computing Center (Khmelnitskiy, Ukraine) represents an ensemble of 5 convolutional neural networks which performs on MNIST at 0.21 percent error rate.. Проверено 24 ноября 2016.
  17. ↑ Romanuke, Vadim (2016). “Training data expansion and boosting of convolutional neural networks for reducing the MNIST dataset error rate” (PDF). Research Bulletin of NTUU “Kyiv Polytechnic Institute”. 6: 29–34. DOI:10.20535/1810-0546.2016.6.84115. Проверено 17 February 2019.
  18. 1 2 Kowsari, Kamran RMDL: Random Multimodel Deep Learning for Classification (3 мая 2018).
  19. ↑ Le Cunn, THE MNIST DATABASE of handwritten Digits
  20. ↑ Keysers, Daniel; Thomas Deselaers; Christian Gollan; Hermann Ney (August 2007). “Deformation models for image recognition”. EEE Transactions on Pattern Analysis and Machine Intelligence. 29 (8): 1422—1435. Проверено 27 August 2013.
  21. ↑ Kégl, Balázs; Róbert Busa-Fekete (2009). “Boosting products of base classifiers” (PDF). Proceedings of the 26th Annual International Conference on Machine Learning: 497—504. Проверено 27 August 2013.
  22. ↑ DeCoste and Scholkopf, MLJ 2002
  23. 1 2 Patrice Y. Simard; Dave Steinkraus; John C. Platt (2003). “Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis”. Document Analysis and Recognition, 2003. Proceedings. Seventh International Conference on. IEEE. DOI:10.1109/ICDAR.2003.1227801.
  24. ↑ Ciresan, Claudiu Dan; Dan, Ueli Meier, Luca Maria Gambardella, and Juergen Schmidhuber (December 2010). “Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition”. Neural Computation. 22 (12). arXiv:1003.0358. DOI:10.1162/NECO_a_00052. Используется устаревший параметр |coauthors= (справка)

Литература

Ссылки

Данная страница на сайте WikiSort.ru содержит текст со страницы сайта "Википедия".

Если Вы хотите её отредактировать, то можете сделать это на странице редактирования в Википедии.

Если сделанные Вами правки не будут кем-нибудь удалены, то через несколько дней они появятся на сайте WikiSort.ru .



Текст в блоке "Читать" взят с сайта "Википедия" и доступен по лицензии Creative Commons Attribution-ShareAlike; в отдельных случаях могут действовать дополнительные условия.

Другой контент может иметь иную лицензию. Перед использованием материалов сайта WikiSort.ru внимательно изучите правила лицензирования конкретных элементов наполнения сайта.

2019-2024
WikiSort.ru - проект по пересортировке и дополнению контента Википедии