WikiSort.ru - Не сортированное

Стиль этой статьи неэнциклопедичен или нарушает нормы русского языка. Статью следует исправить согласно стилистическим правилам Википедии.

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Глубокая сеть доверия (ГСД, англ. deep belief network, DBN) — это порождающая графическая модель, или, иначе, один из типов глубинных нейронных сетей, состоящая из нескольких скрытых слоев, в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя.^[1]

При обучении на наборе примеров^[en] спонтанным образом ГСД может обучаться вероятностно отстраивать свои входы. Слои, в этом случае, выступают в роли детекторов признаков входов.^[1] По окончании обучения ГСД может быть обучена способом Обучения с учителем для осуществления классификации.^[2]

ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ)^[1] или автокодировщики,^[3] в которой скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя, в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоев (на видимый слой которой подается тренировочный набор примеров^[en]).

Наблюдение, сделанное англ. Yee-Whye Teh, учеником Джеффри Хинтона,^[2] говорит о том, что ГСД может быть обучена способом жадного послойного обучения, что стало одним из первых действенных алгоритмов глубинного обучения.^[4]:6:6

Алгоритм обучения

Алгоритм тренировки ГСД работает следующим образом.^[2] Пусть X будет матрицей входов, что рассматривается как набор признаков.

1. Представить два нижних слоя (входной и первый скрытый) как ограниченную машину Больцмана (ОМБ). Обучить её на входных данных X и получить матрицу ее весовых коэффициентов W, которая будет описывать связи между двумя нижними слоями сети.
2. Пропустить через обученную машину Больцмана входные данные X и получить данные скрытого слоя X' на выходе после активации узлов первого скрытого слоя.
3. Повторять эту процедуру с X ← X' для каждой следующей пары слоев, пока не будет обучены два самых верхних слоя сети.
4. Осуществить тонкую настройку всех параметров этой глубокой сети с сохранением логарифмического правдоподобия ГСД, или с использованием обучения с учителем (после добавления дополнительных механизмов обучения для выполнения обученной сетью работы, например, линейно-сепарабельного классификатора).

См. также

• Байесовская сеть
• Глубинное обучение

Примечания

Ссылка

• LISA Lab. Глубокая сеть доверия (неопр.). (англ.)
• Пример: Глубокая сеть доверия (неопр.). (англ.)