WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Минимизация эмпирического риска (МЭР, англ. Empirical risk minimization, ERM) — это принцип статистической теории обучения, который определяет семейство алгоритмов обучения и который задаёт теоретические границы производительности.

Основания

Рассмотрим следующую ситуацию, которая является основной установкой многих задач обучения с учителем. Мы имеем два пространства объектов ${\displaystyle X}$ и ${\displaystyle Y}$ и хотели бы обучить функцию ${\displaystyle \ h:X\to Y}$ (часто называемую гипотезой), которая сопоставляет объект ${\displaystyle y\in Y}$ объекту ${\displaystyle x\in X}$ . Чтобы это сделать, мы имеем в распоряжении тренировочный набор из ${\displaystyle n}$ экземпляров ${\displaystyle \ (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ , где ${\displaystyle x_{i}\in X}$ является входом, а ${\displaystyle y_{i}\in Y}$ является соответствующим ответом, который мы хотим получить от ${\displaystyle \ h(x_{i})}$ .

Чтобы изложить более формально, предположим, что существует совместное распределение ${\displaystyle P(x,y)}$ над ${\displaystyle X}$ и ${\displaystyle Y}$ , и что тренировочный набор состоит из ${\displaystyle n}$ экземпляров ${\displaystyle \ (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ , выбранных из независимых случайно распределённых величин из ${\displaystyle P(x,y)}$ . Заметим, что предположение совместного распределения позволяет моделировать неопределённость в предсказании (например, из-за шума в данных), поскольку ${\displaystyle y}$ не является детерминированной функцией от ${\displaystyle x}$ , а скорее случайной величиной с условным распределением ${\displaystyle P(y|x)}$ для фиксированного ${\displaystyle x}$ .

Предположим также, что нам дана неотрицательная вещественнозначная функция потерь ${\displaystyle L({\hat {y}},y)}$ , которая измеряет, насколько отличается предсказание ${\displaystyle {\hat {y}}}$ гипотезы от истинного выхода ${\displaystyle y.}$ Риск^[en], ассоциированный с гипотезой ${\displaystyle h(x)}$ , определяется тогда как математическое ожидание функции потерь:

${\displaystyle R(h)=\mathbf {E} [L(h(x),y)]=\int L(h(x),y)\,dP(x,y).}$

Часто в качестве функции потерь в теории используется 0-1 функция потерь: ${\displaystyle L({\hat {y}},y)=I({\hat {y}}\neq y)}$ , где ${\displaystyle I(\dots )}$ означает индикатор.

Высшей целью алгоритма обучения является поиск гипотезы ${\displaystyle h^{*}}$ в фиксированном классе функций ${\displaystyle {\mathcal {H}}}$ , для которых риск ${\displaystyle R(h)}$ минимален:

${\displaystyle h^{*}=\arg \min _{h\in {\mathcal {H}}}R(h).}$

Минимизация эмпирического риска

В общем случае риск ${\displaystyle R(h)}$ не может быть вычислен, поскольку распределение ${\displaystyle P(x,y)}$ неизвестно для обучающего алгоритма (эта ситуация называется агностическим обучением). Однако мы можем вычислить приближение, называемое эмпирическим риском, путём усреднения функции потерь на тренировочном множестве:

${\displaystyle \!R_{\text{emp}}(h)={\frac {1}{n}}\sum _{i=1}^{n}L(h(x_{i}),y_{i}).}$

Принцип минимизации эмпирического риска (МЭР) ^[1] утверждает, что алгоритм обучения должен выбирать гипотезу ${\displaystyle {\hat {h}}}$ , которая минимизирует риск:

${\displaystyle {\hat {h}}=\arg \min _{h\in {\mathcal {H}}}R_{\text{emp}}(h).}$

Тогда алгоритм обучения, определённый принципом МЭР состоит в решении вышеуказанной задачи оптимизаци.

Свойства

См. также

• Метод максимального правдоподобия

Примечания

Литература

Литература для дальнейшего чтения

• Vapnik V. The Nature of Statistical Learning Theory. — 2000. — (Information Science and Statistics). — ISBN 978-0-387-98780-4.

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии.