WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Функция и данные с шумом.

разброс = 5

разброс = 1

разброс = 0.1

Функция (красный цвет) аппроксимирована с помощью радиально-базисных функций (РБФ) (синий цвет). На каждом графике показано несколько испытаний. Для каждого испытания в качестве тренировочного набора использовались некоторые точки из выборки с шумом (верхний график). При широком разбросе (график 2) смещение высоко, РБФ не могут полностью аппроксимировать функцию (особенно центральную яму), но дисперсия между испытаниями мала. По мере увеличения разброса (графики 3 и 4) смещение возрастает, синяя кривая ближе аппроксимирует красную кривую. Однако дисперсия между испытаниями растёт. На нижнем графике приближённое значение в точке x=0 сильно зависят от расположения точек выборки.

Дилемма смещения–дисперсии в статистике и в машинном обучении — это свойство набора моделей предсказания, по которому модели с меньшим смещением в параметре оценки имеют более высокую дисперсию оценки параметра в выборках и наоборот. Дилемма или проблема смещения–дисперсии является конфликтом в попытке одновременно минимизировать эти два источника ошибки^[en], которые мешают алгоритмам обучения с учителем делать обобщение за пределами тренировочного набора^[en].

• Смещение — это ошибка, возникающая в результате ошибочного предположения в алгоритме обучения. В результате большого смещения алгоритм может пропустить связь между признаками и выводом (недообучение).
• Дисперсия — это ошибка чувствительности к малым отклонениям в тренировочном наборе. При высокой дисперсии алгоритм может как-то трактовать случайный шум^[en] в тренировочном наборе, а не желаемый результат (переобучение).

Разложение смещения–дисперсии — это способ анализа ожидаемой ошибки обобщения^[en] алгоритма обучения для частной задачи сведением к сумме трёх членов — смещения, дисперсии и величины, называемой неустранимой погрешностью, которая является результатом шума в самой задаче.

Дилемма возникает во всех формах [Обучение с учителем|обучения с учителем]] — в классификации, регрессии (аппроксимация функции)^[1][2] и структурном обучении^[en]. Дилемма также вовлекается для объяснения эффективности эвристики при обучении людей^[3].

Побудительные причины

Дилемма смещения–дисперсии является центральной проблемой в обучении с учителем. В идеале, хотят выбрать модель, которая точно схватывает закономерности в тренировочных данных и способна обобщить хорошо на неизвестные данные. К сожалению, обычно это невозможно сделать одновременно. Методы обучения с высокой дисперсией могут хорошо представлять тренировочный набор, но имеют риск быть переобученными для данных с шумом или непрезентативных данных. В отличие от них, алгоритмы с низкой дисперсией обычно дают более простые модели, не склонно к переобучению, но может оказаться недообученным, что приводит к пропуску важных свойств.

Модели с малым смещением обычно более сложны (например, в них регрессионные многочлены имеют более высокий порядок), что позволяет им представлять тренировочное множество более точно. Однако они могут иметь большую компоненту шума^[en] тренировочного набора, что делает предсказание менее точным вопреки добавленной сложности. Для контраста, модели с высоким смещением относительно более просты (имеют многочлены меньшего порядка или даже линейные), но могут давать низкую дисперсию предсказаний, если применяются вне тренировочного набора.

Разложение смещения–дисперсии квадратичной ошибки

Предположим, что у нас есть тренировочное множество, состоящее из набора точек ${\displaystyle x_{1},\dots ,x_{n}}$ и вещественных значений ${\displaystyle y_{i}}$ , связанных с каждой из этих точек ${\displaystyle x_{i}}$ . Мы предполагаем, что есть функция с шумом ${\displaystyle y=f(x)+\varepsilon }$ , где шум ${\displaystyle \varepsilon }$ имеет нулевое среднее и дисперсию ${\displaystyle \sigma ^{2}}$ .

Мы хотим найти функцию ${\displaystyle {\hat {f}}(x)}$ , которая аппроксимирует истинную функцию ${\displaystyle f(x)}$ настолько хорошо, насколько возможно, в смысле некоторого алгоритма обучения. Мы делаем понятие «настолько хорошо, насколько возможно» точным путём измерения среденквадратичной ошибки^[en] между ${\displaystyle y}$ и ${\displaystyle {\hat {f}}(x)}$ — мы хотим, чтобы значение ${\displaystyle (y-{\hat {f}}(x))^{2}}$ было минимальным как для точек ${\displaystyle x_{1},\dots ,x_{n}}$ , так и за пределами нашей выборки. Естественно, мы не можем сделать это идеально, поскольку ${\displaystyle y_{i}}$ содержит шум ${\displaystyle \varepsilon }$ . Это означает, что мы должны быть готовы принять неустранимую ошибку в любой функции, с которой будем работать.

Поиск функции ${\displaystyle {\hat {f}}}$ , которая обобщается для точек вне тренировочного набора, может быть осуществлён любым из несчётного числа алгоритмов, используемых для обучения с учителем. Оказывается, что какую бы функцию ${\displaystyle {\hat {f}}}$ мы ни выбрали, мы можем разложить её ожидаемую ошибку на непросмотренном экземпляре данных ${\displaystyle x}$ следующим образом:^[4][5].

${\displaystyle {\begin{aligned}\operatorname {E} {\Big [}{\big (}y-{\hat {f}}(x){\big )}^{2}{\Big ]}&={\Big (}\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}{\Big )}^{2}+\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}+\sigma ^{2}\\\end{aligned}}}$ ,

где

${\displaystyle {\begin{aligned}\operatorname {Bias} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} {\big [}{\hat {f}}(x)-f(x){\big ]}\end{aligned}}}$

и

${\displaystyle {\begin{aligned}\operatorname {Var} {\big [}{\hat {f}}(x){\big ]}=\operatorname {E} [{\hat {f}}(x)^{2}]-{\Big (}\operatorname {E} [{\hat {f}}(x)]{\Big )}^{2}\end{aligned}}}$

Математические ожидания пробегают разные варианты выбора тренировочного набора ${\displaystyle x_{1},\dots ,x_{n},y_{1},\dots ,y_{n}}$ из одного и того же совместного распределения ${\displaystyle P(x,y)}$ . Три члена представляют

• квадрат смещения метода обучения, который можно рассматривать как ошибку, вызванную упрощением предположений, принятых в методе. Например, когда применяется аппроксимация нелинейной функции ${\displaystyle f(x)}$ при использовании метода обучения для линейных моделей^[en], будет появляться ошибка в оценке ${\displaystyle {\hat {f}}(x)}$ как результат такого допущения;
• дисперсия метода обучения, или, интуитивно, как далеко метод обучения ${\displaystyle {\hat {f}}(x)}$ уведёт от среднего значения;
• неустранимая ошибка ${\displaystyle \sigma ^{2}}$ . Поскольку все три величины неотрицательны, они формируют нижнюю границу ожидаемой ошибки на непросмотренных данных^[4].

Чем более сложна модель ${\displaystyle {\hat {f}}(x)}$ , тем больше точек данных она захватывает и тем меньше будет смещение. Однако сложность приводит модель к захвату большего числа точек, а потому её дисперсия будет больше.

Приложение к регрессии

Разложение смещения–дисперсии образует концептуальный базис для методов регуляризации регрессии, таких как Lasso^[en] и гребневая регрессия. Методы регуляризации вводят смещение в решение регрессии, которая уменьшает дисперсию значительно ближе к решению обычный метод наименьших квадратов^[en] (ОМНК, англ. Ordinary Least Squares, OLS). Хотя решение ОМНК даёт несмещённую оценку регрессии, решения с меньшей дисперсией, полученные путём регуляризации, обеспечивают превосходную среднеквадратичную ошибку.

Приложение к классификации

Разложение смещение–дисперсия первоначально было сформулировано для линейной регрессии методом наименьших квадратов. Для случая классификации с 0-1 функцией потерь (доля неправильно классифицированных), можно найти похожее разложение^[8][9]. Альтернативно, если задача классификации может быть сформулирована как вероятностная классификация^[en], ожидание квадрата ошибки предсказанных вероятностей по отношению к истинным вероятностям может быть разложено как и ранее^[10].

Подходы

Снижение размерности и отбор признаков могут уменьшить дисперсию путём упрощения моделей. Аналогично, больше тренировочное множество приводит к уменьшению дисперсии. Добавление признаков (предсказателей) ведёт к уменьшению смещения за счёт увеличения дисперсии. Алгоритмы обучения обычно имеют некоторые настраиваемые параметры, которые контролируют смещение и дисперсию. Например,

• (Обобщённые^[en]) линейные модели могут быть регуляризованы для уменьшения дисперсии за счёт увеличения смещения ^[11].
• в искусственных нейронных сетях дисперсия увеличивается и смещение уменьшается с увеличением числа скрытых единиц^[1]. Подобно обобщённым линейным моделям^[en] для них тоже обычно применяется регуляризация.
• В моделях k-ближайших соседей большое значение k ведёт к большому смещению и низкой дисперсии (см. ниже).
• В обучении на примерах, регуляризация может быть полечена путём смешения прототипов и примеров^[12].
• В деревьях решений глубина дерев определяет дисперсию. Деревья решений обычно обрезаются для контроля дисперсии^[13].

Один из способов разрешения дилеммы — использование смешенных моделей^[en] и композиционного обучения^[en][14][15]. Например, форсирование^[en] комбинирует несколько «слабых» (с высоким смещением) моделей в сборку, которая имеет более низкое смещение, чем каждая из индивидуальных моделей, в то время как бэггинг комбинирует «строгое» обучение так, что уменьшается дисперсия.

Приложение к обучению людей

В то время как дилемма смещения-дисперсии широко обсуждается в контексте обучения машин, она была проверена в контексте когнитивных способностей человека, прежде всего Гердом Гигеренцером с соавторами. Они утверждают, что (см. ссылки ниже) человеческий мозг решает дилемму в случае разреженных плохо описанных тренировочных наборов, полученных в результате личного опыта, путём использования эвристики высокого смещения/низкой дисперсия. Это отражает факт, что подход с нулевым смещением имеет плохую обобщаемость к новым ситуациям, а также беспричинно предполагает точное знание состояния мира. Получающаяся эвристика относительно проста, но даёт лучшее соответствие широкому разнообразию ситуаций^[3].

Гиман и др.^[1] возражают, что из дилеммы смещения-дисперсии следует, что такие возможности, как распознавание общих объектов, не может быть получено с нуля, а требует определённого «жёсткого монтажа», который затем превращается в опыт. Именно поэтому подходы к заключениям без модели требуют неоправданно больших наборов тренировочных наборов, если нужно избежать высокой дисперсии.

См. также

• Метод максимального правдоподобия

Примечания

Литература

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии.