WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторой дополнительной информации к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.

С байесовской точки зрения многие методы регуляризации соответствуют добавлению некоторых априорных распределений на параметры модели.

Некоторые виды регуляризации:

• ${\displaystyle L_{1}}$ -регуляризация (англ. lasso regression):

  ${\displaystyle L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}}$ .

• ${\displaystyle L_{2}}$ - регуляризация или Регуляризация Тихонова (в английской литературе — ridge regression или Tikhonov regularization) для интегральных уравнений позволяет балансировать между соответствием данным и маленькой нормой решения:

  ${\displaystyle L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}}$ .

  Простыми словами: Переобучение в большинстве случаев проявляется в том, что в получающихся многочленах слишком большие коэффициенты. Соответственно, и бороться с этим можно довольно естественным способом: нужно просто добавить в целевую функцию штраф, который бы наказывал модель за слишком большие коэффициенты.

• Регуляризация. Никто не знает как решить многокритериальную оптимизацию или оптимизацию в которой область значения целевой функции есть пространство на котором нет линейного порядка, или его затруднительно ввести. Почти всегда найдутся точки в области определения функции которую оптимизируют, и которые удовлетворяют ограничениям, но значения в точках не сравнимые между собой. Чтобы найти все точки на кривой Парето используют скаляризацию [1, стр. 178]. В оптимизации регуляризация - это общий метод скаляризации для задачи двухкритериальной оптимизации. [1], стр.306. Варьируя параметр лямбда вы будете получать разные точки на кривой Парето. (Коэффициент лямбда это элемент, который должен быть больше нуля в дуальном конусе относительно которого определён ваш порядок.)

Литература:

[1] С. Бойд. Выпуклая оптимизация. http://stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

Примечания

Для улучшения этой статьи желательно: Дополнить статью (статья слишком короткая либо содержит лишь словарное определение). Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное.