WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Логистическая регрессия или логит-регрессия (англ. logit model) — это статистическая модель, используемая для прогнозирования вероятности возникновения некоторого события путём подгонки данных к логистической кривой.

Описание

Логистическая регрессия применяется для прогнозирования вероятности возникновения некоторого события по значениям множества признаков. Для этого вводится так называемая зависимая переменная ${\displaystyle y}$ , принимающая лишь одно из двух значений — как правило, это числа 0 (событие не произошло) и 1 (событие произошло), и множество независимых переменных (также называемых признаками, предикторами или регрессорами) — вещественных ${\displaystyle x_{1},x_{2},...,x_{n}}$ , на основе значений которых требуется вычислить вероятность принятия того или иного значения зависимой переменной. Как и в случае линейной регрессии, для простоты записи вводится фиктивный признак ${\displaystyle x_{0}=1.}$

Делается предположение о том, что вероятность наступления события ${\displaystyle y=1}$ равна:

${\displaystyle \mathbb {P} \{y=1\mid x\}=f(z),}$

где ${\displaystyle z=\theta ^{T}x=\theta _{0}+\theta _{1}x_{1}+\ldots +\theta _{n}x_{n}}$ , ${\displaystyle x}$ и ${\displaystyle \theta }$  — векторы-столбцы значений независимых переменных ${\displaystyle 1,x_{1},\dots ,x_{n}}$ и параметров (коэффициентов регрессии) — вещественных чисел ${\displaystyle \theta _{0},...,\theta _{n}}$ , соответственно, а ${\displaystyle f(z)}$  — так называемая логистическая функция (иногда также называемая сигмоидом или логит-функцией):

${\displaystyle f(z)={\frac {1}{1+e^{-z}}}.}$

Так как ${\displaystyle y}$ принимает лишь значения 0 и 1, то вероятность принять значение 0 равна:

${\displaystyle \mathbb {P} \{y=0\mid x\}=1-f(z)=1-f(\theta ^{T}x).}$

Для краткости функцию распределения ${\displaystyle y}$ при заданном ${\displaystyle x}$ можно записать в таком виде:

${\displaystyle \mathbb {P} \{y\mid x\}=f(\theta ^{T}x)^{y}(1-f(\theta ^{T}x))^{1-y},\quad y\in \{0,1\}.}$

Фактически, это есть распределение Бернулли с параметром, равным ${\displaystyle f(\theta ^{T}x)}$ .

Регуляризация

Для улучшения обобщающей способности получающейся модели, то есть уменьшения эффекта переобучения, на практике часто рассматривается логистическая регрессия с регуляризацией.

Регуляризация заключается в том, что вектор параметров ${\displaystyle \theta }$ рассматривается как случайный вектор с некоторой заданной априорной плотностью распределения ${\displaystyle p(\theta )}$ . Для обучения модели вместо метода наибольшего правдоподобия при этом используется метод максимизации апостериорной оценки, то есть ищутся параметры ${\displaystyle \theta }$ , максимизирующие величину:

${\displaystyle \prod _{i=1}^{m}\mathbb {P} \{y^{(i)}\mid x^{(i)},\theta \}\cdot p(\theta ).}$

В качестве априорного распределения часто выступает многомерное нормальное распределение ${\displaystyle {\mathcal {N}}(0,\sigma ^{2}I)}$ с нулевым средним и матрицей ковариации ${\displaystyle \sigma ^{2}I}$ , соответствующее априорному убеждению о том, что все коэффициенты регрессии должны быть небольшими числами, идеально — многие малозначимые коэффициенты должны быть нулями. Подставив плотность этого априорного распределения в формулу выше, и прологарифмировав, получим следующую оптимизационную задачу:

${\displaystyle \sum \limits _{i=1}^{m}\log \mathbb {P} \{y^{(i)}\mid x^{(i)},\theta \}-\lambda \|\theta \|^{2}\,\to {\mbox{max}},}$

где ${\displaystyle \lambda ={\mbox{const}}/{\sigma ^{2}}}$  — параметр регуляризации. Этот метод известен как L2-регуляризованная логистическая регрессия, так как в целевую функцию входит L2-норма вектора параметров для регуляризации.

Если вместо L2-нормы использовать L1-норму, что эквивалентно использованию распределения Лапласа, как априорного, вместо нормального, то получится другой распространённый вариант метода — L1-регуляризованная логистическая регрессия:

${\displaystyle \sum _{i=1}^{m}\log \mathbb {P} \{y^{(i)}\mid x^{(i)},\theta \}-\lambda \|\theta \|_{1}\,\to {\mbox{max}}.}$

Применение

Эта модель часто применяется для решения задач классификации — объект ${\displaystyle x}$ можно отнести к классу ${\displaystyle y=1}$ , если предсказанная моделью вероятность ${\displaystyle \mathbb {P} \{y=1\mid x\}>0{,}5}$ , и к классу ${\displaystyle y=0}$ в противном случае. Получающиеся при этом правила классификации являются линейными классификаторами.

Связанные методы

На логистическую регрессию очень похожа пробит-регрессия, отличающаяся от неё лишь другим выбором функции ${\displaystyle f(z)}$ . Softmax-регрессия обобщает логистическую регрессию на случай многоклассовой классификации, то есть когда зависимая переменная ${\displaystyle y}$ принимает более двух значений. Все эти модели в свою очередь являются представителями широкого класса статистических моделей — обобщённых линейных моделей.

См. также

• Модель бинарного выбора
• Пробит-регрессия

Литература

• Andrew Ng. Stanford CS229 Lecture Notes