WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Линейный дискриминантный анализ (ЛДА, англ. Linear Discriminant Analysis, LDA), нормальный дискриминантный анализ (англ. Normal Discriminant Analysis, NDA) или анализ дискриминантных функций (англ. Discriminant Function Analysis) является обобщением линейного дискриминанта Фишера, метода, используемого в статистике, распознавании образов и обучении машин для поиска линейной комбинации признаков, которая описывает или разделяет два или более классов или событий. Получившаяся комбинация может быть использована как линейный классификатор, или, более часто, для снижения размерности перед классификацией.

ЛДА тесно связан с дисперсионным анализом (англ. ANalyse Of Variance=ANOVA) и регрессионным анализом, которые также пытаются выразить одну зависимую переменную в виде линейной комбинации других признаков или измерений^[1][2]. Однако дисперсионный анализ использует качественные независимые переменные и непрерывную^[en] зависимую переменную, в то время как дискриминантный анализ имеет непрерывные независимые переменные и качественную зависимую переменную (т.е. метку класса)^[3]. Логистическая регрессия и пробит-регрессия больше похожи на ЛДА, чем дисперсионный анализ, так как они так же объясняют качественную переменную через непрерывные независимые переменные. Эти другие методы более предпочтительны в приложениях, в которых нет резона предполагать, что независимые переменные нормально распределены, что является фундаментальным предположением метода ЛДА.

ЛДА тесно связан также c методом главных компонент (МГК, англ. Principal Component Analysis, PCA) и факторным анализом тем, что они ищут линейные комбинации переменных, которые лучшим образом объясняют данные^[4]. ЛДА явным образом пытается моделировать разницу между классами данных. МГК, с другой стороны, не принимает во внимание какую-либо разницу в классах, а факторный анализ строит комбинации признаков, опираясь скорее на различия, а не на сходства. Дискриминантный анализ отличается также от факторного анализа тем, что не является независимой техникой — для его работы должно быть определено различие между независимыми переменными и зависимыми переменными (последние называются также критериальными переменными).

ЛДА работает, когда измерения, сделанные на независимых переменных для каждого наблюдения, являются непрерывными величинами. Когда имеем дело с качественными независимыми переменными, эквивалентной техникой является дискриминантный анализ соответствий^[5][6].

Дискриминантный анализ используется, когда группы известны априори (в отличие от кластерного анализа). Каждый случай должен иметь значение в одной или нескольких мер количественного предсказания и значение на групповой мере^[7]. Выражаясь простыми терминами, анализ дискриминантных функций является классификацией, разбивающей объекты на группы, классы или категории некоторого типа.

История

Оригинальный дихотомический дискриминантный анализ разработал сэр Роналд Фишер в 1936^[8]. Он отличается от дисперсионного анализа или многофакорного дисперсионного анализа^[en], которые используются для предсказания одной (дисперсионный анализ) или нескольких (многофакторный дисперсионный анализ) непрерывных зависимых переменных по одной или более независимой качественной переменной. Анализ дискриминантных функций полезен для определения, является ли множество переменных эффективным в предсказании принадлежности категории^[9].

ЛДА для двух классов

Рассмотрим множество наблюдений ${\displaystyle {\vec {x}}}$ (называемых также признаками, атрибутами, переменными или измерениями) для каждого образца объекта или события с известным классом ${\displaystyle y}$ . Это множество образцов называется тренировочным набором^[en]. Задача классификации тогда заключается в поиске хорошего предсказателя для класса ${\displaystyle y}$ любого представителя того же распределения (не обязательно из тренировочного множества), заданного только наблюдением ${\displaystyle {\vec {x}}}$ ^[10].

ЛДА подходит к задаче с предположением, что условные плотности распределения вероятности ${\displaystyle p({\vec {x}}|y=0)}$ и ${\displaystyle p({\vec {x}}|y=1)}$ распределены нормально со средним и параметрами ковариации ${\displaystyle \left({\vec {\mu }}_{0},\Sigma _{0}\right)}$ и ${\displaystyle \left({\vec {\mu }}_{1},\Sigma _{1}\right)}$ соответственно. При таких предположениях байесово оптимальное решение предсказывает, что точка принадлежит второму классу, если отношение правдоподобия превосходит некоторое (пороговое) значение T, так что:

${\displaystyle ({\vec {x}}-{\vec {\mu }}_{0})^{T}\Sigma _{0}^{-1}({\vec {x}}-{\vec {\mu }}_{0})+\ln |\Sigma _{0}|-({\vec {x}}-{\vec {\mu }}_{1})^{T}\Sigma _{1}^{-1}({\vec {x}}-{\vec {\mu }}_{1})-\ln |\Sigma _{1}|\ >\ T}$

Без каких-либо дальнейших предположений получающийся классификатор называют КДА (Квадратичный Дискриминантный Анализ^[en], англ. Quadratic Discriminant Analysis, QDA).

Вместо этого ЛДА делает дополнительное упрощающее предположение гомоскедастичности (т.е. что классы ковариации идентичны, так что ${\displaystyle \Sigma _{0}=\Sigma _{1}=\Sigma }$ ) и что ковариации имеют полный ранг. В этом случае несколько членов исключаются:

${\displaystyle {\vec {x}}^{T}\Sigma _{0}^{-1}{\vec {x}}={\vec {x}}^{T}\Sigma _{1}^{-1}{\vec {x}}}$

${\displaystyle {\vec {x}}^{T}{\Sigma _{i}}^{-1}{\vec {\mu }}_{i}={{\vec {\mu }}_{i}}^{T}{\Sigma _{i}}^{-1}{\vec {x}}}$ , поскольку ${\displaystyle \Sigma _{i}}$ является эрмитовой и описанный выше критерий решения становится пороговым значением для скалярного произведения

${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$

для некоторой пороговой константы c, где

${\displaystyle {\vec {w}}=\Sigma ^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

${\displaystyle c={\frac {1}{2}}(T-{{\vec {\mu }}_{0}}^{T}\Sigma _{0}^{-1}{{\vec {\mu }}_{0}}+{{\vec {\mu }}_{1}}^{T}\Sigma _{1}^{-1}{{\vec {\mu }}_{1}})}$

Это означает, что критерий для входного ${\displaystyle {\vec {x}}}$ вхождения в класс ${\displaystyle y}$ является функцией только от этой линейной комбинации известных наблюдений.

Часто полезно видеть это заключение в терминах геометрии: критерий входного ${\displaystyle {\vec {x}}}$ содержаться в классе ${\displaystyle y}$ является функцией от проекции точки многомерного пространства ${\displaystyle {\vec {x}}}$ на вектор ${\displaystyle {\vec {w}}}$ (мы рассматриваем только направление вектора). Другими словами, наблюдение принадлежит ${\displaystyle y}$ , если соответствующий ${\displaystyle {\vec {x}}}$ расположен на определённое стороне от гиперплоскости, перпендикулярной ${\displaystyle {\vec {w}}}$ . Положение плоскости определяется пороговым значением c.

Предположения

Предположения дискриминантного анализа являются теми же, что и для многофакторного дисперсионного анализа. Анализ весьма чувствителен к выбросам и размер наименьшей группы должен быть больше, чем число предикторных (независимых) переменных^[7].

• Многомерная нормальность: Независимые переменные нормальны для любого уровня группирующей переменной ^[9][7].
• Однородность дисперсии/ковариации (гомоскедастичность): Дисперсии среди групповых переменных те же самые по всем уровням предикторов. Это может быть проверено с помощью М-статистики Бокса^[9]. Предлагается, однако, чтобы линейный дискриминантный анализ применялся, когда ковариации равны, а когда ковариации не равны, может быть использован квадратичный дискриминантный анализ^[en][7].
• Мультиколлинеарность: Сила предсказания может уменьшаться с увеличением корреляции между предикторными (независимыми) переменными ^[7].
• Независимость: Объекты предполагаются случайно распределёнными и оценка по одной переменной для объекта независима от оценки по другой переменной^[9][7].

Предполагается, что дискриминантный анализ относительно устойчив относительно небольших нарушений этих предположений^[11] и было показано, что дискриминантный анализ может оставаться правдоподобным при применении дихотомических случайных величин (когда многомерная нормальность часто нарушается)^[12].

Дискриминантные функции

Дискриминантный анализ работает путём создания одной или более линейной комбинаций предикторов, получая новую скрытую переменную для каждой функции. Эти функции называются дискриминантными функциями. Число возможных функций равно либо Ng-1, где Ng=числу групп, либо p (числу предикторов), в зависимости от того, какое из чисел меньше. Первая созданная функция максимизирует разницу между группами по этой функции. Вторая функция максимизирует разницу по этой функции, но не должна коррелировать с предыдущей функцией. Процесс продолжается созданием последовательности функций с требованием, чтобы новая функция не коррелировала со всеми предыдущими.

Если дана группа ${\displaystyle j}$ с множествами ${\displaystyle \mathbb {R} _{j}}$ выборочного пространства, есть дискриминантное правило, такое, что, если ${\displaystyle x\in \mathbb {R} _{j}}$ , то ${\displaystyle x\in j}$ . Дискриминантный анализ тогда находит «хорошие» области множеств ${\displaystyle \mathbb {R} _{j}}$ для минимизации ошибки классификации, потому приводит к высокому проценту классификации^[13].

Каждая функция сопровождается дискриминантной оценкой для определения, насколько хорошо она предсказывает принадлежность группе.

• Коэффициенты структурной корреляции: Корреляция между каждым предиктором и дискриминантной оценкой для каждой функции. Это полная корреляция.^[14]
• Нормированные коэффициенты: Вклад каждого предиктора в каждую функцию, так что это является частной корреляцией^[en]. Показывает относительную важность каждого предиктора как вклад в принадлежность группе для каждой функции.
• Функции от центроидов группы: Средние дискриминантные оценки для каждой переменной для каждой функции. Чем дальше друг от друга находятся средние, тем меньше будет ошибка при классификации.

Правила дискриминанта

• Метод максимального правдоподобия: Назначает x группе, максимизирующей (групповую) плотность популяции^[15].
• Правило дискриминанта Байеса: Назначает x группе, максимизирующей ${\displaystyle \pi _{i}f_{i}(x)}$ , где ${\displaystyle \pi _{i}}$ представляет априорную вероятность классификации и ${\displaystyle f_{i}(x)}$ представляет плотность популяции^[15].
• Правило линейного дискриминанта Фишера: Максимизирует отношение между SS_между и SS_внутри, и находит линейную комбинацию предикторов для предсказания группы^[15].

Собственные значения

Собственное значение в дискриминантном анализе, это собственное значение для каждой функции^{[Что такое собственное значение для функции?]}. Оно показывает, насколько функция разделяет группы. Чем больше собственное значение, тем лучше функция разделяет^[7]. Здесь, однако, нужно быть осторожным, поскольку собственные значения не имеют верхнего предела ^[9][7]. Собственное значение можно рассматривать как отношение SS_между и SS_внутри как в дисперсионном анализе, когда зависимая переменная является дискриминантной функцией, а группы являются уровнями IV^[9]. Это означает, что наибольшее собственное значение ассоциировано с первой функцией, второе по величине ассоциировано со второй и т.д..

Величина эффекта

Некоторые предлагают использовать собственные значения как меру величины эффекта^[en], однако в общем случае это не поддерживается ^[9]. Вместо этого предпочтительнее в качестве меры эффекта использовать каноническую корреляцию. Она подобна собственному значению, но является квадратным корнем отношения SS_между и SS_полное. Она равна корреляции между группами и функцией^[9].

Другая популярная мера размера эффекта — процент дисперсии^{[прояснить]} для каждой функции. Её можно вычислить по формуле: ${\displaystyle (\lambda _{x}/\mathrm {\Sigma } \lambda _{i}'')\times 100}$ , где ${\displaystyle \lambda _{x}}$ является собственным значением для функции, а ${\displaystyle \mathrm {\Sigma } \lambda _{i}}$ является суммой всех собственных значений. Величина указывает нам, насколько точно предсказание, даваемое конкретной функцией по сравнению с другими функциями^[9].

Процент правильной классификации может быть проанализирован как размер эффекта^[9].

Канонический дискриминантный анализ для k классов

Канонический дискриминантный анализ (англ. Canonical discriminant analysis, CDA) находит оси (k − 1 канонических координат, где k — число классов), которые лучшим образом разделяют категории. Эти линейные функции не коррелируют и определяют, в результате, оптимальное k − 1 мерное пространство через n-мерное облако данных, которые лучшим образом разделяют k групп. См. «ЛДА с несколькими классами» ниже.

Линейный дискриминант Фишера

Термины линейный дискриминант Фишера и ЛДА часто используют как равнозначные, хотя исходная статья Фишера ^[1] в действительности описывает немного другой дискриминант, который не делает таких предположений, какие делает ЛДА, например, нормальное распределение классов или одинаковость ковариации классов.

Предположим, что два класса наблюдений имеют средние ${\displaystyle {\vec {\mu }}_{0},{\vec {\mu }}_{1}}$ и ковариации ${\displaystyle \Sigma _{0},\Sigma _{1}}$ . Тогда линейная комбинация признаков ${\displaystyle {\vec {w}}\cdot {\vec {x}}}$ будет иметь средние ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{i}}$ и дисперсии ${\displaystyle {\vec {w}}^{T}\Sigma _{i}{\vec {w}}}$ для ${\displaystyle i=0,1}$ . Фишер определял разделение между этими двумя распределениями как отношение дисперсии между классами и дисперсии внутри классов:

${\displaystyle S={\frac {\sigma _{\text{between}}^{2}}{\sigma _{\text{within}}^{2}}}={\frac {({\vec {w}}\cdot {\vec {\mu }}_{1}-{\vec {w}}\cdot {\vec {\mu }}_{0})^{2}}{{\vec {w}}^{T}\Sigma _{1}{\vec {w}}+{\vec {w}}^{T}\Sigma _{0}{\vec {w}}}}={\frac {({\vec {w}}\cdot ({\vec {\mu }}_{1}-{\vec {\mu }}_{0}))^{2}}{{\vec {w}}^{T}(\Sigma _{0}+\Sigma _{1}){\vec {w}}}}}$

Эта мера является, в некотором смысле, мерой отношения сигнал/шум для разметки класса. Можно показать, что максимальное разделение будет, когда

${\displaystyle {\vec {w}}\propto (\Sigma _{0}+\Sigma _{1})^{-1}({\vec {\mu }}_{1}-{\vec {\mu }}_{0})}$

Если предположения ЛДА выполняются, вышеприведённое равенство эквивалентно ЛДА.

Заметьте, что вектор ${\displaystyle {\vec {w}}}$ является нормалью дискриминантной гиперплоскости. В качестве примера, в двумерной задаче прямая, наилучшим образом разделяющая две группы, является перпендикуляром к ${\displaystyle {\vec {w}}}$ .

В общем случае точки данных, которые разделяют, проектируются на ${\displaystyle {\vec {w}}}$ . Затем выбирается пороговое значение, которое наилучшим образом разделяет данные, исходя из одномерного распределения. Не существует общего правила для выбора порога. Однако, если проекции точек из обоих классов проявляют примерно то же самое распределение, хорошим выбором будет гиперплоскость между проекциями двух средних, ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{0}}$ и ${\displaystyle {\vec {w}}\cdot {\vec {\mu }}_{1}}$ . В этом случае параметр c в пороговом условии ${\displaystyle {\vec {w}}\cdot {\vec {x}}>c}$ может быть найден явно:

${\displaystyle c={\vec {w}}\cdot {\frac {1}{2}}({\vec {\mu }}_{0}+{\vec {\mu }}_{1})={\frac {1}{2}}{\vec {\mu }}_{1}^{T}\Sigma _{1}^{-1}{\vec {\mu }}_{1}-{\frac {1}{2}}{\vec {\mu }}_{0}^{T}\Sigma _{0}^{-1}{\vec {\mu }}_{0}}$ .

Метод Оцу связан с линейным дискриминантом Фишера и был создан для бинаризации гистограммы пикселей в монохромном изображении путём оптимального выбора порога чёрное/белое, который минимизирует дисперсии внутри классов и максимизирует дисперсии между классами.

ЛДА с несколькими классами

В случае, когда имеется более двух классов, анализ, используемый в получении дискриминанта Фишера, может быть расширен до получения подпространства, которое содержит все вариации классов ^[14][16]. Это обобщение принадлежит К. Р. Рао^[17]. Предположим, что каждый из C классов имеет среднее ${\displaystyle \mu _{i}}$ и ту же ковариацию ${\displaystyle \Sigma }$ . Тогда разброс вариации классов можно определить как выборочную ковариацию средних класса

${\displaystyle \Sigma _{b}={\frac {1}{C}}\sum _{i=1}^{C}(\mu _{i}-\mu )(\mu _{i}-\mu )^{T}}$ ,

где ${\displaystyle \mu }$ является средним средних для классов. Отделитель класса в направлении ${\displaystyle {\vec {w}}}$ в этом случае будет задаваться величиной

${\displaystyle S={\frac {{\vec {w}}^{T}\Sigma _{b}{\vec {w}}}{{\vec {w}}^{T}\Sigma {\vec {w}}}}}$

Это означает, что когда ${\displaystyle {\vec {w}}}$ является собственным вектором ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ , величина для отделения будет равна соответствующему собственному значению.

Если ${\displaystyle \Sigma ^{-1}\Sigma _{b}}$ диагонализируема, вариативность между признаками будет содержаться в подпространстве, натянутом на собственные вектора, соответствующие C − 1 наибольшим собственным значениям (поскольку ранг ${\displaystyle \Sigma _{b}}$ не превосходит C − 1). Эти собственные вектора главным образом используются в отборе признаков, как в МГК. Собственные вектора, соответствующие меньшим собственным значениям, очень чувствительны к точному выбору тренировочных данных и часто необходимо применение регуляризации, как описано в следующей секции.

Если требуется классификация, имеется много альтернативных подходов, которые можно использовать вместо снижения размерности. Например, классы могут быть разбиты и может быть использован стандартный дискриминант Фишера или ЛДА для классификации каждой части. Общим примером такого подхода является «один против остальных», когда точки одного класса укладываются в одну группу, а всё остальное укладывается в другую группу, затем применяется ЛДА. Это даёт C классификаторы, результаты которых комбинируются. Другой общий метод — попарная классификация, когда создаётся новый классификатор для каждой пары классов (что даёт в общей сложности C(C − 1)/2 классификаторов), и индивидуальные классификаторы комбинируются для получения конечной классификации.

Инкрементальный алгоритм ЛДА

Типичная имплементация техники ЛДА требует, чтобы все пробы были доступны сразу. Однако существуют ситуации, когда весь набор данных недоступен и входные данные получаются в виде потока. В этом случае желательно для выделения признаков ЛДА иметь возможность обновлять вычисленные признаки ЛДА путём просмотра новых проб без прогона всего алгоритма на полном наборе данных. Например, во многих приложениях реального времени, таких как мобильная робототехника или распознавание лиц, важно обновлять выделенные признаки ЛДА, как только новое наблюдение становится доступным. Техника ЛДА выделения признаков, которая может обновлять признаки ЛДА просто путём обработки новых образцов, называется инкрементальным алгоритммом ЛДА и эта идея интенсивно изучается последние два десятилетия^[18]. Каттерджи и Ройчаудхари предложили инкрементальный самоорганизующийся алгоритм ЛДА для обновления признаков ЛДА^[19]. В другом труде Демир и Озмехмет предложили алгоритмы онлайнового локального обучения для обновления признаков ЛДА инкрементально, используя коррекцию ошибок и правила обучения Хебба^[20]. Позднее Алияри, Руджич и Могаддам разработали быстрый инкрементальный алгоритм для обновления признаков ЛДА путём наблюдения новых образцов^[18].

Практическое применение

На практике классы средних и ковариации неизвестны. Они могут, однако, быть оценены по тренировочному набору. Может быть использован либо метод максимального правдоподобия, либо метод оценки апостериорного максимума вместо точного значения в обоих равенствах. Хотя оценки ковариации могут в некотором смысле считаться оптимальными, это не значит, что дискриминант, полученный подстановкой этих значений, оптимален в любом смысле, даже если предположение о нормальном распределении классов верно.

Другая трудность в применении ЛДА и дискриминантного метода Фишера к вещественным данным появляется, когда число измерений на каждой выборке (т.е. размерность каждого вектора данных) достигает числа проб в каждом классе^[4]. В этом случае оценки ковариации не имеют полного ранга и не могут быть обращены. Есть несколько путей обойти это. Один из путей — использование псевдообратной матрицы вместо обычной обратной в вышеприведённых формулах. Однако лучшая числовая устойчивость может быть достигнута путём проекции задачи в подпространство, натянутое на ${\displaystyle \Sigma _{b}}$ ^[21]. Другая стратегия работы с малыми размерами выборки заключается в использовании сжимающей оценки^[en] матрицы ковариации, которая может быть математически представлена как

${\displaystyle \Sigma =(1-\lambda )\Sigma +\lambda E\,}$

где ${\displaystyle E}$ является единичной матрицей, а ${\displaystyle \lambda }$ является интенсивностью сжатия или параметром регуляризации. Это приводит к понятию регулярного дискриминантного анализа^[22] или дискриминантного анализа со сжатием^[23].

Также во многих практических случаях линейные дискриминанты не подходят. ЛДА и дискриминант Фишера можно расширить для применения в нелинейной классификации c помощью ядерного трюка. Здесь исходные наблюдения эффективно отображаются в нелинейное пространство большей размерности. Линейная классификация в этом нелинейном пространстве тогда эквивалентна нелинейной классификации в исходном пространстве. Наиболее часто применяемым примером такого подхода является ядерный дискриминант Фишера^[en].

ЛДА можно обобщить до мультидискриминантного анализа^[en], в котором c становится качественной переменной с N возможными состояниями, а не двумя. Аналогично, если плотности распределения для классов ${\displaystyle p({\vec {x}}\mid c=i)}$ нормальны и имеют одинаковые ковариации, достаточные статистики для ${\displaystyle P(c\mid {\vec {x}})}$ являются значениями N проекций, которые являются подпространством, натянутым на N средних, аффинно спроецированных с помощью обратной ковариационной матрицы. Эти проекции можно найти путём решения обобщённой задачи собственных значений, где числитель является ковариационной матрицей, образованной трактовкой средних как выборки, а знаменатель является общей ковариационной матрицей. См. «ЛДА с несколькими классами выше.

Приложения

Вдобавок к примерам, данным ниже, ЛДА применяется в позиционировании^[en] и управлении продуктом.

Сравнение с логистической регрессией

Дискриминационный функциональный анализ очень похож на логистическую регрессию и оба метода могут быть использованы для ответа на некоторые вопросы исследователей^[9]. Логистическая регрессия не имеет столько допущений, как дискриминантный анализ. Однако, если допущения дискриминантного анализа выполняются, он является более мощным средством по сравнению с логистической регрессией^[28]. В отличие от логистической регрессии, дискриминантный анализ может быть использован для малых размер выборок. Было показано, что когда размеры выборок одинаковы и имеет место гомогенность дисперсии/ковариации, дискриминантный анализ более точен^[7]. Учитывая всё этоэж логистическая регрессия выбирается чаще, поскольку предположения дискриминантного анализа выполняются редко^[8][7]

См. также

• Data mining
• Обучение на основе дерева решений^[en]
• Факторный анализ
• Ядерный дискриминантный анализа Фишера^[en]
• Logit (для логистической регрессии)
• Мультидискриминантный анализ^[en]
• Многомерное шкалирование
• Распознавание образов
• Перцептрон
• Квадратичный классификаор^[en]
• Статистическая классификация

Примечания

Литература

Литература для дальнейшего чтения

• Duda R. O., Hart P. E., Stork D. H. Pattern Classification. — 2nd. — Wiley Interscience, 2000. — ISBN 0-471-05669-3.
• Hilbe J. M. Logistic Regression Models. — Chapman & Hall/CRC Press, 2009. — ISBN 978-1-4200-7575-5.
• Mika S. Fisher Discriminant Analysis with Kernels // IEEE Conference on Neural Networks for Signal Processing IX. — 1999. — С. 41–48. — DOI:10.1109/NNSP.1999.788121.
• H. Richard McFarland, St. P. Richards Donald. Exact Misclassification Probabilities for Plug-In Normal Quadratic Discriminant Functions. I. The Equal-Means Case // Journal of Multivariate Analysis. — 2001. — Т. 77, вып. 1. — С. 21–53. — DOI:10.1006/jmva.2000.1924.
• H. Richard McFarland, St. P. Richards Donald. Exact Misclassification Probabilities for Plug-In Normal Quadratic Discriminant Functions. II. The Heterogeneous Case // Journal of Multivariate Analysis. — 2002. — Т. 82, вып. 2. — С. 299–330. — DOI:10.1006/jmva.2001.2034.

Ссылки

• Haghighat M., Abdel-Mottaleb M., Alhalabi W. Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition // IEEE Transactions on Information Forensics and Security. — 2016. — Т. 11, вып. 9. — С. 1984–1996. — DOI:10.1109/TIFS.2016.2569061.
• ALGLIB contains open-source LDA implementation in C# / C++ / Pascal / VBA.
• Psychometrica.de (недоступная ссылка) open-source LDA implementation in Java
• LDA tutorial using MS Excel
• Biomedical statistics. Discriminant analysis
• StatQuest: Linear Discriminant Analysis (LDA) clearly explained на YouTube
• Course notes, Discriminant function analysis by G. David Garson, NC State University
• Discriminant analysis tutorial in Microsoft Excel by Kardi Teknomo
• Course notes, Discriminant function analysis by David W. Stockburger, Missouri State University
• Discriminant function analysis (DA) by John Poulsen and Aaron French, San Francisco State University

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии.