WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Иерархическая кластеризация (также графовые алгоритмы кластеризации и иерархический кластерный анализ) — совокупность алгоритмов упорядочивания данных, направленных на создание иерархии (дерева) вложенных кластеров. Выделяют два класса методов иерархической кластеризации:

• Агломеративные методы (англ. agglomerative): новые кластеры создаются путем объединения более мелких кластеров и, таким образом, дерево создается от листьев к стволу;
• Дивизивные или дивизионные методы (англ. divisive): новые кластеры создаются путем деления более крупных кластеров на более мелкие и, таким образом, дерево создается от ствола к листьям.

Алгоритмы иерархической кластеризации предполагают, что анализируемое множество объектов характеризуется определённой степенью связности. По количеству признаков иногда выделяют монотетические и политетические методы классификации. Как и большинство визуальных способов представления зависимостей графы быстро теряют наглядность при увеличении числа кластеров. Существует ряд специализированных программ для построения графов.

Дендрограмма

Под дендрограммой обычно понимается дерево, построенное по матрице мер близости. Дендрограмма позволяет изобразить взаимные связи между объектами из заданного множества^[1]. Для создания дендрограммы требуется матрица сходства (или различия), которая определяет уровень сходства между парами кластеров. Чаще используются агломеративные методы.

Для построения матрицы сходства (различия) необходимо задать меру расстояния между двумя кластерами. Наиболее часто используются следующие методы определения расстояния (англ. sorting strategies)^[2]:

1. Метод одиночной связи (англ. single linkage), также известен, как «метод ближайшего соседа». Расстояние между двумя кластерами полагается равным минимальному расстоянию между двумя элементами из разных кластеров: ${\displaystyle \min \,\{\,d(a,b):a\in A,\,b\in B\,\}}$ , где ${\displaystyle d(a,b)}$ — расстояние между элементами ${\displaystyle a}$ и ${\displaystyle b}$ , принадлежащими кластерам ${\displaystyle A}$ и ${\displaystyle B}$
2. Метод полной связи (англ. complete linkage), также известен, как «метод дальнего соседа». Расстояние между двумя кластерами полагается равным максимальному расстоянию между двумя элементами из разных кластеров: ${\displaystyle \max \,\{\,d(a,b):a\in A,\,b\in B\,\}}$ ;
3. Метод средней связи (англ. pair-group method using arithmetic mean):
   • Невзвешенный (англ. UPGMA). Расстояние между двумя кластерами полагается равным среднему расстоянию между элементами этих кластеров: ${\displaystyle {1 \over {|A|\cdot |B|}}\sum _{a\in A}\sum _{b\in B}d(a,b)}$ , где ${\displaystyle d(a,b)}$ — расстояние между элементами ${\displaystyle a}$ и ${\displaystyle b}$ , принадлежащими кластерам ${\displaystyle A}$ и ${\displaystyle B}$ , а ${\displaystyle |A|}$ и ${\displaystyle |B|}$ — мощности кластеров.
   • Взвешенный (англ. WPGMA).
4. Центроидный метод (англ. pair-group method using the centroid average):
   • Невзвешенный (англ. UPGMC). Расстояние между кластерами полагается равным расстоянию между их центроидами (центрами массы)^[3]: ${\displaystyle \|c_{A}-c_{B}\|}$ , где ${\displaystyle c_{A}}$ и ${\displaystyle c_{B}}$ — центройды ${\displaystyle A}$ и ${\displaystyle B}$ .
   • Взвешенный (англ. WPGMC).
5. Метод Уорда (англ. Ward’s method). В отличие от других методов кластерного анализа, для оценки расстояний между кластерами здесь используются методы дисперсионного анализа. В качестве расстояния между кластерами берётся прирост суммы квадратов расстояний объектов до центра кластера, получаемого в результате их объединения^[4]: ${\displaystyle \Delta =\sum _{i}{(x_{i}-{\bar {x}})^{2}}-\sum _{x_{i}\in A}(x_{i}-{\bar {a}})^{2}-\sum _{x_{i}\in B}(x_{i}-{\bar {b}})^{2}}$ . На каждом шаге алгоритма объединяются такие два кластера, которые приводят к минимальному увеличению дисперсии. Этот метод применяется для задач с близко расположенными кластерами.

Для первых трёх методов существует общая формула, предложенная А. Н. Колмогоровым для мер сходства^[5]:

${\displaystyle K_{\eta }([i,j],k)=\left[{\frac {(n_{i}K(i,k)^{\eta }+(n_{j}K(j,k)^{\eta })}{n_{i}+n_{j}}}\right]^{\frac {1}{\eta }},-{\mathcal {1}}\leqslant \eta \leqslant +{\mathcal {1}}}$

где ${\displaystyle [i,j]}$  — группа из двух объектов (кластеров) ${\displaystyle i}$ и ${\displaystyle j}$ ; ${\displaystyle k}$  — объект (кластер), с которым ищется сходство указанной группы; ${\displaystyle n_{i}}$  — число элементов в кластере ${\displaystyle i}$ ; ${\displaystyle n_{j}}$  — число элементов в кластере ${\displaystyle j}$ . Для расстояний имеется аналогичная формула Ланса — Вильямса^[6].

Корреляционные плеяды

Широко применяются в геоботанике и флористике. Их часто называют корреляционными плеядами^{[7][8][9][10]}.

Частным случаем является метод, известный как метод построения оптимальных деревьев (дендритов), который был предложен математиком львовской школы Гуго Штейнгаузом^[11], впоследствии метод был развит математиками вроцлавской таксономической школы^[12]. Дендриты также не должны образовывать циклов. Можно частично использовать направленные дуги графов при использовании дополнительно мер включения (несимметричных мер сходства).

Диаграмма Чекановского

Метод «диагонализации» матрицы различия и графическое изображение кластеров вдоль главной диагонали матрицы различия (диаграмма Чекановского) впервые предложен Яном Чекановским в 1909 году^[13]. Приведём описание методики:

Сущность этого метода заключается в том, что всю амплитуду полученных величин сходства разбивают на ряд классов, а затем в матрице величин сходства заменяют эти величины штриховкой, различной для каждого класса, причём обычно для более высоких классов сходства применяют более тёмную штриховку. Затем, меняя порядок описаний в таблице, добиваются того, чтобы более сходные описания оказались рядом^[14]

Приведём гипотетический пример получения вышеуказанной диаграммы. Основой метода является построение матрицы транзитивного замыкания^[15].

Для построения матрицы транзитивного замыкания возьмём простую матрицу сходства и умножим её саму на себя:

${\displaystyle K^{(2)}(i,j)=max(min(K(i,1),K(1,j)),...,min(K(i,q),K(q,j)))}$ ,

где ${\displaystyle K(i,j)}$  — элемент, стоящий на пересечении ${\displaystyle i}$ -ой строки и ${\displaystyle j}$ -го столбца в новой (второй) матрице, полученной после первой итерации; ${\displaystyle q}$  — общее количество строк (столбцов) матрицы сходства. Данную процедуру необходимо продолжать, пока матрица не станет идемпотентной (то есть самоподобной): ${\displaystyle K^{(n)}(i,j)=K^{(n-1)}(i,j)}$ , где n — число итераций.

Далее преобразовываем матрицу таким образом, чтобы близкие числовые значения находились рядом. Если каждому числовому значению присвоить какой-либо цвет или оттенок цвета (как в нашем случае), то получим классическую диаграмму Чекановского. Традиционно более тёмный цвет соответствует большему сходству, а более светлый — меньшему. В этом она схожа с теплокартой для матрицы расстояний.

См. также

• Граф (математика)
• Кластерный анализ
• Метрическое пространство
• Задача классификации
• Метод Чекановского (польск.)

Источники и примечания