WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Softmax — это обобщение логистической функции для многомерного случая. Функция преобразует вектор ${\displaystyle z}$ размерности ${\displaystyle K}$ в вектор ${\displaystyle \sigma }$ той же размерности, где каждая координата ${\displaystyle \sigma _{i}}$ полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты ${\displaystyle \sigma _{i}}$ вычисляются следующим образом:

${\displaystyle \sigma (z)_{i}={\frac {e^{z_{i}}}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{k}}}}}$

Применение в машинном обучении

Функция Softmax применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты ${\displaystyle \sigma _{i}}$ полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу ${\displaystyle i}$ . Вектор-столбец ${\displaystyle z}$ при этом рассчитывается следующим образом:

${\displaystyle z=w^{T}x-\theta }$

где ${\displaystyle x}$ — вектор-столбец признаков объекта размерности ${\displaystyle M\times 1}$ ; ${\displaystyle w^{T}}$ — транспонированная матрица весовых коэффициентов признаков, имеющая размерность ${\displaystyle K\times M}$ ; ${\displaystyle \theta }$ — вектор-столбец с пороговыми значениями размерности ${\displaystyle K\times 1}$ (см. перцептрон), где ${\displaystyle K}$ — количество классов объектов, а ${\displaystyle M}$ — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.

Это заготовка статьи по математике. Вы можете помочь проекту, дополнив её.