WikiSort.ru - Не сортированное

Машинное обучение и data mining

Задачи Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение

Обучение с учителем Метод k-ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамбли моделей (Бэггинг, Бустинг, Random forest) Метод релевантных векторов

Кластерный анализ Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift

Снижение размерности Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE

Структурное прогнозирование Графовая вероятностная модель (Байесовская сеть, Скрытая марковская модель, CRF)

Выявление аномалий Метод k-ближайших соседей Локальный уровень выброса

Графовые вероятностные модели Байесовская сеть Марковская сеть Скрытая марковская модель

Искусственные нейронные сети Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации (Сигмоида, Softmax, Радиально-базисная функция) Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть (Долгая краткосрочная память, Управляемый рекуррентный блок) Свёрточная нейронная сеть (U-Net) Автокодировщик

Обучение с подкреплением Марковский процесс Уравнение Беллмана Жадный алгоритм Q-learning SARSA Temporal difference (TD)

Теория Теория Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения

Журналы и конференции NIPS ICML ML JMLR ArXiv:cs.LG

Глоссарий Глоссарий по машинному обучению

Статьи по теме List of datasets for machine-learning research Outline of machine learning

Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Радиальная функция^[en] — это любая вещественная функция, значение которой зависит только от расстояния до начала координат ${\displaystyle \phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)}$ или от расстояния между некоторой другой точкой ${\displaystyle \mathbf {c} }$ , называемой центром: ${\displaystyle \phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)}$ . В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.

Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году^[1][2], основанной на фундаментальной работе Майкла Пауэлла 1977 года^[3][4][5].

Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.^[6]

Виды

Часто используемые радиально-базисные функций включают в себя (${\displaystyle r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|}$ ):

• Функция Гаусса:

  ${\displaystyle \phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2}}}$

• Мультиквадратичная:

  ${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2}}}}$

• Обратная квадратичная:

  ${\displaystyle {\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}}$

• Обратная мультиквадратичная:

  ${\displaystyle \phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}}}}$

• Полигармонический сплайн:

  ${\displaystyle {\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}}$

• Тонкий сплайн пластины (специальный полигармонический сплайн):

  ${\displaystyle \phi \left(r\right)=r^{2}\ln \left(r\right)}$

Приближение

Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:

${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)}$ ,

где в качестве аппроксимирующей функции ${\displaystyle y\left(\mathbf {x} \right)}$ берётся сумма ${\displaystyle N}$ радиальных базисных функций с центрами в точках ${\displaystyle \mathbf {x} _{i}}$ и коэффициентами ${\displaystyle w_{i}}$ . Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам ${\displaystyle w_{i}}$ .

Аппроксимационные схемы такого рода особенно полезны^{[источник не указан 270 дней]} в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.

Нейронные сети на основе РБФ

Линейная комбинация:

${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)}$

также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом ${\displaystyle N}$ .

Аппроксимации ${\displaystyle y\left(\mathbf {x} \right)}$ является дифференцируемой по ${\displaystyle w_{i}}$ . Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.

Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.

Примечания

Литература

• Broomhead, David H.; Lowe, David (1988). “Multivariable Functional Interpolation and Adaptive Networks” (PDF). Complex Systems. 2: 321—355. Архивировано из оригинала (PDF) 2014-07-14.
• Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3 .
• Hardy, R.L. (1971). “Multiquadric equations of topography and other irregular surfaces”. Journal of Geophysical Research. 76 (8): 1905—1915. Bibcode:1971JGR....76.1905H. DOI:10.1029/jb076i008p01905.
• Hardy, R.L. (1990). “Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988”. Comp. math Applic. 19 (8/9): 163—208. DOI:10.1016/0898-1221(90)90272-l.
• Press, WH; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), "Section 3.7.1. Radial Basis Function Interpolation", Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8 
• Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
• Sirayanone, S. (1995). “The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications”. Journal of Applied Sciences and Computations. 1: 437—475.