WikiSort.ru - Не сортированное

Предположение плавности

Точки, которые лежат близко друг от друга, размечены одинаково с большей вероятностью. Такое же предположение в основном используется и в обучении с учителем и дает преимущество в использовании геометрически простых решений. В случае полуавтоматического обучения, предположение плавности дополнительно дает преимущество для разграничения в регионах с низкой плотностью, где меньше точек, которые расположены близко друг от друга, но разных классов.

Предположение кластеризованности

Данные, как правило, образуют дискретные кластеры, и точки из одного кластера размечены одинаково с большей вероятностью (хотя данные, которые используют одинаковые метки, могут быть расположены в нескольких различных кластерах). Это особый случай предположения плавности, который приводит к обучение признаков используя алгоритмы кластеризации.

Предположение избыточности данных

Это предположение применимо, когда измерения данных избыточны, то есть генерируются определенным процессом, имеющим только несколько степеней свободы. В этом случае неразмеченные данные позволяют изучить генерирующий процесс и за счёт этого снизить размерность.

Например, человеческий голос контролируется несколькими голосовыми связками,^[2] а изображение различных выражений лица контролируются несколькими мышцами. В этих случаях удобнее использовать генерирующее пространство, чем пространство всех возможных акустических волн или изображений, соответственно.

Генеративные модели

Генеративные подходы к статистическому изучению в первую очередь стремятся оценить ${\displaystyle p(x|y)}$ , распределение точек данных для каждого класса. Вероятность ${\displaystyle p(y|x)}$ такая, что данная точка ${\displaystyle x}$ имеет метку ${\displaystyle y}$ , будет пропорциональной ${\displaystyle p(x|y)p(y)}$ по теореме Байеса. Полуавтоматическое обучения с использованием генеративных подходов можно рассматривать либо как расширение обучения с учителем (классификация и информация о ${\displaystyle p(x)}$ ), или как расширение обучения без учителя (кластеризация и некоторые метки).

Генеративные модели предполагают, что распределения принимают определенную форму ${\displaystyle p(x|y,\theta )}$ , параметризованную вектором ${\displaystyle \theta }$ . Если эти предположения являются неправильными, то неразмеченные данные могут фактически снизить точность решения по сравнению с тем, которое было бы получено только с размеченных данных.^[7] Однако, если эти предположения верны, то неразмеченные данные обязательно повысят результативность.^[5]

Неразмеченные данные распределены согласно смеси индивидуально-классовых разделений. Для того, чтобы распределение смеси из неразмеченных данных подлежал изучению, эти данные должны быть узнаваемыми, то есть различные параметры должны приводить к различным итоговых распределений. Распредели гауссовой смеси являются узнаваемыми и обычно используются в генеративных моделях.

Параметризованный совместное распределение можно записать в виде ${\displaystyle p(x,y|\theta )=p(y|\theta )p(x|y,\theta )}$ с помощью цепного правила. Каждый вектор ${\displaystyle \theta }$ связан с функцией ${\displaystyle f_{\theta }(x)={\underset {y}{\operatorname {argmax} }}\ p(y|x,\theta )}$ . Затем параметр выбирается на основе подгонки как к размеченных там и до неразмеченных данных, уравновешенных с помощью ${\displaystyle \lambda }$ :

${\displaystyle {\underset {\Theta }{\operatorname {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)}$

^[6]

Разделение низкой плотности

Это ещё один важный класс методов, который пытается разграничить регионы, в которых есть несколько точек с данными (размеченными или неразмеченными). Одним из наиболее часто используемых алгоритмов является трансдуктивный метод опорных векторов, или ТМОВ (который, несмотря на название, может также быть использованным для индуктивного обучения). В то время как метод опорных векторов для обучения с учителем ищет решение краевой с максимальной маржой в размеченных данных, целью ТМОВ является обозначение неразмеченных данных таким образом, что решение краевой имеет максимальную маржу в сравнении со всеми данными. В дополнение к стандартной петле потери ${\displaystyle (1-yf(x))_{+}}$ для размеченных данных, функция потерь ${\displaystyle (1-|f(x)|)_{+}}$ вводится и для неразмеченных данных, обозначив ${\displaystyle y=\operatorname {sign} {f(x)}}$ . ТМОВ потом выбирает ${\displaystyle f^{*}(x)=h^{*}(x)+b}$ с гильбертова пространства воспроизводимого ядра ${\displaystyle {\mathcal {H}}}$ путем минимизации регуляризованого эмпирического риска^[en]:

${\displaystyle f^{*}={\underset {f}{\operatorname {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_{i}))_{+}+\lambda _{1}||h||_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1}^{l+u}(1-|f(x_{i})|)_{+}\right)}$

Точное решение является неразрешимым через неопуклий член ${\displaystyle (1-|f(x)|)_{+}}$ , поэтому исследования сосредоточены на поиске полезных приближений.^[6]

Другие подходы, которые осуществляют распределение низкой плотности, включают в себя модели гауссова процесса, упорядочение информации, и минимизацию энтропии (из которых ТМОВ является частным случаем).

Методы на основе графов

Методы на основе графов для полуавтоматической обучения используют данные, представленные при помощи графа, с узлом для каждого размеченного или неразмеченного примера. Граф может быть построен с использованием знаний в предметной области или на основе сходства примеров. Два общих подхода включают соединение каждой точки данных с её ${\displaystyle k}$ ближайшими соседями или с примерами на расстоянии в пределах ${\displaystyle \epsilon }$ . Вес ${\displaystyle W_{ij}}$ ребра между ${\displaystyle x_{i}}$ и ${\displaystyle x_{j}}$ устанавливается равным ${\displaystyle e^{\frac {-||x_{i}-x_{j}||^{2}}{\epsilon }}}$ .

В рамках регуляризации многообразия^{[8] [9]} граф служит как представитель многовидності. Выражение добавляется к стандартной задаче регуляризации Тихонова для обеспечения гладкости решения относительно многовидності (в собственном пространстве задачи), а также окружающей входного пространства. Задачей минимизации становится:

${\displaystyle {\underset {f\in {\mathcal {H}}}{\operatorname {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^{l}V(f(x_{i}),y_{i})+\lambda _{A}||f||_{\mathcal {H}}^{2}+\lambda _{I}\int _{\mathcal {M}}||\nabla _{\mathcal {M}}f(x)||^{2}dp(x)\right)}$ ^[6]

где ${\displaystyle {\mathcal {H}}}$  — это гильбертово пространство воспроизводимого ядра, а ${\displaystyle {\mathcal {M}}}$  — многовид данным. Параметры регуляризации ${\displaystyle \lambda _{A}}$ и ${\displaystyle \lambda _{I}}$ контролируют гладкость в близлежащих и внутренних пространствах соответственно. Граф используется для аппроксимации внутреннего регуляризующего члена. Определив матрицу Кирхгофа^[en] , где и вектор, получаем:

${\displaystyle \mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j})^{2}\approx \int _{\mathcal {M}}||\nabla _{\mathcal {M}}f(x)||^{2}dp(x)}$

Эвристические подходы

Некоторые из методов полуавтоматического обучения не приспособлены для использования одновременно как размеченных так и неразмеченных данных, но зато могут привлекать неразмеченные данные для обучения с учителем. Например, размеченные и неразмеченные примеры могут информировать о способе представления, метрику, или ядра данных на первом шаге без учителя. Тогда обучение с учителем обрабатывает только размеченные примеры.

Самообучение — метод-обертка полуавтоматического обучения.^[10] Первоначально обучение с учителем обрабатывает только размеченные данные. Этот классификатор затем применяется к неразмеченным данным, чтобы сгенерировать больше размеченных примеров для обучения с учителем. В общем, можно быть уверенным, что только метки классификатора добавляются на каждом шагу.^[11]

Совместное обучение является расширением самообучения, при котором несколько классификаторов прорабатывают разные (в идеале, непересекающиеся) множества признаков и генерируют размеченные примеры друг для друга.^[12]