WikiSort.ru - Не сортированное

Стохастическая аппроксимация — рекуррентный метод построения состоятельной последовательности оценок решений уравнений регрессии и экстремумов функций регрессии в задачах непараметрического оценивания. В биологии, химии, медицине используется для анализа результатов опытов. В теории автоматического управления применяется как средство решения задач распознавания, идентификации, обучения и адаптации^[1]. Основоположниками метода стохастической аппроксимации являются Кифер, Вольфовиц^[2], Робинс, Монро ^[3].

Поиск решения уравнения регрессии

Пусть каждому значению параметра ${\displaystyle x}$ соответствует измеряемая опытным путём случайная величина ${\displaystyle y}$ с функцией распределения ${\displaystyle F(y|x)}$ , причем математическое ожидание величины ${\displaystyle y}$ при фиксированном параметре ${\displaystyle x}$ ${\displaystyle m(y|x)=m(x)}$ . Требуется найти решение уравнения регрессии ${\displaystyle m(x)=\alpha }$ . Предполагается, что решение уравнения регрессии единственно, а функции ${\displaystyle F(y|x)}$ и ${\displaystyle m(x)}$ неизвестны.

Процедура стохастической аппроксимации для получения оценок корня ${\displaystyle {\hat {x}}}$ уравнения регрессии ${\displaystyle m({\hat {x}})=\alpha }$ заключается в использовании полученной на основании опыта обучающей выборки измеряемых случайных величин ${\displaystyle y_{1},...,y_{n}}$ .

Оценка ${\displaystyle {\hat {x_{n+1}}}}$ искомого корня находится на основе предыдущей оценки ${\displaystyle {\hat {x_{n}}}}$ с помощью обучающего значения измеренной случайной величины ${\displaystyle y_{n}}$ с помощью соотношения ${\displaystyle {\hat {x_{n+1}}}={\hat {x_{n}}}+a_{n}(\alpha -y_{n})}$ , где ${\displaystyle n\geqslant 1}$ , ${\displaystyle {\hat {x_{1}}}}$ - произвольное число^[3].

Если последовательность коэффициентов ${\displaystyle a_{n}}$ удовлетворяет условиям ${\displaystyle a_{n}>0}$ , ${\displaystyle \sum _{n=1}^{\infty }a_{n}=\infty }$ , ${\displaystyle \sum _{n=1}^{\infty }a_{n}^{2}<\infty }$ , то при ${\displaystyle n\to \infty }$ оценка ${\displaystyle {\hat {x_{n+1}}}}$ стремится по вероятности к корню уравнения ${\displaystyle m({\hat {x}})=\alpha }$ .

При некоторых дополнительных требованиях к функции регрессии ${\displaystyle m(x)}$ оценки ${\displaystyle {\hat {x_{n+1}}}}$ могут сходится в среднеквадратическом к решению уравнения регрессии ^[4][5].

Поиск экстремума функции регрессии

Оценка ${\displaystyle {\hat {x_{n+1}}}}$ экстремального значения функции регрессии находится на основе предыдущей оценки ${\displaystyle {\hat {x_{n}}}}$ и обучающих значений измеренной случайной величины ${\displaystyle y_{2n}}$ и ${\displaystyle y_{2n-1}}$ с помощью соотношения ${\displaystyle {\hat {x_{n+1}}}={\hat {x_{n}}}+{\frac {a_{n}}{c_{n}}}(y_{2n}-y_{2n-1})}$ , где ${\displaystyle n\geqslant 1}$ , ${\displaystyle {\hat {x_{1}}}}$ - произвольное число, ${\displaystyle a_{n}}$ - последовательность положительных чисел, а последовательности ${\displaystyle y_{2n}}$ и ${\displaystyle y_{2n-1}}$ независимы и соответствуют значениям параметра ${\displaystyle {\hat {x_{n}}}+c_{n}}$ и ${\displaystyle {\hat {x_{n}}}-c_{n}}$ ^[2].

Если последовательности коэффициентов ${\displaystyle a_{n}}$ и ${\displaystyle c_{n}}$ удовлетворяют условиям ${\displaystyle a_{n}>0}$ , ${\displaystyle c_{n}>0}$ , ${\displaystyle c_{n}\to 0}$ при ${\displaystyle n\to \infty }$ , ${\displaystyle \sum _{n=1}^{\infty }a_{n}=\infty }$ , ${\displaystyle \sum _{n=1}^{\infty }a_{n}c_{n}<\infty }$ , ${\displaystyle \sum _{n=1}^{\infty }({\frac {a_{n}}{c_{n}}})^{2}<\infty }$ , то при ${\displaystyle n\to \infty }$ оценка ${\displaystyle {\hat {x_{n+1}}}}$ стремится по вероятности к экстремальному значению функции регрессии.

При некоторых дополнительных требованиях к функции регрессии ${\displaystyle m(x)}$ оценки ${\displaystyle {\hat {x_{n+1}}}}$ могут сходится в среднеквадратическом к экстремуму функции регрессии^[5].

Примечания

Литература

• Вазан М. Стохастическая аппроксимация. — М.: Мир, 1972. — 295 с.
• Цыпкин Я.З. Основы теории обучающихся систем. — М.: Наука, 1970. — 251 с.
• Цыпкин Я.З. Адаптация и обучение в автоматических системах. — М.: Наука, 1968. — 399 с.