WikiSort.ru - Не сортированное

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор ${\displaystyle \mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N},\mathbf {\alpha } ,}$ и ${\displaystyle \mathbf {\theta } }$ , где

• ${\displaystyle \mathbf {w} _{i}}$  — веса между входными нейронами и нейронами скрытого слоя
• ${\displaystyle \mathbf {\alpha } }$  — веса между связями от нейронов скрытого слоя и выходным нейроном
• ${\displaystyle \mathbf {\theta } }$  — смещения для нейронов входного слоя.

Формальное изложение

Пусть ${\displaystyle \varphi }$ любая непрерывная сигмоидная функция, например, ${\displaystyle \varphi (\xi )=1/(1+e^{-\xi })}$ . Тогда, если дана любая непрерывная функция действительных переменных ${\displaystyle f}$ на ${\displaystyle [0,1]^{n}}$ (или любое другое компактное подмножество ${\displaystyle R^{n}}$ ) и ${\displaystyle \epsilon >0}$ , то существуют векторы ${\displaystyle \mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha } }$ и ${\displaystyle \mathbf {\theta } }$ и параметризованная функция ${\displaystyle G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } ):[0,1]^{n}\rightarrow R}$ такая, что

где

и ${\displaystyle \mathbf {w} _{i}\in R^{n},\alpha _{i},\theta _{i}\in R,\mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots \mathbf {w} _{N}),\mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),}$ и ${\displaystyle \mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N})}$ .

Ссылка

• Cybenko, G. V. (1989). Approximation by Superpositions of a Sigmoidal function, Mathematics of Control Signals and Systems, vol. 2 no. 4 pp. 303-314.
• Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48

См. также

• Теорема сходимости перцептрона
• Перцептрон
• Победитель получает всё