WikiSort.ru - Не сортированное

Информа́ция Фи́шера - математическое ожидание квадрата относительной скорости изменения условной плотности вероятности ${\displaystyle p(\theta ,x)}$ в точке ${\displaystyle x}$ ^[1]. Эта функция названа в честь описавшего её Рональда Фишера.

Определение

Пусть ${\displaystyle f(\theta ,\;x_{1},\dots ,\,x_{n})}$ — плотность распределения для данной статистической модели. Тогда если определена функция

${\displaystyle I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)^{2},\;L=\sum _{i=1}^{n}\ln f(\theta ,x_{i})}$ ,

где ${\displaystyle L(\theta ,\;x_{1},\dots ,\,x_{n})}$ — логарифмическая функция правдоподобия, а ${\displaystyle \mathbb {E} _{\theta }}$ — математическое ожидание при данном ${\displaystyle \theta }$ , то она называется информацией Фишера для данной статистической модели при ${\displaystyle n}$ независимых испытаниях.

Если ${\displaystyle \ln f(x;\theta )}$ дважды дифференцируем по ${\displaystyle \theta }$ , и при определенных условиях регулярности, информацию Фишера можно переписать как ^[2]

${\displaystyle I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;X)}{\partial \theta }}\right)^{2}=-\mathbb {E} _{\theta }\left({\frac {\partial ^{2}L(\theta ,\;X)}{\partial \theta ^{2}}}\right)}$

Для регулярных моделей: ${\displaystyle \mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)=0}$ (В этом и состоит определение регулярности).

В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии.

Фишеровским количеством информации, содержащемся в одном наблюдении называют:

${\displaystyle I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x_{i})}{\partial \theta }}\right)^{2}}$ .

Для регулярных моделей все ${\displaystyle I_{i}(\theta )}$ равны между собой.

Если выборка состоит из одного элемента, то информация Фишера записывается так:

${\displaystyle I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x)}{\partial \theta }}\right)^{2}}$ .

Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для ${\displaystyle n}$ независимых испытаний ${\displaystyle I_{n}(\theta )=nI(\theta )}$ .

Свойства

• Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин ${\displaystyle \xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)}$ (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них.

См. также

• Неравенство Крамера — Рао
• Информационное неравенство (математическая статистика)

Другие меры, используемые в теории информации:

• Информационная энтропия
• Расстояние Кульбака — Лейблера
• Собственная информация

Примечания

Литература

• Леман Э. Теория точечного оценивания. — М.: Наука, 1991. — 448 с. — ISBN 5-02-013941-6.

В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете отредактировать эту статью, добавив ссылки на авторитетные источники. Эта отметка установлена 19 июня 2018 года.