WikiSort.ru - Не сортированное

Слабый закон

Слабый закон больших чисел гласит, что среднее значение выборки сходится по вероятности к математическому ожиданию.^[2]

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {P}}\ \mu }$ при ${\displaystyle n\rightarrow \infty }$

То есть ${\displaystyle \forall \varepsilon >0}$ :

${\displaystyle \lim _{n\to \infty }\ P\!\left(\,\left|{\overline {X}}_{n}-\mu \right|>\varepsilon \,\right)=0}$ .

Интерпретируя данный результат получаем, что слабый закон утверждает, что для любых ненулевых указанных границ, независимо от того, насколько они малы, при достаточно большой выборке вероятность того, что среднее значение выборки будет близко к математическому ожиданию, очень высока в пределах этих границ.

Как говорилось ранее, слабый закон применим в случае независимых одинаково распределенных случайных величин, имеющих математическое ожидание. Однако он может применяться и в некоторых других случаях. Например, дисперсия может быть разной для каждой случайной величины в выборке, а математическое ожидание оставаться константой. Если дисперсии ограничены, то закон также применим, как показал Чебышев еще в 1867 году. Доказательство Чебышева работает до тех пор, пока дисперсия среднего числа первых ${\displaystyle n}$ значений не стремится к нулю при ${\displaystyle n\rightarrow \infty }$ ^[3].

Усиленный закон

Усиленный закон больших чисел утверждает, что при определенных условиях с вероятностью единица происходит неограниченное сближение средних арифметических последовательности случайных величин с некоторыми постоянными величинами.

Пусть ${\displaystyle X_{1},X_{2},...}$ - последовательность случайных величин и ${\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+...+X_{n})}$ .

Говорят, что последовательность ${\displaystyle X_{1},X_{2},...}$ удовлетворяет усиленному закону больших чисел, если существует такая последовательность ${\displaystyle \mu _{n}}$ , что вероятность соотношения: ${\displaystyle {\overline {X}}_{n}-\mu _{n}\ {\xrightarrow {}}\ 0}$ , при ${\displaystyle n\rightarrow \infty }$ равна ${\displaystyle {\mathit {1}}}$ .

Другая формулировка, равносильная предыдущей, такова: последовательность ${\displaystyle X_{1},X_{2},...}$ удовлетворяет усиленному закону больших чисел, если ${\displaystyle \forall \varepsilon >0}$ вероятность одновременного выполнения всех неравенств:

${\displaystyle \left|{\overline {X}}_{n}-\mu _{n}\ \right|\leqslant \varepsilon ,\left|{\overline {X}}_{n+1}-\mu _{n+1}\ \right|\leqslant \varepsilon ,...}$ стремится к ${\displaystyle {\mathit {1}}}$ , при ${\displaystyle n\rightarrow \infty }$ .

Таким образом, здесь рассматривается поведение всей последовательности сумм в целом, в то время как в обычном законе больших чисел речь идет лишь об отдельных суммах.

Если последовательность ${\displaystyle X_{1},X_{2},...}$ удовлетворяет усиленному закону больших чисел, то она удовлетворяет и обычному закону больших чисел с теми же самыми ${\displaystyle \mu _{n}}$ , т. е. ${\displaystyle P\left(\left|{\bar {X}}_{n}-\mu _{n}\right|\leqslant \varepsilon \right)\rightarrow 1}$ , при ${\displaystyle n\rightarrow \infty }$ , ${\displaystyle \forall \varepsilon >0}$ .

Обратное может быть неверно.

Например, если случайные величины ${\displaystyle X_{1},X_{2},...}$ независимы и принимают при ${\displaystyle n\geq 16}$  два значения ${\displaystyle \pm {\displaystyle {\sqrt {n/\log \log \log n}}}}$  с вероятностью ${\displaystyle 1/2}$ каждое, то для них выполняется обычный закон больших чисел с ${\displaystyle \mu _{n}=0}$ , но ни при каких ${\displaystyle \mu _{n}}$ не выполняется усиленный закон больших чисел.

Теорема Колмогорова

В случае независимых слагаемых наиболее известными являются условия приложимости усиленного закона больших чисел, установленные А. Н. Колмогоровым: достаточное - для величин с конечными дисперсиями и необходимое и достаточное - для одинаково распределенных величин (заключающееся в существовании математического ожидания величин ${\displaystyle X_{i}}$ ). Теорема Колмогорова для случайных величин с конечными дисперсиями утверждает, что из условия

${\displaystyle \textstyle \sum \limits _{n=1}^{\infty }\displaystyle {\frac {DX_{n}}{n^{2}}}<\infty }$ ${\displaystyle (1)}$

вытекает приложимость к последовательности ${\displaystyle X_{1},X_{2},...}$ усиленного закона больших чисел с ${\displaystyle A_{n}=E\left({\displaystyle {\overline {X}}_{n}}\right)}$ . В терминах дисперсий условие ${\displaystyle (1)}$ оказывается наилучшим в том смысле, что для любой последовательности положительных чисел ${\displaystyle b_{n}}$ с расходящимся рядом ${\displaystyle \sum b_{n}/n^{2}}$ можно построить последовательность независимых случайных величин ${\displaystyle X_{n}}$ с ${\displaystyle DX_{n}=b_{n}}$ , не удовлетворяющую усиленному закону больших чисел.^[4]

Различия между слабым законом и усиленным законом

Слабый закон утверждает, что для заданного большого ${\displaystyle n}$ среднее значение ${\displaystyle {\overline {X}}_{n}}$ , вероятно, будет близко к ${\displaystyle \mu }$ . Таким образом, ${\displaystyle {\displaystyle |{\overline {X}}_{n}-\mu |>\varepsilon }}$ может происходить бесконечно много раз, хотя и сколь угодно редко. (Для всех ${\displaystyle n}$ не обязательно выполняется ${\displaystyle {\displaystyle |{\overline {X}}_{n}-\mu |\neq 0}}$ ).

Усиленный закон показывает, что ${\displaystyle {\displaystyle |{\overline {X}}_{n}-\mu |>\varepsilon }}$ почти наверное не произойдет. Это означает, что с вероятностью ${\displaystyle {\mathit {1}}}$ мы имеем, что ${\displaystyle \forall \varepsilon >0}$ выполняется неравенство ${\displaystyle |{\overline {X}}_{n}-\mu |<\varepsilon }$ для достаточно больших ${\displaystyle n}$ .^[5]

Ниже приведены три примера симметричных распределений, в каждом примере математического ожидания эти распределения не имеют, усиленный закон больших чисел (сходимость почти всюду) не имеет места, но слабый закон выполнен: среднее случайных величин сходится по вероятности к константе, центру симметрии их распределения. ^[6][7][8]

1. Пусть ${\displaystyle x}$ - экспоненциально распределенная случайная величина с параметром 1. Случайная величина ${\displaystyle {\displaystyle {\frac {\sin(x)e^{x}}{x}}}}$ не имеет математического ожидания задаваемого интегралом Лебега, но используя условную сходимость и интерпретацию интеграла как интеграла Дирихле, являющегося несобственным интегралом Римана, можно сказать:

${\displaystyle E\left({\frac {\sin(x)e^{x}}{x}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}}$

2. Пусть ${\displaystyle x}$ - геометрическое распределение с вероятностью ${\displaystyle 0,5}$ . Случайная величина ${\displaystyle {\displaystyle {\frac {2^{x}(-1)^{x}}{x}}}}$ не имеет математического ожидания в обычном смысле, поскольку бесконечный ряд не является абсолютно сходящимся, но используя условную сходимость можно сказать:

${\displaystyle E\left({\frac {2^{x}(-1)^{x}}{x}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)}$

3. Если функция распределения случайной величины равна

${\displaystyle 1-F(x)={\frac {e}{2x\ln(x)}},x\geq e}$

${\displaystyle F(x)={\frac {e}{-2x\ln(-x)}},x\leq -e}$ ,

то она не имеет математического ожидания, но слабый закон выполняется.^[9][10]

Равномерный закон больших чисел

Пусть ${\displaystyle f(x,\theta )}$ - некоторая функция, которая определена и непрерывна по переменной ${\displaystyle \theta \in \Theta }$ . Тогда для любого фиксированного ${\displaystyle \theta }$ последовательность ${\displaystyle \{f(X_{1},\theta ),f(X_{2},\theta ),...\}}$ будет последовательностью независимых и одинаково распределенных случайных величин, такой, что выборочное среднее этой последовательности сходится по вероятности к ${\displaystyle E[f(X,\theta )]}$ .

Равномерный закон больших чисел описывает условия, при которых сходимость равномерна по ${\displaystyle \theta }$ .

Если: ^[11][12]

1. ${\displaystyle \Theta }$ компактно,
2. ${\displaystyle f(x,\theta )}$ непрерывна при каждом ${\displaystyle \theta \in \Theta }$ для почти всех ${\displaystyle x}$ и измеримой функции от ${\displaystyle x}$ в каждом ${\displaystyle \theta }$ .
3. существует доминирующая функция ${\displaystyle d(x)}$ такая, что ${\displaystyle E[d(X)]<\infty }$ и

${\displaystyle \left\|f(x,\theta )\right\|\leqslant d(x)}$ для всех ${\displaystyle \theta \in \Theta .}$

Тогда ${\displaystyle E[f(X,\theta )]}$ непрерывна в ${\displaystyle \theta }$ и:

${\displaystyle \sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f\left(X_{i},\theta \right)-\operatorname {E} [f(X,\theta )]\right\|{\xrightarrow {\mathrm {\text{п.н.}} }}\ 0}$ .

Борелевский закон больших чисел

Борелевский закон больших чисел, названный в честь Эмиля Бореля, гласит, что если эксперимент повторяется много раз независимо при одинаковых условиях, то доля раз, когда любое указанное событие происходит, приблизительно равна вероятности появления события в каком-либо конкретном испытании; чем больше число повторений, тем лучше приближение. Точнее, если ${\displaystyle E}$ обозначает событие, о котором идет речь, ${\displaystyle p}$ - вероятность его появления, а ${\displaystyle N_{n}(E)}$ - число раз, когда ${\displaystyle E}$ встречается в первых ${\displaystyle n}$ испытаниях, тогда с вероятностью ${\displaystyle {\mathit {1}}}$ ^[13]:

${\displaystyle {\displaystyle {\frac {N_{n}(E)}{n}}\to p{\text{ , }}n\to \infty .}}$

Доказательство с использованием неравенства Чебышева, предполагающего конечную дисперсию

Предположение о конечной дисперсии ${\displaystyle D(X_{1})=D(X_{2})=...=\sigma ^{2}<\infty }$ не является обязательным. Большая или бесконечная дисперсия замедляет сходимость, но ЗБЧ выполняется в любом случае.

Это доказательство использует предположение о конечной дисперсии ${\displaystyle \operatorname {D} (X_{i})=\sigma ^{2}}$ (для всех ${\displaystyle i}$ ). Независимость случайных величин не предполагает корреляции между ними, мы имеем

${\displaystyle \operatorname {D} ({\overline {X}}_{n})=\operatorname {D} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {D} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.}$

Математическое ожидание последовательности ${\displaystyle \mu }$ представляет собой среднее значение выборочного среднего:

${\displaystyle E({\overline {X}}_{n})=\mu .}$

Используя неравенство Чебышева для ${\displaystyle {\overline {X}}_{n}}$ , получаем

${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geqslant \varepsilon )\leqslant {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.}$

Это неравенство используем для получения следующего:

${\displaystyle \operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geqslant \varepsilon )\geqslant 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}},}$

при ${\displaystyle n\rightarrow \infty }$ , выражение стремится к ${\displaystyle {\mathit {1}}}$ ,

теперь по определению сходимости по вероятности мы получим:

${\displaystyle {\overline {X}}_{n}\ {\xrightarrow {P}}\ \mu }$ , при ${\displaystyle n\rightarrow \infty }$ .

Доказательство с использованием сходимости характеристических функций

По теореме Тейлора для комплексных функций, характеристическая функция любой случайной величины ${\displaystyle X}$ с конечным средним ${\displaystyle \mu }$ может быть записана как

${\displaystyle \varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0.}$

Все ${\displaystyle X_{1},X_{2},...}$ имеют одну и ту же характеристическую функцию, обозначим её как ${\displaystyle \varphi _{X}}$ .

Среди основных свойств характеристических функций выделим два свойства

${\displaystyle \varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})}$ и ${\displaystyle \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)}$ , ${\displaystyle X}$ и ${\displaystyle Y}$ независимы

Эти правила могут быть использованы для вычисления характеристической функции ${\displaystyle {\overline {X}}_{n}}$ в терминах ${\displaystyle \varphi _{X}}$

${\displaystyle \varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },}$ при ${\displaystyle n\rightarrow \infty .}$

Предел ${\displaystyle e^{it\mu }}$ является характеристической функцией непрерывной случайной величины ${\displaystyle \mu }$ и, следовательно, по теореме непрерывности Леви, ${\displaystyle {\overline {X}}_{n}}$ сходится по распределению к ${\displaystyle \mu }$ :

${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathcal {D}}}\,\mu }$ , при ${\displaystyle n\to \infty .}$

Поскольку ${\displaystyle \mu }$ - константа, то отсюда следует, что сходимость по распределению к ${\displaystyle \mu }$ и сходимость по вероятности к ${\displaystyle \mu }$ эквивалентны. Поэтому,

${\displaystyle {\overline {X}}_{n}\,{\xrightarrow {\mathcal {P}}}\,\mu }$ , при ${\displaystyle n\to \infty .}$

Это показывает, что среднее значение выборки по вероятности сходится к производной характеристической функции в начале координат, если она существует.