WikiSort.ru - Не сортированное

Вычисление ${\displaystyle P(B)}$

В задачах и статистических приложениях ${\displaystyle P(B)}$ обычно вычисляется по формуле полной вероятности события, зависящего от нескольких несовместных гипотез, имеющих суммарную вероятность 1.

${\displaystyle P(B)=\sum _{i=1}^{N}P(A_{i})P(B\mid A_{i})}$ ,

где вероятности под знаком суммы известны или допускают экспериментальную оценку.

В этом случае формула Байеса записывается так:

${\displaystyle P(A_{j}\mid B)={\frac {P(A_{j})P(B\mid A_{j})}{\sum _{i=1}^{N}P(A_{i})P(B\mid A_{i})}}}$

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае называют гипотезами, так как они — предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще), а условную — с учётом факта произошедшего события — апостериорной (насколько вероятна причина оказалась с учетом данных о событии).

Пример 1

Пусть событие ${\displaystyle B}$  — машина не заводится, а гипотеза ${\displaystyle A}$  — в баке нет топлива. Очевидно, что вероятность ${\displaystyle P(B\mid A)}$ того, что машина не заведётся, если в баке нет топлива, равняется единице. Как следствие, апостериорная вероятность, что в баке нет топлива, если машина не заводится, то есть ${\displaystyle P(A\mid B)}$ , равна ${\displaystyle {\frac {P(A)}{P(B)}}}$ , то есть отношению априорной вероятности, что в баке нет топлива, к вероятности, что машина не заводится. Например, если априорная вероятность, что в баке нет топлива, равна 1 %, а вероятность, что машина не заводится, равна 2 %, и случайно выбранная машина не завелась, то вероятность, что в её баке нет топлива, равна 50 %.

Пример 2

Пусть вероятность брака у первого рабочего ${\displaystyle p_{1}=0{,}9}$ , у второго рабочего — ${\displaystyle p_{2}=0{,}5}$ , а у третьего — ${\displaystyle p_{3}=0{,}2}$ . Первый изготовил ${\displaystyle n_{1}=800}$ деталей, второй — ${\displaystyle n_{2}=600}$ деталей, а третий — ${\displaystyle n_{3}=900}$ деталей. Начальник цеха берёт случайную деталь, и она оказывается бракованной. Спрашивается, с какой вероятностью эту деталь изготовил третий рабочий?

Событие ${\displaystyle B}$  — брак детали, событие ${\displaystyle A_{i}}$  — деталь произвёл рабочий ${\displaystyle i}$ . Тогда ${\displaystyle P(A_{i})=n_{i}/N}$ , где ${\displaystyle N=n_{1}+n_{2}+n_{3}}$ , а ${\displaystyle P(B\mid A_{i})=p_{i}}$ .

По формуле полной вероятности

${\displaystyle P(B)=\sum _{i=1}^{3}P(B\mid A_{i})P(A_{i}).}$

По формуле Байеса получим:

${\displaystyle P(A_{3}\mid B)={\frac {P(B\mid A_{3})P(A_{3})}{P(B)}}={\frac {P(B\mid A_{3})P(A_{3})}{P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+P(B\mid A_{3})P(A_{3})}}=}$ ${\displaystyle ={\frac {p_{3}n_{3}/N}{p_{1}n_{1}/N+p_{2}n_{2}/N+p_{3}n_{3}/N}}={\frac {0{,}2\cdot 900/2300}{0{,}9\cdot 800/2300+0{,}5\cdot 600/2300+0{,}2\cdot 900/2300}}=0{,}15.}$

Пример 3

Энтомолог предполагает, что жук может относиться к редкому подвиду жуков, так как у него на корпусе есть узор. В редком подвиде 98 % жуков имеют узор или P(Узор | Редкий) = 0,98 (P(Pattern | Rare) = 0,98). Среди обычных жуков только 5 % имеют узор. Редкого вида жуков насчитывается лишь 0,1 % среди всей популяции. Какова вероятность того, что жук, имеющий узор, относится к редкому подвиду или P(Редкий | Узор) (P(Rare | Pattern))?

Из расширенной теоремы Байеса получаем (любой жук может относиться либо к редким, либо к обычному (Common) виду): ${\displaystyle {\begin{aligned}P({\text{Rare}}\mid {\text{Pattern}})&={\frac {P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})}{P({\text{Pattern}}\mid {\text{Rare}})P({\text{Rare}})\,+\,P({\text{Pattern}}\mid {\text{Common}})P({\text{Common}})}}\\[8pt]&={\frac {0{,}98\times 0{,}001}{0{,}98\times 0{,}001+0{,}05\times 0{,}999}}\\[8pt]&\approx 1{,}9\,\%.\end{aligned}}}$

Пример 4 — парадокс теоремы Байеса

Пусть существует заболевание с частотой распространения среди населения 0,001 и метод диагностического обследования, который с вероятностью 0,9 выявляет больного, но при этом имеет вероятность 0,01 ошибочно определить заболевание у здорового человека (подробнее…). Найти вероятность того, что человек здоров, если он был признан больным при обследовании.

Обозначим через Б — событие, что человек больной, «Б» — событие, что обследование показало, что человек болен, а через З — событие, что человек здоров. Тогда заданные условия переписываются следующим образом:

P(«Б» | Б) = 0,9;

Р(«Б» | З)= 0,01;

Р(Б) = 0,001, значит P(З) = 0,999.

Вероятность того, что человек здоров, если он был признан больным равна условной вероятности:

Р(З | «Б»).

Чтобы её найти, вычислим сначала полную вероятность признания больным:

Р(«Б») = 0,999 × 0,01 + 0,001 × 0,9 = 1,089 %.

Вероятность, что человек здоров при результате «болен»:

Р(З | «Б») = 0,999 × 0,01 / (0,999 × 0,01 + 0,001 × 0,9) ≈ 91,7 %.

Таким образом, 91,7 % людей, у которых обследование показало результат «болен», на самом деле здоровые люди. Причина этого в том, что по условию задачи вероятность ложноположительного результата хоть и мала, но на порядок больше доли больных в обследуемой группе людей.

Если ошибочные результаты обследования можно считать случайными, то повторное обследование того же человека будет давать независимый от первого результат. В этом случае для уменьшения доли ложноположительных результатов имеет смысл провести повторное обследование людей, получивших результат «болен». Вероятность того, что человек здоров после получения повторного результата «болен», также можно вычислить по формуле Байеса: Р(З | «Б», «Б») = 0,999 × 0,01 × 0,01 / (0,999 × 0,01 × 0,01 + 0,001 × 0,9 × 0,9) ≈ 10,98 %.

Интерпретация Байеса

В интерпретации Байеса вероятность измеряет уровень доверия. Теорема Байеса связывает воедино доверие предположению до и после принятия во внимание очевидных доказательств. Например, кто-то предположил, что при подкидывании монетки она будет приземляться в 2 раза чаще решкой вверх, а орлом вниз. Первоначально степень доверия, что такое событие случится, монета упадет именно так — 50 %. Уровень доверия может увеличиться до 70 %, если предположение будет подтверждено доказательством.

Для предположения (гипотезы) A и доказательства B

• P(A) — априорная вероятность гипотезы A, первоначальный уровень доверия предположению A;
• P(A | B) — апостериорная вероятность гипотезы A при наступлении события B;
• отношение P(B | A)/P(B) показывает, как событие B помогает изменить уровень доверия предположению A.

Частотная интерпретация

В частотной интерпретации теорема Байеса фиксирует количество произошедших событий (выходов) и определяет их вероятность. Например, предположим, что эксперимент проводился много раз. P(A) — количество раз, когда произошло событие A (измеряется в долях). P(B) — количество раз, когда произошло событие B (измеряется в долях). P(B | A) — частота (в долях) наступления события «B» без наступления события A. P(A | B) — наступление события A без наступления события B.

Роль теоремы Байеса лучше всего можно понять из древовидной диаграммы, которая представлена справа. Каждая из 2 диаграмм демонстрирует события A и B с положительным и отрицательным результатом, чтобы показать противоположность вероятностей на выходе. Теорема Байеса используется как связующее звено этих отличающихся частей.

События

Если говорить кратко: апостериорная вероятность пропорциональна априорной вероятности (смотри Lee, 2012, Глава 1).

Непрерывные случайные величины

Рассмотрим пространство элементарных событий Ω, образованного двумя величинами X и Y. В принципе, теорема Байеса применяется к событиям A = {X = x} и B = {Y = y}. Однако выражения становятся равны 0 в точках, в которых переменая имеет конечную плотность вероятности. Для того, чтобы с пользой продолжать использовать теорему Байеса, можно её сформулировать в терминах подходящих плотностей (смотрите Вывод формул).

Расширенная форма

Непрерывное пространство событий часто определяется как числитель условий A. Непрерывное пространство событий часто представляют как числитель. В дальнейшем полезно избавиться от знаменателя, используя формулу общей вероятности. Для 'f_Y(y), это становится интегралом:

${\displaystyle f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .}$

Правило Байеса

Правило Байеса — это преобразованная теорема Байеса:

${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)}$

где

${\displaystyle \Lambda (A_{1}:A_{2}|B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}}$

Это называется правилом Байеса или отношением правдоподобия. Разница в вероятности наступления двух событий — это просто отношение вероятностей этих двух событий. Таким образом,

${\displaystyle O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}}}$ ,

${\displaystyle O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}}$ ,

Для событий

Теорема Байеса может быть получена из определения вероятности:

${\displaystyle P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ if }}P(B)\neq 0,}$

${\displaystyle P(B\mid A)={\frac {P(A\cap B)}{P(A)}},{\text{ if }}P(A)\neq 0,}$

${\displaystyle \implies P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A),}$

${\displaystyle \implies P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}},{\text{ if }}P(B)\neq 0.}$

Для случайных переменных

Для двух непрерывных случайных величин X и Y теорема Байеса может быть аналогично выведена из определения условного распределения:

${\displaystyle f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$

${\displaystyle f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}}$

${\displaystyle \implies f_{X}(x\mid Y=y)={\frac {f_{Y}(y|X=x)\,f_{X}(x)}{f_{Y}(y)}}.}$