WikiSort.ru - Не сортированное

Коэффициент Байеса — это байесовская альтернатива проверке статистических гипотез^[1][2]. Байесовское сравнение моделей — это метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями^[3]. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нет^[4]. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.

Определение

Коэффициент Байеса является отношением вероятностей правдоподобия двух гипотез, обычно нулевой гипотезы и альтернативной ²⁰¹².

Апостериорная вероятность ${\displaystyle \Pr(M|D)}$ модели M, задаваемой данными D, определяется теоремой Байеса:

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

Ключевой зависящий от данных член ${\displaystyle \Pr(D|M)}$ является правдоподобием модели M с учётом данных D и он представляет вероятность того, что некоторые данные получены в предположении принятия модели M. Правильное вычисление этого члена является ключом байесовского сравнение моделей.

Если дана задача выбора модели, в которой мы должны выбрать между двумя моделями на основе наблюдаемых данных D, правдоподобие двух различных моделей M₁ и M₂, параметризованных векторами параметров ${\displaystyle \theta _{1}}$ и ${\displaystyle \theta _{2}}$ , определяется коэффициентом Байеса K, определяемым как

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Если две модели априори одинаково вероятны, так что ${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$ , коэффициент Байеса равен отношению апостериорных вероятностей M₁ и M₂. Если вместо интеграла коэффициента Байеса используется правдоподобие, соответствующее максимальной оценке правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия. В отличие от теста отношения правдоподобия, эта байесовская модель сравнения не зависит от одного набора параметров, так как она интегрирует по всем параметрам в каждой модели. Однако, преимущество использования коэффициентов Байеса заключается в том, что они автоматически и вполне естественно включают штраф за включение слишком много от структуры модели ^[5]. Это ограждает от переобучения. Для моделей, в которых явная версия правдоподобия недоступна или её вычисление слишком затратно, могут быть использованы приближенные байесовские вычисления^[en] для выбора модели в байесовской концепции^[6], с предупреждением, что приближённая байесовская оценка коэффициентов Байеса часто смещена^[7].

Другие подходы:

• трактовать модель сравнения как задачу принятия решений, вычисляя ожидаемое значение или цену каждого выбора модели;
• использовать принцип сообщений минимальной длины (англ. minimum message length, MML).

Интерпретация

Значение of K > 1 означает, что гипотеза M₁ сильнее поддерживается данными, чем гипотеза M₂. Заметим, что классическая проверка статистических гипотез принимает по умолчанию одну гипотезу (или модель) («Нулевая гипотеза»), и рассматривает только свидетельства против её. Гарольд Джеффрис приводит таблицу для интерпретации K^[8]:

Второй столбец даёт соответствующие веса поддержки в единицах децихартли^[en] (известных также как децибаны^[en]), биты добавлены в третьем столбце для ясности. Согласно Ирвингу Джону Гуду изменение веса с 1 децибана или 1/3 бита настолько мелко, насколько люди могут осознать разницу в степени доверия гипотезе в повседневном использовании^[9].

Альтернативную широко цитируемую таблицу предожили Касс и Рафтери (1995)^[5]:

Использование коэффициентов Байеса или классической проверки статистических гипотез происходит в контексте вывода, а не принятия решений в условиях неопределённости. То есть, мы только хотим найти, какая гипотеза верна, а не принимаем действительное решение на основе этой информации. Частотная статистика делает строгое различие между этими двумя подходами, поскольку классические методы проверки гипотез не когерентны в байесовском смысле. Байесовские процедуры, включая коэффициенты Байеса, когерентны, так что нет необходимости делать это различие. Вывод тогда просто рассматривается как частный случай принятия решения в условиях неопределённости, в котором конечным действием является возврат значения. Для принятия решений статистики, использующие байесовский подход, могут использовать коэффициент Байеса вместе с априорным распределением и функцией потерь. В контексте вывода функция потерь примет вид правила подсчёта результата^[en]. Использование логарифмического правила подсчёта^[en], например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака — Лейблера.

Пример

Предположим, что у нас есть случайная величина, которая принимает значение либо успех, либо неудача. Мы хотим сравнить модель M₁ где вероятность успеха равна q=½, и другую модель M₂, в которой значение q неизвестно, и мы принимаем априорное распреление для q как однородное распределение на [0,1]. Мы делаем 200 испытаний и получаем 115 успехов и 85 неудач. Правдоподобность может быть вычислена согласно биномиального распределения:

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Тогда мы имеем

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0,005956...,\,}$

но

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={200 \choose 115}\times \int _{0}^{1}q^{115}(1-q)^{85}dq={200 \choose 115}\times }$ ${\displaystyle \mathrm {B} (116,86)}$ ${\displaystyle ={200 \choose 115}\times }$ ${\displaystyle \Gamma (116)\times \Gamma (86) \over \Gamma (116+86)}$ ${\displaystyle ={\frac {200!}{{115!}\times {85!}}}\times {\frac {{115!}\times {85!}}{201!}}={1 \over 201}=0,004975....}$

Отношение равно тогда 1,197..., которое «едва заслуживает внимание», даже если оно склоняется слегка в сторону M₁.

Проверка статистических гипотез на основе частотного вывода^[en] M₁ (рассматривается здесь как нулевая гипотеза) даст совершенно другой результат. Такая проверка утверждает, что гипотеза M₁ должна быть отброшена на уровне значимости 5%, поскольку вероятность получения 115 или более успехов из выборки в 200 элементов при q=½ равна 0,0200, а двухсторонний критерий^[en] получения экстремума в 115 или более даёт 0,0400. Заметим, что 115 отличается от 100 вдвое по сравнению с среднеквадратичным отклонением. Таким образом, в то время как проверка статистической гипотезы на основе частотного вывода даёт статистическую значимость на уровне 5%, коэффициент Байеса вряд ли примет это как экстремальный результат. Заметим, однако, что неоднородное априорное распределение (например, отражающее, что вы ожидаете число успешных и неуспешных исходов одного порядка) может привести к коэффициенту Байеса, который больше согласуется с проверкой на основе частотного вывода.

Классический тест отношения правдоподобия мог бы найти оценку максимального правдоподобия для q, а именно, ¹¹⁵⁄₂₀₀=0,575, откуда

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}=0,056991}$

(вместо усреднения по всем возможным q). Это даёт отношение правдоподобия 0,1045 и указывает на M₂.

M₂ является более сложной моделью, чем M₁ поскольку она имеет свободный параметр, который позволяет моделировать данные более тесно. Способность коэффициентов Байеса принимать это во внимание является причиной, почему байесовский вывод выдвигается как теоретическое обоснование и обобщение бритвы Оккама, в котором уменьшаются ошибки первого рода ^[10].

С другой стороны, современный метод относительного правдоподобия принимает во внимание число свободных параметров моделей в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M₁ имеет 0 параметров, а потому её значение информационного критерия Акаике (AIC) равно ${\displaystyle 2\cdot 0-2\cdot \ln(0,005956)=10,2467}$ . Модель M₂ имеет 1 параметр, а потому её значение AIC равно ${\displaystyle 2\cdot 1-2\cdot \ln(0,056991)=7,7297}$ . Следовательно, M₁ примерно в ${\displaystyle \exp((7,7297-10,2467)/2)=0,284}$ более вероятно, чем M₂, минимизирует потерю информации. Таким образом, M₂ слегка предпочтительнее, но M₁ отбрасывать нельзя.

Приложение

• Коэффициент Байеса был применён для упорядочения динамической экспрессии генов вместо q-значения^[11].

См. также

• Информационный критерий Акаике
• Приближенные байесовские вычисления^[en]
• Байесовский информационный критерий
• Информационный критерий суммы квадратов отклонений от среднего^[en]
• Парадокс Линдли
• Сообщение минимальной длины
• Выбор модели

Статистические показатели

• Отношение шансов
• Относительный риск

Примечания

Литература

Ссылка

• BayesFactor —an R package for computing Bayes factors in common research designs
• Bayes Factor Calculators —web-based version of much of the BayesFactor package

Для улучшения этой статьи желательно: Проверить качество перевода с иностранного языка. Исправить статью согласно стилистическим правилам Википедии. Проверить статью на грамматические и орфографические ошибки.