WikiSort.ru - Не сортированное

Проблéма мно́жественных сравне́ний (англ. multiple comparisons, multiplicity, multiple testing problem) — класс задач статистики, возникающих при необходимости построения семейства статистических выводов. При проверке статистических гипотез для каждого утверждения, представляющего собой вывод об отвержении гипотезы, возникает возможность появления ошибки (ложного отклонения гипотезы, ошибки первого рода). Вероятность такого события ограничивается неким малым значением — уровнем значимости ${\displaystyle \alpha }$ ( обычно ${\displaystyle \alpha =0.05}$ ). При построении ${\displaystyle m}$ выводов вероятность того, что хотя бы один из них будет неверным, равна ${\displaystyle 1-(1-\alpha )^{m}}$ , что достаточно велико уже при небольших ${\displaystyle m}$ (например, при ${\displaystyle m=5}$ она равна ${\displaystyle \approx 22{,}6\%}$ ). Для устранения этого эффекта было разработано несколько подходов^[1].

Примеры

Термин «сравнение» подразумевает сравнение параметров у каких-либо двух групп (например, экспериментальной и контрольной). При множественном сравнении подразумевается сравнение сразу нескольких параметров у этих групп. При увеличении количества параметров может появиться ложное заключение о наличии различий между группами, тогда как на самом деле верна нулевая гипотеза об отсутствии различий, что может привести к некоторым проблемам, как в примерах ниже.

• Предположим, мы тестируем новое лекарство. Экспериментальной (терапевтической) группой будем называть группу больных, которым выдают новое лекарство, а группой контроля — группу больных, которым его не выдают. Будем считать, что эффективность лекарства заключается в ослаблении симптомов заболевания (понижению температуры, приведению давления в норму и так далее). Чем больше симптомов рассматривается, тем более вероятно, что найдётся хотя бы один симптом, который в этом исследовании в силу случайных причин окажется слабее у «группы лечения».
• Рассмотрим аналогичную ситуацию, но теперь будем считать лекарство полезным, если оно не вызывает побочных эффектов. Чем больше возможных побочных эффектов рассматривается, тем более вероятно, что найдётся хотя бы один, который будет больше проявляться у «группы лечения» в конкретном исследовании .
• Эксперименты могут проводиться не только в медицине, но и в эконометрике (например, при исследовании эффективности государственной поддержки безработных), биостатистике, социологии и проч. Например, возьмём за группу контроля класс школьников, которые обучаются языку по традиционной методике, а за экспериментальную группу — класс школьников, которые обучаются по новой методике. Можно рассмотреть несколько параметров успеваемости: знания грамматики, произношение, скорость перевода и так далее. Чем больше параметров мы рассмотрим, тем выше вероятность того, что экспериментальная группа случайно будет превосходить «группу контроля» хотя бы по одному параметру.
• Кроме того, иногда возникает задача, когда каждый элемент из какого-то множества проверяется на соответствие ожидаемому результату. Рассмотрим следующую ситуацию: у нас есть комплект из 100 монет, и мы хотим определить, есть ли среди этих монет экземпляры со смещённым центром тяжести (будем считать, что у монеты есть смещение, если она выпадает одной стороной хотя бы 9 раз при 10 бросках). Отметим, что вероятность такого исхода для сбалансированной монеты равна ${\displaystyle (10+1+1+10)\cdot (1/2)^{10}\approx 0{,}0215}$ . Допустим, что все монеты в комплекте сбалансированы. Тогда вероятность того, что мы не ошибёмся ни в одном выводе, равна ${\displaystyle (1-0{,}0215)^{100}\approx 0{,}1138}$ , то есть, довольно мала.

Обозначения

	Нулевая гипотеза верна	Нулевая гипотеза неверна	Всего
Принимаем гипотезу	${\displaystyle U}$	${\displaystyle T}$	${\displaystyle W}$
Отвергаем гипотезу	${\displaystyle V}$	${\displaystyle S}$	${\displaystyle R}$
Всего	${\displaystyle m_{0}}$	${\displaystyle m-m_{0}}$	${\displaystyle m}$

• ${\displaystyle m}$ общее число гипотез
• ${\displaystyle m_{0}}$ число верных гипотез, неизвестный параметр
• ${\displaystyle m-m_{0}}$ число неверных гипотез
• ${\displaystyle V}$ число false positives (ошибок первого рода)
• ${\displaystyle S}$ число true positives
• ${\displaystyle T}$ число false negatives (ошибок второго рода)
• ${\displaystyle U}$ число true negatives
• ${\displaystyle R}$ число отвергнутых нулевых гипотез. ${\displaystyle R}$ и ${\displaystyle W}$ — наблюдаемые величины, а ${\displaystyle S}$ , ${\displaystyle T}$ , ${\displaystyle U}$ и ${\displaystyle V}$ — ненаблюдаемые.

Методы решения проблемы множественных сравнений

При слишком большом количестве испытаний увеличивается вероятность получить ложноположительный результат (увеличение ${\displaystyle V}$ ). Задача состоит в том,чтобы выбрать метод, допускающий минимальное число ложных отклонений гипотез ${\displaystyle V}$ и ложных принятий ${\displaystyle T}$ . Для этого необходимо выбрать другой порог на значимость. Для задачи множественной проверки гипотез существует большое количество величин, обобщающих определение ошибки первого рода. Наиболее известны следующие:

• FWER — family-wise error rate, групповая вероятность ошибки первого рода: ${\displaystyle {\text{FWER}}=P(V\geq 1)}$ ;
• FDP — false discovery proportion, доля ложных отклонений гипотез (среди всех отклонений): ${\displaystyle {\text{FDP}}={\begin{cases}{\frac {V}{R}},R>0,\\0,R=0;\end{cases}}}$
• FDR — false discovery rate, средняя доля ложных отклонений гипотез (среди всех отклонений): ${\displaystyle {\text{FDR}}=E[{\text{FDP}}];}$
• FCR — false coverage rate, средняя доля ложный покрытий, то есть не покрытие верных параметров в пределах выбранных интервалов.

Для каждой из приведенных мер существует свой способ ужесточения порога на значимость.

Сравнение трех методов

На практике корректируется не сам порог, а p-значение. Если мы будем сравнивать все три метода, то можно увидеть, что наиболее строгим из всех является поправка Бонферрони. Рассмотрим на примере.

В статье García-Arenzana et al. (2014) было протестировано 25 различных диетических параметров и их влияние на маммографическую плотность у испанок. Ниже приведены полученные результаты:

Dietary variable	P-value
Total calories	${\displaystyle 0.001}$
Olive oil	${\displaystyle 0.008}$
Whole milk	${\displaystyle 0.039}$
White meat	${\displaystyle 0.041}$
Proteins	${\displaystyle 0.042}$
Nuts	${\displaystyle 0.06}$
Cereals and pasta	${\displaystyle 0.074}$
White fish	${\displaystyle 0.205}$
Butter	${\displaystyle 0.212}$
Vegetables	${\displaystyle 0.216}$
Skimmed milk	${\displaystyle 0.222}$
Red meat	${\displaystyle 0.251}$
Fruit	${\displaystyle 0.269}$
Eggs	${\displaystyle 0.275}$
Blue fish	${\displaystyle 0.34}$
Legumes	${\displaystyle 0.341}$
Carbohydrates	${\displaystyle 0.384}$
Potatoes	${\displaystyle 0.569}$
Bread	${\displaystyle 0.594}$
Fats	${\displaystyle 0.696}$
Sweets	${\displaystyle 0.762}$
Dairy products	${\displaystyle 0.94}$
Semi-skimmed milk	${\displaystyle 0.942}$
Total meat	${\displaystyle 0.975}$
Processed meat	${\displaystyle 0.986}$

Как можно увидеть, пять переменных являются значимыми (p-значание < ${\displaystyle \alpha }$ ).

Применим поправку Бонферрони для данной выборки. Скорректированные p-значения высчитываются таким образом: ${\displaystyle p_{i}=\min(1,mp)}$ .

После применения данной поправки видно, что только один тест остался значимым. Поправка Бонферрони подходит, когда хотя бы один ложноположительный результат может стать проблемой. По большей части, данная поправка применима на небольшом количестве тестов, когда мы ищем всего один или два значимых результата. Если мы возьмем большое количество тестов, где нам будут интересны достаточно много значимых результатов, то поправка Бонферрони может привести к большому числу ложноотрицательных результатов. Например, при анализе экспрессии порядка 20 000 генов в двух разных тканях мы ожидаем увидеть хотя бы несколько сотен генов с разным уровнем экспрессии. Однако, при применении данной поправки p-значение должно быть меньше 0.05/20000=0.0000025 для того, чтобы быть значимым. Таким образом, только гены с очень большой разницей в экспрессии будут иметь такое низкое p-значение, что может привести к потере результатов, где разница есть, но не такая большая.

Посмотрим на то, как изменились p-значения после применения поправки Холма, считается так: ${\displaystyle p_{i}=\min(1,\max((m-i+1)p_{i},p_{(i+1)}))}$ .

Посмотрим на p-значения после применения поправки Бенджамини — Хохберга, считается: ${\displaystyle p_{i}=\min(1,{\frac {mp_{i}}{i}},p_{(i+1)})}$ .

Применение в биоинформатике

При анализе данных c микрочипов нельзя просто сказать, что какая-то группа генов экспрессируется в два раза больше, нежели другая. В таком случае в эксперименте с пятью или менее повторностями всего одно отклонение может создать заметную разницу более, чем в два раза. К тому же, установка границы «в два раза» звучит совсем не биологически.

Для определения по-разному экспрессирующихся генов, вместо того, чтобы использовать кратность, можно применить ряд статистических тестов, которые позволят приписать каждому полученному результату p-value, оценку того, что данная величина появилась случайно. Применять p-значения к микрочипам достаточно сложная задача из-за большого количества множественных сравнений (анализируемых генов). Например, если мы возьмем p-значение равное 0.05 для определения уровня значимости, поскольку это означает, что с 5% вероятностью эти данные получились случайно. С 10 000 генов на микрочипе 500 генов будут определены, как значимые при ${\displaystyle p<0.05}$ , даже если разницы между экспериментальными группами не будет. Решение: ужесточить p-критерий, применив поправку Бонферрони или используя FDR. К сожалению, эти подходы могут снизить число значимых генов до нуля, несмотря на то, что у них разный уровень экспрессии. Rank products нацелен на то, чтобы установить баланс между неправильно предсказанными генами из-за случайной изменчивости и не обнаружением по-разному экспрессирующихся генов. Самыми известными статистическими методами являются Significance Analysis of Microarrays (SAM) и большое разнообразие методов, доступных на Bioconductor, а также существуют разные пакеты, предоставляемые различными биоинформатическими компаниями.

См. также

• Ошибки первого и второго рода

Примечания

Литература

• E. L. Lehmann, J. P. Romano. Chapter 9: Multiple testing and simultaneous inference // Testing statistical hypotheses. — 3rd ed.. — New York: Springer, 2005. — 786 p.
• Peter H. Westfall, S. Stanley Young. Resampling-Based Multiple Testing: Examples and Methods for p-Value Adjustment. — Wiley, 1993. — 360 p. — ISBN 978-0-471-55761-6.

Для улучшения этой статьи желательно: Найти и оформить в виде сносок ссылки на независимые авторитетные источники, подтверждающие написанное. Установить ссылки из других статей Википедии. Связать?