Использование формулы Байеса для статистических выводов

Использование формулы Байеса в теории вероятности и статистике.

Пятницкий А.М.

Российский Государственный Медицинский Университет

 

 

Рассмотрим два примера.

Пример N1. Известно, что в случае заболевания туберкулезом рентгеновское исследование позволяет поставить диагноз в 95% случаев (чувствительность метода = 95%). Если исследуемый здоров, то ложный диагноз туберкулеза ставится в 1% случаев (специфичность метода = 100 - 1 = 99%). Доля больных в популяции составляет 0.5%. Какова вероятность того, что обследованный пациент, которому поставили диагноз туберкулеза, действительно болен?

Пример N2. В урне находятся 5 шаров, о которых известно, что их цвет может быть белым или черным. Из урны с возвращением извлечены 4 шара. Все они оказались черными. Что можно сказать о количестве белых шаров?

Между двумя этими примерами имеется большая разница: первый – это корректная и простая задача по теории вероятности. Второй – сформулирован как извечный вопрос практика к теории: как на основе результатов опыта сделать вывод о неизвестном параметре модели (число белых шаров). Тут требуется уточнить как смысл вопроса, так и форму ответа.

1. Формула Байеса проста и легко выводится.

Пусть имеется полная группа попарно несовместных событий с известными вероятностями. Достоверное событие является их объединением: , . Рассматривается событие , для которого известно n условных вероятностей . Требуется найти вероятность =? Заметим, что условие и событие здесь поменялись местами. В старых учебниках такие вероятности назывались “обратными”.

По определению условной вероятности получаем:

где для вероятности события использована формула полной вероятности:

Если сложить все, то получится единица, поэтому множитель , не зависящий от , можно считать константой, которую можно найти в самом конце из условия нормировки.

2. Часто используемая интерпретация.

Имеется n взаимоисключающих гипотез о том, как устроен некий объект, причем известны вероятности, с которыми эти варианты встречаются. Происходит событие , о котором известно, с какой вероятностью оно наступает в каждом из вариантов. Требуется оценить вероятность того, что объект устроен определенным образом.

Терминология:

- априорные вероятности

- правдоподобие.

- апостериорные вероятности

Если обозначить постоянный множитель

то формулу Байеса полезно запомнить в таком виде:

Апостериорная Вероятность ~ Правдоподобие*Априорная Вероятность

Важным частным случаем является постоянная априорная вероятность, которую можно включить в константу и получить:

Апостериорная Вероятность ~ Правдоподобие.

Как математическое тождество формула Байеса не вызывает сомнений. Задачи, в которых известны все необходимые вероятности, легко решаются.

Пример N1. Известны априорные вероятности того, что случайно выбранный пациент здоров , =0.995 или страдает туберкулезом ,=0.005, произошло событие - при рентгеновском обследовании поставлен диагноз туберкулеза, известны условные вероятности=0.95 (чувствительность),=0.01 (специфичность). Отсюда апостериорная вероятность того, что пациент болен:


Итак, мы видим, что после исследования вероятность, того, что пациент болен, возросла с 0.005 до 0.32. Однако апостериорная вероятность того, что пациент здоров, оказывается все равно больше:

В чем причина того, что ошибочный диагноз ставится в двух случаях из трех? Повышение чувствительности метода до 100% не поможет решить проблему: доля больных слишком мала, а даже достаточно высокая (99%) специфичность метода не спасает дело. Это становится ясным после вычисления так называемого байесовского фактора - отношения апостериорных вероятностей. Ответ равен произведению двух множителей – отношения правдоподобий и отношения априорных вероятностей:

Все осложняется, как только от формальных задач теории вероятности, мы переходим к задачам статистики, пытаясь применить формулу Байеса в задачах о выборе той или иной модели объекта (идентификации его параметров). Вызывают сомнения два момента:

1.Можно ли считать неизвестные параметры модели случайными величинами?

2.Если да, то, как узнать априорные вероятности?

Пример N2.

Решим его двумя способами – стандартным, построив для параметра N доверительный интервал (confidence interval), и байесовским, построив для N интервал доверия (credible interval).

Число гипотез равно 6 и соответствует возможному количеству белых шаров N:

Событие , где - число извлеченных черных шаров.

Важно отметить, что вычисление “правдоподобий” – не зависит от того, считаем ли мы неизвестный параметр N величиной случайной (придерживаясь байесовского подхода) или неизвестной постоянной:

Решение стандартным способом.

Если бы число белых шаров превышало 2, то вероятность наблюдать событие - появление при выборе с возвращением 4 черных шаров, была бы меньше, чем

Вывод – неизвестный параметр (число белых шаров N) принадлежит интервалу [0..2] с вероятностью 0.95: P(0≤N≤2) ≥0.95=1-α. Границы этого ”доверительного интервала” (confidence interval) определяются результатами опыта (событием ). Правило выбирается так, чтобы в большой серии экспериментов интервал накрывал число N в (1-α)100% случаев. Здесь случайны границы интервала, но сам параметр – неслучаен.

Пояснение. Как построить доверительный интервал в общем случае? На плоскости (N,X), где N – неизвестный параметр модели (число белых шаров в ящике), а X-величина измеренная в случайном опыте (число появившихся черных шаров), надо построить область, в которой точка (N,X) находится с большой вероятностью (например P>0.95). Это удобно сделать фиксируя разные значения N=n и определяя границы для X так, чтобы выполнялось условие: . Полученные “вертикальные” (параллельные оси ординат) интервалы называются интервалами рассеивания (scattering intervals). Их границы неслучайны и зависят от n и α. Теперь при любом фиксированном X найдем “горизонтальный” интервал, который пересекает построенную область. Его границы будут случайны, если случайна ордината X. Это и есть доверительный интервал. Считается правильным говорить не “величина параметра N попадает в интервал”, а “интервал накрывает точку, соответствующую значению параметра N”. Американские статистики говорят о подкове (образ интервала), которая набрасывается на неподвижный гвоздь (параметр). Для того, чтобы осознать идею доверительного интервала понадобилось более 100 лет.

Решение байесовским способом.

Считаем, что число белых шаров N величина случайная и до опыта имеет равномерное распределение. На самом деле здесь имеется полный произвол - вид распределения может быть и любым другим.

Итак, в результате опыта равномерное априорное распределение перешло в быстро убывающую последовательность. . Определим интервал (credible interval), в который с вероятностью >0.95 попадает случайная (в рамках байесовского подхода) величина N. Он окажется таким же: 0≤N≤2. Однако другой выбор априорных вероятностей может существенно изменить ответ. Так, чрезвычайно определенное априорное знание может устоять перед любыми неблагоприятными фактами. Если, например, мы до опыта были практически уверены в том, что в урне четыре белых шара, то апостериорные вероятности хотя и сместятся в сторону уменьшения числа N но все равно

Произвол в выборе априорного распределения делает успех или неудачу применения байесовского подхода случайным. Неудивительно, что сам Байес не решался публиковать свою работу.

История вопроса.

Знание истории существенно для понимания роли формулы Байеса. Томас Бейес (Байес) изучал фундаментальную задачу статистики – оценку вероятности события p по частоте его появления ν. Если из огромного ящика, в котором находятся шары (“генеральной совокупности”), мы случайно извлекли n шаров (“выборка”), и среди них K шаров оказались белыми, то что можно сказать о неизвестной нам доле белых шаров p во всей генеральной совокупности? Пусть n=100, а K=24. Было бы неразумно просто приравнять случайную величину ν=K/n неизвестной нам величине p и считать, что p=0.24(?). Ведь при извлечении следующих 100 шаров величина ν станет другой. Байес предложил считать величину p случайной, а все априорные гипотезы о значении p равновероятными (p равномерно распределено от 0 до 1). Отсюда для апостериорной вероятности того, что величина p заключена от p1 до p2 , он получил формулу:

P(p1

< p2) =/

Иными словами плотность вероятности величины p:

где константа С определяется из условия нормировки. Если объем выборки n увеличивается (ν≠0, ν≠1, n → ∞), то распределение p приближается к нормальному закону со средним значением m=ν и среднеквадратичным отклонением σ= (ν(1-ν)) 1/2/n1/2. Это означает, что величина p с вероятностью 0.95 заключена в интервале (m-2σ, m+2σ), то есть: ν – 2(ν(1-ν)) 1/2/n1/2 < p < ν +2(ν(1-ν)) 1/2/n1/2. Такой интервал принято называть credible interval. Его ширина пропорциональна 1/n1/2 , если ν≠0, ν≠1. Для ν=0 или ν=1 длина интервала убывает с ростом n быстрее: ~ 1/n. Практически это тот же ответ, который дает современная частотная теория, однако здесь величина p считается уже неслучайной, и интервал (ν – 2(ν(1-ν)) 1/2/n1/2, ν +2(ν(1-ν)) 1/2/n1/2) называется доверительным (confidence interval). Итак, первое практическое применение формулы Байеса к статистической задаче оказалось успешным! Лаплас популяризовал формулу Байеса и придал ей современный вид. Однако в общем случае замена неизвестного априорного распределения на равномерное не оправдана - неопределенность не означает равновероятности! Поэтому практическое использование байесовского подхода было дискредитировано, и работы Стьюдента, Фишера и Неймана в первой трети XX века положили начало современной частотной школе.

Oсновные сферы применения формулы Байеса

1)Математический инструмент в теории вероятностей.

2)В статистике – как обобщение предшествующего опыта. Предполагается, что нами накоплен опыт, позволяющий экспериментально(!) оценить априорное распределение вероятностей. Далее мы верим в то, что рассматриваемый нами новый объект относится к той же группе. Это позволяет строить классификаторы, основанные на байесовской формуле.

3)В статистике - для сравнения разных моделей в случае, когда априорные распределения настолько нечетки, что вообще несущественны. Очень часто используется BIC (байесовский информационный критерий).

4)Описание умонастроения. Сторонники интерпретации вероятности события как меры субъективной уверенности в его возможности могут пересчитывать эти величины в процессе появления новых данных. Очевидно, что математика здесь может быть подобной мельнице перемалывающей труху: произвол в определении априорных вероятностей может быть опасным.

Добавить комментарий


Защитный код
Обновить