Простое объяснение теоремы байеса. Формула полной вероятности

Кто такой Байес? и какое отношение он имеет к менеджменту? – может последовать вполне справедливый вопрос. Пока поверьте мне на слово: это очень важно!.. и интересно (по крайней мере, мне).

В какой парадигме действуют большинство менеджеров: если я наблюдаю нечто, какие выводы могу из этого сделать? Чему учит Байес: что должно быть на самом деле, чтобы мне довелось наблюдать это нечто? Именно так развиваются все науки, и об этом пишет (цитирую по памяти): человек, у которого нет в голове теории, будет шарахаться от одной идеи к другой под воздействием различных событий (наблюдений). Не даром говорят: нет ничего более практичного, чем хорошая теория.

Пример из практики. Мой подчиненный совершает ошибку, и мой коллега (руководитель другого отдела) говорит, что надо бы оказать управленческое воздействие на нерадивого сотрудника (проще говоря, наказать/обругать). А я знаю, что этот сотрудник делает 4–5 тысяч однотипных операций в месяц, и совершает за это время не более 10 ошибок. Чувствуете различие в парадигме? Мой коллега реагирует на наблюдение, а я обладаю априорным знанием, что сотрудник допускает некоторое количество ошибок, так что еще одна не повлияла на это знание… Вот если по итогам месяца окажется, что таких ошибок, например, 15!.. Это уже станет поводом для изучения причин несоответствия стандартам.

Убедил в важности Байесовского подхода? Заинтриговал? Надеюсь, что «да». А теперь ложка дегтя. К сожалению, идеи Байеса редко даются с первого захода. Мне откровенно не повезло, так как я знакомился с этими идеями по популярной литературе, после прочтения которой оставалось много вопросов. Планируя написать заметку, я собрал всё, что ранее конспектировал по Байесу, а также изучил, что пишут в Интернете. Предлагаю вашему вниманию мое лучшее предположение на тему Введение в Байесовскую вероятность .

Вывод теоремы Байеса

Рассмотрим следующий эксперимент: мы называем любое число лежащее на отрезке и фиксируем, когда это число будет, например, между 0,1 и 0,4 (рис. 1а). Вероятность этого события равна отношению длины отрезка к общей длине отрезка , при условии, что появления чисел на отрезке равновероятны . Математически это можно записать p (0,1 <= x <= 0,4) = 0,3, или кратко р (X ) = 0,3, где р – вероятность, х – случайная величина в диапазоне , Х – случайная величина в диапазоне . То есть, вероятность попадания в отрезок равна 30%.

Рис. 1. Графическая интерпретация вероятностей

Теперь рассмотрим квадрат x (рис. 1б). Допустим, мы должны называть пары чисел (x , y ), каждое из которых больше нуля и меньше единицы. Вероятность того, что x (первое число) будет в пределах отрезка (синяя область 1), равна отношению площади синей области к площади всего квадрата, то есть (0,4 – 0,1) * (1 – 0) / (1 * 1) = 0,3, то есть те же 30%. Вероятность того, что y находится внутри отрезка (зеленая область 2) равна отношению площади зеленой области к площади всего квадрата p (0,5 <= y <= 0,7) = 0,2, или кратко р (Y ) = 0,2.

Что можно узнать о значениях одновременно x и y . Например, какова вероятность того, что одновременно x и y находятся в соответствующих заданных отрезках? Для этого надо посчитать отношение площади области 3 (пересечения зеленой и синей полос) к площади всего квадрата: p (X , Y ) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

А теперь допустим мы хотим знать какова вероятность того, что y находится в интервале , если x уже находится в интервале . То есть фактически у нас есть фильтр и когда мы называем пары (x , y ), то мы сразу отбрасывает те пары, которые не удовлетворяют условию нахождения x в заданном интервале, а потом из отфильтрованных пар мы считаем те, для которых y удовлетворяет нашему условию и считаем вероятность как отношение количества пар, для которых y лежит в вышеупомянутом отрезке к общему количеству отфильтрованных пар (то есть для которых x лежит в отрезке ). Мы можем записать эту вероятность как p (Y |X у х попал в диапазоне ». Очевидно, что эта вероятность равна отношению площади области 3 к площади синей области 1. Площадь области 3 равна (0,4 – 0,1) * (0,7 – 0,5) = 0,06, а площадь синей области 1 (0,4 – 0,1) * (1 – 0) = 0,3, тогда их отношение равно 0,06 / 0,3 = 0,2. Другими словами, вероятность нахождения y на отрезке при условии, что x принадлежит отрезку p (Y |X ) = 0,2.

В предыдущем абзаце мы фактически сформулировали тождество: p (Y |X ) = p (X , Y ) / p(X ). Читается: «вероятность попадания у в диапазон , при условии, что х попал в диапазон , равна отношению вероятности одновременного попадания х в диапазон и у в диапазон , к вероятности попадания х в диапазон ».

По аналогии рассмотрим вероятность p (X |Y ). Мы называем пары (x , y ) и фильтруем те, для которых y лежит между 0,5 и 0,7, тогда вероятность того, что x находится в отрезке при условии, что y принадлежит отрезку равна отношению площади области 3 к площади зеленой области 2: p (X |Y ) = p (X , Y ) / p (Y ).

Заметим, что вероятности p (X , Y ) и p (Y, Х ) равны, и обе равны отношению площади зоны 3 к площади всего квадрата, а вот вероятности p (Y |X ) и p (X |Y ) не равны; при этом вероятность p (Y |X ) равна отношению площади области 3 к области 1, а p (X |Y ) – области 3 к области 2. Заметим также, что p (X , Y ) часто обозначают как p (X &Y ).

Итак, мы ввели два определения: p (Y |X ) = p (X , Y ) / p(X ) и p (X |Y ) = p (X , Y ) / p (Y )

Перепишем эти равенства виде: p (X , Y ) = p (Y |X ) * p(X ) и p (X , Y ) = p (X |Y ) * p (Y )

Поскольку левые части равны, равны и правые: p (Y |X ) * p(X ) = p (X |Y ) * p (Y )

Или мы можем переписать последнее равенство в виде:

Это и есть теорема Байеса!

Неужели столь несложные (почти тавтологические) преобразования рождают великую теорему!? Не спешите с выводами. Давайте еще раз проговорим, что же мы получили. Имелась некая исходная (априорная) вероятность р (Х), того, что случайная величина х равномерно распределенная на отрезке попадает в диапазон Х . Произошло некое событие Y , в результате которого мы получили апостериорную вероятность той же самой случайной величины х : р (Х|Y), и эта вероятность отличается от р (Х) на коэффициент . Событие Y называется свидетельством, в большей или меньшей степени подтверждающим или опровергающим Х . Указанный коэффициент иногда называют мощностью свидетельства . Чем мощнее свидетельство, тем больше факт наблюдения Y изменяет априорную вероятность, тем больше апостериорная вероятность отличается от априорной. Если свидетельство слабое, апостериорная вероятность почти равна априорной.

Формула Байеса для дискретных случайных величин

В предыдущем разделе мы вывели формулу Байеса для непрерывных случайных величин х и y, определенных на отрезке . Рассмотрим пример с дискретными случайными величинами, принимающими каждая по два возможных значения. В ходе проведения плановых медицинских осмотров установлено, что в сорокалетнем возрасте 1% женщин болеет раком молочной железы. 80% женщин больных раком получают положительные результаты маммографии. 9,6% здоровых женщин также получают положительные результаты маммографии. В ходе проведения осмотра женщина данной возрастной группы получила положительный результат маммографии. Какова вероятность того, что у неё на самом деле рак молочной железы?

Ход рассуждений/вычислений следующий. Из 1% больных раком маммография даст 80% положительных результатов = 1%*80% = 0,8%. Из 99% здоровых женщин маммография даст 9,6% положительных результатов = 99%*9,6% = 9,504%. Итого из 10,304% (9,504% + 0,8%) с положительными результатами маммографии, только 0,8% больных, а остальные 9,504% здоровых. Таким образом, вероятность того, что при положительном результате маммографии женщина больна раком составляет 0,8%/10,304% = 7,764%. А вы думали, что 80% или около того?

В нашем примере формула Байеса принимает следующий вид:

Давайте еще раз проговорим «физический» смысл этой формулы. Х – случайная величина (диагноз), принимающая значения: Х 1 – болен и Х 2 – здоров; Y – случайная величина (результат измерения –маммографии), принимающая значения: Y 1 – положительный результат и Y 2 – отрицательный результат; р(Х 1) – вероятность болезни до проведения маммографии (априорная вероятность), равная 1%; р(Y 1 |X 1 ) – вероятность положительного результата в случае, если пациентка больна (условная вероятность, так как она должна быть задана в условиях задачи), равная 80%; р(Y 1 |X 2 ) – вероятность положительного результата в случае, если пациентка здорова (также условная вероятность), равная 9,6%; р(Х 2) – вероятность того, что пациентка здорова до проведения маммографии (априорная вероятность), равная 99%; р(Х 1 |Y 1 ) – вероятность того, что пациентка больна, при условии положительного результата маммографии (апостериорная вероятность).

Видно, что апостериорная вероятность (то, что мы ищем) пропорциональна априорной вероятности (исходной) с несколько более сложным коэффициентом . Подчеркну еще раз. На мой взгляд, это фундаментальный аспект Байесовского подхода. Измерение (Y ) добавило некоторое количество информации к первоначально имевшейся (априорной), что уточнило наше знание об объекте.

Примеры

Для закрепления пройденного материала попробуйте решить несколько задач.

Пример 1. Имеется 3 урны; в первой 3 белых шара и 1 черный; во второй - 2 белых шара и 3 черных; в третьей - 3 белых шара. Некто подходит наугад к одной из урн и вынимает из нее 1 шар. Этот шар оказался белым. Найдите апостериорные вероятности того, что шар вынут из 1-й, 2-й, 3-й урны.

Решение. У нас есть три гипотезы: Н 1 = {выбрана первая урна), Н 2 = {выбрана вторая урна}, Н 3 = {выбрана третья урна}. Так как урна выбирается наугад, то априорные вероятности гипотез равны: Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

В результате опыта появилось событие А = {из выбранной урны вынут белый шар}. Условные вероятности события А при гипотезах Н 1 , Н 2 , Н 3: Р(A|Н 1) = 3/4, Р(A|Н 2) = 2/5, Р(A|Н 3) = 1. Например, первое равенство читается так: «вероятность вынуть белый шар, если выбрана первая урна равна 3/4 (так как всего шаров в первой урне 4, а белых из них – 3)».

Применяя формулу Бейеса, находим апостериорные вероятности гипотез:

Таким образом, в свете информации о появлении события А вероятности гипотез изменились: наиболее вероятной стала гипотеза Н 3 , наименее вероятной - гипотеза Н 2 .

Пример 2. Два стрелка независимо друг от друга стреляют по одной и той же мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка равна 0,8, для второго - 0,4. После стрельбы в мишени обнаружена одна пробоина. Найти вероятность того, что эта пробоина принадлежит первому стрелку (Исход {обе пробоины совпали} отбрасываем, как ничтожно маловероятный).

Решение. До опыта возможны следующие гипотезы: Н 1 = {ни первый, ни второй стрелки не попадут}, Н 2 = {оба стрелка попадут}, H 3 - {первый стрелок попадет, а второй - нет}, H 4 = {первый стрелок не попадет, а второй попадет). Априорные вероятности гипотез:

Р(H 1) = 0,2*0,6 = 0,12; Р(H 2) = 0,8*0,4 = 0,32; Р (H 3) = 0,8*0,6 = 0,48; Р(H 4) = 0,2*0,4 = 0,08.

Условные вероятности наблюденного события А = {в мишени одна пробоина} при этих гипотезах равны: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

После опыта гипотезы H 1 и H 2 становятся невозможными, а апостериорные вероятности гипотез H 3 , и H 4 по формуле Бейеса будут:

Байес против спама

Формула Байеса нашла широкое применение в разработке спам-фильтров. Предположим, вы хотите обучить компьютер определять, какие из писем являются спамом. Будем исходить из словаря и словосочетаний, используя байесовские оценки. Создадим вначале пространство гипотез. Пусть относительно любого письма у нас есть 2 гипотезы: H A – это спам, H B – это не спам, а нормальное, нужное, письмо.

Вначале «обучим» нашу будущую систему борьбы со спамом. Возьмем все имеющиеся у нас письма и разделим их на две «кучи» по 10 писем. В одну отложим спам-письма и назовем ее кучей H A , в другую – нужную корреспонденцию и назовем ее кучей H B . Теперь посмотрим: какие слова и словосочетания встречаются в спам- и нужных письмах и с какой частотой? Эти слова и словосочетания назовем свидетельствами и обозначим E 1 , E 2 … Выясняется, что общеупотребительные слова (например, слова «как», «твой») в кучах H A и H B встречаются примерно с одинаковой частотой. Таким образом, наличие этих слов в письме ничего не говорит нам о том, к какой куче его отнести (слабое свидетельство). Присвоим этим словам нейтральное значение оценки вероятности «спамности», скажем, 0,5.

Пусть словосочетание «разговорный английский» встречается всего в 10 письмах, причем чаще в спам-письмах (например, в 7 спам-письмах из всех 10), чем в нужных (в 3 из 10). Поставим этому словосочетанию для спама более высокую оценку 7/10, а для нормальных писем более низкую: 3/10. И наоборот, выяснилось, что слово «дружище» чаще встречалось в нормальных письмах (6 из 10). И вот мы получили коротенькое письмо: «Дружище! Как твой разговорный английский?» . Попробуем оценить его «спамность». Общие оценки P(H A), P(H B) принадлежности письма к каждой куче поставим, воспользовавшись несколько упрощенной формулой Байеса и нашими приблизительными оценками:

P(H A) = A/(A+B), где А = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n = (1 – p a1)*(1 – p a2)*… *(1 – p an).

Таблица 1. Упрощенная (и неполная) Байес-оценка письма

Таким образом, наше гипотетическое письмо получило оценку вероятности принадлежности с акцентом в сторону «спамности». Можем ли мы принять решение о том, чтобы бросить письмо в одну из куч? Выставим пороги принятия решений:

• Будем считать, что письмо принадлежит куче H i , если P(H i) ≥ T.
• Письмо не принадлежит куче, если P(H i) ≤ L.
• Если же L ≤ P(H i) ≤ T, то нельзя принять никакого решения.

Можно принять T = 0,95 и L = 0,05. Поскольку для рассматриваемого письма и 0,05 < P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Да. Давайте вычислим оценку для каждого свидетельства другим способом, так, как это, собственно, и предложил Байес. Пусть:

F a – это общее количество писем спама;

F ai – это количество писем со свидетельством i в куче спама;

F b – это общее количество нужных писем;

F bi – это количество писем со свидетельством i в куче нужных (релевантных) писем.

Тогда: p ai = F ai /F a , p bi = F bi /F b . P(H A) = A/(A+B), P(H B) = B/(A+B), где А = p a1 *p a2 *…*p an , B = p b1 *p b2 *…*p b n

Обратите внимание – оценки слов-свидетельств p ai и p bi стали объективными и их можно вычислять без участия человека.

Таблица 2. Более точная (но неполная) Байес-оценка по наличным признакам из письма

Мы получили вполне определенный результат – с большим перевесом с вероятностью письмо можно отнести к нужным письмам, поскольку P(H B) = 0,997 > T = 0,95. Почему результат изменился? Потому, что мы использовали больше информации – мы учли количество писем в каждой из куч и, кстати, гораздо более корректно определили оценки p ai и p bi . Определили их так, как это сделано у самого Байеса, вычислив условные вероятности. Другими словами, p a3 – это вероятность появления в письме слова «дружище» при условии того, что это письмо уже принадлежит спам-куче H A . Результат не заставил себя ждать – кажется, мы можем принять решение с большей определенностью.

Байес против корпоративного мошенничества

Любопытное применение Байесовского подхода описал MAGNUS8 .

В моем текущем проекте (ИС для выявления мошенничества на производственном предприятии) используется формула Байеса для определения вероятности фрода (мошенничества) при наличии/отсутствии нескольких фактов, косвенно свидетельствующих в пользу гипотезы о возможности совершения фрода. Алгоритм самообучаем (с обратной связью), т.е. пересчитывает свои коэффициенты (условные вероятности) при фактическом подтверждении или неподтверждении фрода при проверке службой экономической безопасности.

Стоит, наверное, сказать, что подобные методы при проектировании алгоритмов требуют достаточно высокой математической культуры разработчика, т.к. малейшая ошибка в выводе и/или реализации вычислительных формул сведет на нет и дискредитирует весь метод. Вероятностные методы особенно этим грешат, поскольку мышление человека не приспособлено для работы с вероятностными категориями и, соответственно, отсутствует «наглядность» и понимание «физического смысла» промежуточных и итоговых вероятностных параметров. Такое понимание есть лишь для базовых понятий теории вероятностей, а дальше нужно лишь очень аккуратно комбинировать и выводить сложные вещи по законам теории вероятностей - здравый смысл для композитных объектов уже не поможет. С этим, в частности, связаны достаточно серьезные методологические баталии, проходящие на страницах современных книг по философии вероятности, а также большое количество софизмов, парадоксов и задачек-курьезов по этой теме.

Еще один нюанс, с которым пришлось столкнуться - к сожалению, практически все мало-мальски ПОЛЕЗНОЕ НА ПРАКТИКЕ на эту тему написано на английском языке. В русскоязычных источниках в основном только общеизвестная теория с демонстрационными примерами лишь для самых примитивных случаев.

Полностью соглашусь с последним замечанием. Например, Google при попытке найти что-то типа «книги Байесовская вероятность», ничего внятного не выдал. Правда, сообщил, что книгу с байесовской статистикой запретили в Китае . (Профессор статистики Эндрю Гельман сообщил в блоге Колумбийского университета, что его книгу «Анализ данных с помощью регрессии и многоуровневых/иерархических моделей» запретили публиковать в Китае. Тамошнее издательство сообщило, что «книга не получила одобрения властей из-за различных политически чувствительных материалов в тексте».) Интересно, не аналогичная ли причина привела к отсутствию книг по Байесовской вероятности в России?

Консерватизм в процессе обработки информации человеком

Вероятности определяют степень неопределенности. Вероятность, как согласно Байесу, так и нашей интуиции, составляет просто число между нулем и тем, что представляет степень, для которой несколько идеализированный человек считает, что утверждение верно. Причина, по которой человек несколько идеализирован, состоит в том, что сумма его вероятностей для двух взаимно исключающих событий должна равняться его вероятности того, что произойдет любое из этих событий. Свойство аддитивности имеет такие последствия, что мало реальных людей могут соответствовать им всем.

Теорема Байеса – это тривиальное последствие свойства аддитивности, бесспорное и согласованное для всех сторонников вероятностей, как Байеса, так и других. Один их способов написать это следующий. Если Р(H А |D) – последующая вероятность того, что гипотеза А была после того, как данная величина D наблюдалась, Р(H А) – его априорная вероятность до того, как наблюдалась данная величина D, Р(D|H А) – вероятность того, что данная величина D будет наблюдаться, если верно Н А, а Р(D) – безусловная вероятность данной величины D, то

(1) Р(H А |D) = Р(D|H А) * Р(H А) / Р(D)

Р(D) лучше всего рассматривать как нормализующую константу, заставляющую апостериорные вероятности составить в целом единицу по исчерпывающему набору взаимно исключающих гипотез, которые рассматриваются. Если ее необходимо подсчитать, она может быть такой:

Но чаще Р(D) устраняется, а не подсчитывается. Удобный способ устранять ее состоит в том, чтобы преобразовать теорему Байеса в форму отношения вероятность–шансы.

Рассмотрим другую гипотезу, Н B , взаимно исключающую Н А, и изменим мнение о ней на основе той же самой данной величины, которая изменила ваше мнение о Н А. Теорема Байеса говорит, что

(2) Р(H B |D) = Р(D|H B) * Р(H B) / Р(D)

Теперь разделим Уравнение 1 на Уравнение 2; результат будет таким:

где Ω 1 – апостериорные шансы в пользу Н А через H B , Ω 0 – априорные шансы, a L – количество, знакомое статистикам как отношение вероятности. Уравнение 3 – это такая же соответствующая версия теоремы Байеса как и Уравнение 1, и часто значительно более полезная особенно для экспериментов, с участием гипотез. Сторонники Байеса утверждают, что теорема Байеса – формально оптимальное правило о том, как пересматривать мнения в свете новых данных.

Мы интересуемся сравнением идеального поведения, определенного теоремой Байеса, с фактическим поведением людей. Чтобы дать вам некоторое представление о том, что это означает, давайте попробуем провести эксперимент с вами как с испытуемым. Эта сумка содержит 1000 покерных фишек. У меня две такие сумки, причем в одной 700 красных и 300 синих фишек, а в другой 300 красных и 700 синих. Я подбросил монету, чтобы определить, какую использовать. Таким образом, если наши мнения совпадают, ваша вероятность в настоящее время, что выпадет сумка, в которой больше красных фишек – 0,5. Теперь, Вы наугад составляете выборку с возвращением после каждой фишки. В 12 фишках вы получаете 8 красных и 4 синих. Теперь, на основе всего, что вы знаете, какова вероятность того, что выпала сумка, где больше красных? Ясно, что она выше, чем 0,5. Пожалуйста, не продолжайте читать, пока вы не записали вашу оценку.

Если вы похожи на типичного испытуемого, ваша оценка попала в диапазон от 0,7 до 0,8. Если бы мы проделали соответствующее вычисление, тем не менее, ответ был бы 0,97. Действительно очень редко человек, которому предварительно не продемонстрировали влияние консерватизма, приходит к такой высокой оценке, даже если он был знаком с теоремой Байеса.

Если доля красных фишек в сумке – р , то вероятность получения r красных фишек и (n – r ) синих в n выборках с возвращением – p r (1– p) n– r . Так, в типичном эксперименте с сумкой и покерными фишками, если Н A означает, что доля красных фишек составляет р А и Н B – означает, что доля составляет р B , тогда отношение вероятности:

При применении формулы Байеса необходимо учитывать только вероятность фактического наблюдения, а, не вероятности других наблюдений, которые он, возможно, сделал бы, но не сделал. Этот принцип имеет широкое воздействие на все статистические и нестатистические применения теоремы Байеса; это самый важный технический инструмент размышления Байеса.

Байесовская революция

Ваши друзья и коллеги разговаривают о чем-то, под названием «Теорема Байеса» или «Байесовское правило», или о чем-то под названием байесовское мышление. Они действительно заинтересованы в этом, так что вы лезете в интернет и находите страницу о теореме Байеса и… Это уравнение. И все… Почему математическая концепция порождает в умах такой энтузиазм? Что за «байесианская революция» происходит в среде учёных, причем утверждается, что даже сам экспериментальный подход может быть описан, как её частный случай? В чём секрет, который знают последователи Байеса? Что за свет они видят?

Байесовская революция в науке произошла не потому, что все больше и больше когнитивных ученых внезапно начали замечать, что ментальные явления имеют байесовскую структуру; не потому, что ученые в каждой области начали использовать байесовский метод; но потому, что наука сама по себе является частным случаем теоремы Байеса; экспериментальное свидетельство есть байесовское свидетельство. Байесовские революционеры утверждают, что когда вы выполняете эксперимент и получаете свидетельство, которое «подтверждает» или «опровергает» вашу теорию, это подтверждение или опровержение происходит по байесовским правилам. Для примера, вы должны принимать во внимание не только то, что ваша теория может объяснить явление, но и то, что есть другие возможные объяснения, которые также могут предсказать это явление.

Ранее, наиболее популярной философией науки была – старая философия, которая была смещена байесовской революцией. Идея Карла Поппера, что теории могут быть полностью фальсифицированы, однако никогда не могут быть полностью подтверждены, это еще один частный случай байесовских правил; если p(X|A) ≈ 1 – если теория делает верные предсказания, тогда наблюдение ~X очень сильно фальсифицирует А. С другой стороны, если p(X|A) ≈ 1 и мы наблюдаем Х, это не очень сильно подтверждает теорию; возможно какое-то другое условие В, такое что p(X|B) ≈ 1, и при котором наблюдение Х не свидетельствует в пользу А но свидетельствует в пользу В. Для наблюдения Х определенно подтверждающего А, мы должны были бы знать не то, что p(X|A) ≈ 1, а что p(X|~A) ≈ 0, что мы не можем знать, поскольку мы не можем рассматривать все возможные альтернативные объяснения. Например, когда эйнштейновская теория общей относительности превзошла ньютоновскую хорошо подтверждаемую теорию гравитации, это сделало все предсказания ньютоновской теории частным случаем предсказаний эйнштейновской.

Похожим образом, попперовское заявление, что идея должна быть фальсифицируема может быть интерпретировано как манифестация байесовского правила о сохранении вероятности; если результат Х является положительным свидетельством для теории, тогда результат ~Х должен опровергать теорию в каком-то объеме. Если вы пытаетесь интерпретировать оба Х и ~Х как «подтверждающие» теорию, байесовские правила говорят, что это невозможно! Чтобы увеличить вероятность теории вы должны подвергнуть ее тестам, которые потенциально могут снизить ее вероятность; это не просто правило, чтобы выявлять шарлатанов в науке, но следствие из теоремы байесовской вероятности. С другой стороны, идея Поппера, что нужна только фальсификация и не нужно подтверждение является неверной. Теорема Байеса показывает, что фальсификация это очень сильное свидетельство, по сравнению с подтверждением, но фальсификация все еще вероятностна по своей природе; она не управляется фундаментально другими правилами и не отличается в этом от подтверждения, как утверждает Поппер.

Таким образом, мы обнаруживаем, что многие явления в когнитивных науках, плюс статистические методы, используемые учеными, плюс научный метод сам по себе – все они являются частными случаями теоремы Байеса. В этом и состоит Байесовская революция.

Добро пожаловать в Байесовский Заговор!

Литература по Байесовской вероятности

2. Очень много различных применений Байеса описывает нобелевский лауреат по экономике Канеман (со товарищи) в замечательной книге . Только в моем кратком конспекте этой очень большой книги я насчитал 27 упоминаний имени пресвитерианского священника. Минимум формул. (.. Мне очень понравилась. Правда, сложноватая, много математики (а куда без нее), но отдельные главы (например, глава 4. Информация), явно по теме. Советую всем. Даже, если математика для вас сложна, читайте через строку, пропуская математику, и выуживая полезные зерна…

14. (дополнение от 15 января 2017 г. ) , глава из книги Тони Крилли. 50 идей, о которых нужно знать. Математика.

Физик Нобелевский лауреат Ричарда Фейнмана, отзываясь об одном философе с особо большим самомнением, как-то сказал: «Меня раздражает вовсе не философия как наука, а та помпезность, которая создана вокруг нее. Если бы только философы могли сами над собой посмеяться! Если бы только они могли сказать: «Я говорю, что это вот так, а Фон Лейпциг считал, что это по-другому, а ведь он тоже кое-что в этом смыслит». Если бы только они не забывали пояснить, что это всего лишь их .

Если событие А может произойти только при выполнении одного из событий , которые образуютполную группу несовместных событий , то вероятность события А вычисляется по формуле

Эта формула называется формулой полной вероятности .

Вновь рассмотрим полную группу несовместных событий , вероятности появления которых. СобытиеА может произойти только вместе с каким-либо из событий , которые будем называтьгипотезами . Тогда по формуле полной вероятности

Если событие А произошло, то это может изменить вероятности гипотез .

По теореме умножения вероятностей

.

Аналогично, для остальных гипотез

Полученная формула называется формулой Байеса (формулой Бейеса ). Вероятности гипотез называютсяапостериорными вероятностями , тогда как -априорными вероятностями .

Пример. В магазин поступила новая продукция с трех предприятий. Процентный состав этой продукции следующий: 20% - продукция первого предприятия, 30% - продукция второго предприятия, 50% - продукция третьего предприятия; далее, 10% продукции первого предприятия высшего сорта, на втором предприятии - 5% и на третьем - 20% продукции высшего сорта. Найти вероятность того, что случайно купленная новая продукция окажется высшего сорта.

Решение. Обозначим через В событие, заключающееся в том, что будет куплена продукция высшего сорта, через обозначим события, заключающиеся в покупке продукции, принадлежащей соответственно первому, второму и третьему предприятиям.

Можно применить формулу полной вероятности, причем в наших обозначениях:

Подставляя эти значения в формулу полной вероятности, получим искомую вероятность:

Пример. Один из трех стрелков вызывается на линию огня и производит два выстрела. Вероятность попадания в мишень при одном выстреле для первого стрелка равна 0,3, для второго - 0,5; для третьего - 0,8. Мишень не поражена. Найти вероятность того, что выстрелы произведены первым стрелком.

Решение. Возможны три гипотезы:

На линию огня вызван первый стрелок,

На линию огня вызван второй стрелок,

На линию огня вызван третий стрелок.

Так как вызов на линию огня любого стрелка равновозможен, то

В результате опыта наблюдалось событие В - после произведенных выстрелов мишень не поражена. Условные вероятности этого события при сделанных гипотезах равны:

по формуле Байеса находим вероятность гипотезы после опыта:

Пример. На трех станках-автоматах обрабатываются однотипные детали, поступающие после обработки на общий конвейер. Первый станок дает 2% брака, второй – 7%, третий – 10%. Производительность первого станка в 3 раза больше производительности второго, а третьего – в 2 раза меньше, чем второго.

а) Каков процент брака на конвейере?

б) Каковы доли деталей каждого станка среди бракованных деталей на конвейере?

Решение. Возьмем с конвейера наудачу одну деталь и рассмотрим событие А – деталь бракованная. Оно связано с гипотезами относительно того, где была обработана эта деталь: – взятая наудачу деталь обработана на-ом станке,.

Условные вероятности (в условии задачи они даны в форме процентов):

Зависимости между производительностями станков означают следующее:

А так как гипотезы образуют полную группу, то .

Решив полученную систему уравнений, найдем: .

а) Полная вероятность того, что взятая наудачу с конвейера деталь – бракованная:

Другими словами, в массе деталей, сходящих с конвейера, брак составляет 4%.

б) Пусть известно, что взятая наудачу деталь – бракованная. Пользуясь формулой Байеса, найдем условные вероятности гипотез:

Таким образом, в общей массе бракованных деталей на конвейере доля первого станка составляет 33%, второго – 39%, третьего – 28%.

Практические задания

Задание 1

Решение задач по основным разделам теории вероятности

Цель - получение практических навыков в решении задач по

разделам теории вероятностей

Подготовка к выполнению практического задания

Ознакомиться с теоретическим материалом по данной тематике, изучить содержание теоретического, а также соответствующие разделы в литературных источниках

Порядок выполнения задания

Решить 5 задач согласно номеру варианта задания, приведенного в таблице 1.

Варианты исходных данных

Таблица 1

	номер задачи

Состав отчета по заданию 1

5 решенных задач согласно номеру варианта.

Задачи для самостоятельного решения

1.. Являются ли случаями следующие группы событий: а) опыт - бросание монеты; события: А1 - появление герба; А2 - появление цифры; б) опыт - бросание двух монет; события: В1 - появление двух гербов; В2 - появление двух цифр; В3 - появление одного герба и одной цифры; в) опыт - бросание игральной кости; события: С1 - появление не более двух очков; С2 - появление трех или четырех очков; С3 - появление не менее пяти очков; г) опыт - выстрел по мишени; события: D1 - попадание; D2 - промах; д) опыт - два выстрела по мишени; события: Е0 - ни одного попадания; Е1 - одно попадание; Е2 - два попадания; е) опыт - вынимание двух карт из колоды; события: F1 - появление двух красных карт; F2 - появление двух черных карт?

2. В урне A белых и B черных шаров. Из урны вынимают наугад один шар. Найти вероятность того, что этот шар - белый.

3. В урне A белых и B черных шаров. Из урны вынимают один шар и откладывают в сторону. Этот шар оказался белым. После этого из урны берут еще один шар. Найти вероятность того, что этот шар тоже будет белым.

4. В урне A белых и B черных шаров. Из урны вынули один шар и, не глядя, отложили в сторону. После этого из урны взяли еще один шар. Он оказался белым. Найти вероятность того, что первый шар, отложенный в сторону, - тоже белый.

5. Из урны, содержащей A белых и B черных шаров, вынимают один за другим все шары, кроме одного. Найти вероятность того, что последний оставшийся в урне шар будет белым.

6. Из урны, в которой A белых шаров и B черных, вынимают подряд все находящиеся в ней шары. Найти вероятность того, что вторым по порядку будет вынут белый шар.

7. В урне A белых и B черных шаров (A > 2). Из урны вынимают сразу два шара. Найти вероятность того, что оба шара будут белыми.

8. В урне A белых и B черных шаров (A > 2, B > 3). Из урны вынимают сразу пять шаров. Найти вероятность р того, что два из них будут белыми, а три черными.

9. В партии, состоящей из X изделий, имеется I дефектных. Из партии выбирается для контроля I изделий. Найти вероятность р того, что из них ровно J изделий будут дефектными.

10. Игральная кость бросается один раз. Найти вероятность следующих событий: А - появление четного числа очков; В - появление не менее 5 очков; С- появление не более 5 очков.

11. Игральная кость бросается два раза. Найти вероятность р того, что оба раза появится одинаковое число очков.

12. Бросаются одновременно две игральные кости. Найти вероятности следующих событий: А - сумма выпавших очков равна 8; В - произведение выпавших очков равно 8;С- сумма выпавших очков больше, чем их произведение.

13. Бросаются две монеты. Какое из событий является более вероятным: А - монеты лягут одинаковыми сторонами; В - монеты лягут разными сторонами?

14. В урне A белых и B черных шаров (A > 2; B > 2). Из урны вынимают одновременно два шара. Какое событие более вероятно: А - шары одного цвета; В - шары разных цветов?

15. Трое игроков играют в карты. Каждому из них сдано по 10 карт и две карты оставлены в прикупе. Один из игроков видит, что у него на руках 6 карт бубновой масти и 4 - не бубновой. Он сбрасывает две карты из этих четырех и берет себе прикуп. Найти вероятность того, что он прикупит две бубновые карты.

16. Из урны, содержащей п перенумерованных шаров, наугад вынимают один за другим все находящиеся в ней шары. Найти вероятность того, что номера вынутых шаров будут идти по порядку: 1, 2,..., п.

17. Та же урна, что и в предыдущей задаче, но каждый шар после вынимания вкладывается обратно и перемешивается с другими, а его номер записывается. Найти вероятность того, что будет записана естественная последовательность номеров: 1, 2,..., п.

18. Полная колода карт (52 листа) делится наугад на две равные пачки по 26 листов. Найти вероятности следующих событий: А - в каждой из пачек окажется по два туза; В - в одной из пачек не будет ни одного туза, а в другой - все четыре; С-в одной из пачек будет один туз, а в другой - три.

19. В розыгрыше первенства по баскетболу участвуют 18 команд, из которых случайным образом формируются две группы по 9 команд в каждой. Среди участников соревнований имеется 5 команд

экстра-класса. Найти вероятности следующих событий: А - все команды экстра-класса попадут в одну и ту же группу; В - две команды экстра-класса попадут в одну из групп, а три - в другую.

20. На девяти карточках написаны цифры: 0, 1, 2, 3, 4, 5, 6, 7, 8. Две из них вынимаются наугад и укладываются на стол в порядке появления, затем читается полученное число, например 07(семь), 14 (четырнадцать) и т. п. Найти вероятность того, что число будет четным.

21. На пяти карточках написаны цифры: 1, 2, 3, 4, 5. Две из них, одна за другой, вынимаются. Найти вероятность того, что число на второй карточке будет больше, чем на первой.

22. Тот же вопрос, что в задаче 21, но первая карточка после вынимания кладется обратно и перемешивается с остальными, а стоящее на ней число записывается.

23. В урне A белых, B черных и C красных шаров. Из урны вынимают один за другим все находящиеся в ней шары и записывают их цвета. Найти вероятность того, что в этом списке белый цвет появится раньше черного.

24. Имеется две урны: в первой A белых и B черных шаров; во второй C белых и D черных. Из каждой урны вынимается по шару. Найти вероятность того, что оба шара будут белыми.

25. В условиях задачи 24 найти вероятность того, что вынутые шары будут разных цветов.

26. В барабане револьвера семь гнезд, из них в пяти заложены патроны, а два оставлены пустыми. Барабан приводится во вращение, в результате чего против ствола случайным образом оказывается одно из гнезд. После этого нажимается спусковой крючок; если ячейка была пустая, выстрела не происходит. Найти вероятность р того, что, повторив такой опыт два раза подряд, мы оба раза не выстрелим.

27. В тех же условиях (см. задачу 26)найти вероятность того, что оба раза выстрел произойдет.

28. В урне имеется А; шаров, помеченных номерами 1, 2, ..., к Из урны I раз вынимается по одному шару (I <к), номер шара записывается и шар кладется обратно в урну. Найти вероятность р того, что все записанные номера будут различны.

29. Из пяти букв разрезной азбуки составлено слово «книга». Ребенок, не умеющий читать, рассыпал эти буквы и затем собрал в произвольном порядке. Найти вероятность р того, что у него снова получилось слово «книга».

30. Из букв разрезной азбуки составлено слово «ананас». Ребенок, не умеющий читать, рассыпал эти буквы и затем собрал в произвольном порядке. Найти вероятность р того, что у него снова слово «ананас

31. Из полной колоды карт (52 листа, 4 масти) вынимается сразу несколько карт. Сколько карт нужно вынуть для того, чтобы с вероятностью, большей чем 0,50, утверждать, что среди них будут карты одной и той же масти?

32. N человек случайным образом рассаживаются за круглым столом (N > 2). Найти вероятность р того, что два фиксированных лица А и В окажутся рядом.

33. Та же задача (см 32), но стол прямоугольный, и N человек рассаживаются случайно вдоль одной из его сторон.

34. На бочонках лото написаны числа от 1 до N. Из этих N бочонков случайно выбираются два. Найти вероятность того что на обоих бочонках написаны числа, меньшие чем k (2

35. На бочонках лото написаны числа от 1 до N. Из этих N бочонков случайно выбираются два. Найти вероятность того что на одном из бочонков написано число, большее чем k, а на другом - меньшее чем k. (2

36. Батарея из М орудий ведет огонь по группе, состоящей из N целей (М < N). Орудия выбирают себе цели последовательно, случайным образом, при условии, что никакие два орудия стрелять по одной цели не могут. Найти вероятность р того, что будут обстреляны цели с номерами 1, 2,..., М.

37.. Батарея, состоящая из к орудий, ведет огонь по группе, состоящей из I самолетов (к < 2). Каждое орудие выбирает себе цель случайно и независимо от других. Найти вероятность того, что все к орудий будут стрелять по одной и той же цели.

38. В условиях предыдущей задачи найти вероятность того, что все орудия будут стрелять по разным целям.

39. Четыре шарика случайным образом разбрасываются по четырем лункам; каждый шарик попадает в ту или другую лунку с одинаковой вероятностью и независимо от других (препятствий к попаданию в одну и ту же лунку нескольких шариков нет). Найти вероятность того, что в одной из лунок окажется три шарика, в другой - один, а в двух остальных лунках шариков не будет.

40. Маша поссорилась с Петей и не хочет ехать с ним в одном автобусе. От общежития до института с 7 до 8 отправляется 5 автобусов. Не успевший на эти автобусы опаздывает на лекцию. Сколькими способами Маша и Петя могут доехать до института на разных автобусах и не опоздать на лекцию?

41. В информационно-технологическом управлении банка работает 3 аналитика, 10 программистов и 20 инженеров. Для сверхурочной в праздничный день начальник управления должен выделить одного сотрудника. Сколькими способами это можно сделать?

42. Начальник службы безопасности банка должен ежедневно расставлять 10 охранников по 10 постам. Сколькими способами это можно сделать?

43. Новый президент банка должен назначить 2 новых вице президентов из числа 10 директоров. Сколькими способами это можно сделать?

44. Одна из воюющих сторон захватил 12, а другая – 15 пленных. Сколькими способами можно обменять 7 военнопленных?

45. Петя и Маша коллекционируют видеодиски. У Пети есть 30 комедий, 80 боевиков и 7 мелодрам, у Маши – 20 комедий, 5 боевиков и 90 мелодрам. Сколькими способами Петя и Маша могут обменяться 3 комедиями, 2 боевиками и 1 мелодрамой?

46. В условиях задачи 45 сколькими способами Петя и Маша могут обменяться 3 мелодрамами и 5 комедиями?

47. В условиях задачи 45 сколькими способами Петя и Маша могут обменяться 2 боевиками и 7 комедиями.

48. Одна из воюющих сторон захватил 15, а другая – 16 пленных. Сколькими способами можно обменять 5 военнопленных?

49. Сколько автомобилей можно зарегистрировать в 1 городе, если номер имеет 3 цифры и 3 буквы (только те чьё написание совпадает с латинскими – А,В,Е,К,М,Н,О,Р,С,Т,У,Х)?

50. Одна из воюющих сторон захватил 14, а другая – 17 пленных. Сколькими способами можно обменять 6 военнопленных?

51. Сколько различных слов можно составить переставляя буквы в слове «мама»?

52. В корзине 3 красных и 7 зеленых яблок. Из нее вынимают одно яблоко. Найти вероятность того, что оно будет красным.

53. В корзине 3 красных и 7 зеленых яблок. Из нее вынули и отложили в сторону одно зеленое яблоко. После чего из корзины вынимают еще 1 яблоко. Какова вероятность того, что это яблоко будет зеленым?

54. В партии, состоящей из 1000 изделий, 4 имеют дефекты. Для контроля выбирают партию из 100 изделий. Какова вероятность ТОО, что в контрольной партии не окажется бракованных?

56.В 80-е годы в СССР была популярна игра «спортлото 5 из 36». Играющий отмечал на карточке 5 чисел от 1 до 36 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок не угадал ни одного числа.

57.В 80-е годы в СССР была популярна игра «спортлото 5 из 36». Играющий отмечал на карточке 5 чисел от 1 до 36 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок угадал одно число.

58.В 80-е годы в СССР была популярна игра «спортлото 5 из 36». Играющий отмечал на карточке 5 чисел от 1 до 36 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок угадал 3 числа.

59.В 80-е годы в СССР была популярна игра «спортлото 5 из 36». Играющий отмечал на карточке 5 чисел от 1 до 36 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок не угадал все 5 чисел.

60.В 80-е годы в СССР была популярна игра «спортлото 6 из 49». Играющий отмечал на карточке 6 чисел от 1 до 49 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок угадал 2 числа.

61. В 80-е годы в СССР была популярна игра «спортлото 6 из 49». Играющий отмечал на карточке 6 чисел от 1 до 49 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок не угадал ни одного числа.

62.В 80-е годы в СССР была популярна игра «спортлото 6 из 49». Играющий отмечал на карточке 6 чисел от 1 до 49 и получал призы различного достоинства если он угадывал разное число чисел, объявленных тиражной комиссией. Найти вероятность того, что игрок угадал все 6 чисел.

63. В партии, состоящей из 1000 изделий, 4 имеют дефекты. Для контроля выбирают партию из 100 изделий. Какова вероятность ТОО, что в контрольной партии окажется только 1 бракованная?

64. Сколько различных слов можно составить переставляя буквы в слове «книга»?

65. Сколько различных слов можно составить переставляя буквы в слове «ананас»?

66. В лифт вошло 6 человек, а общежитие имеет 7 этажей. Какова вероятность того что все 6 человек выйдут на одном этаже?

67. В лифт вошло 6 человек, здание имеет 7 этажей. Какова вероятность того что все 6 человек выйдут на разных этажах?

68. Во время грозы на участке между 40 и 79 км линии электропередачи произошел обрыв провода. Считая что обрыв одинаково возможен в любой точке, найти вероятность того что обрыв произошел между 40-м и 45-м километрами.

69. На 200 километровом участке газопровода происходит утечка газа между компрессорными станциями А и В, которая одинаково возможна в любой точке трубопровода. какова вероятность того что утечка происходит не далее 20 км от А

70. На 200 километровом участке газопровода происходит утечка газа между компрессорными станциями А и В, которая одинаково возможна в любой точке трубопровода. какова вероятность того что утечка происходит ближе к А, чем к В

71. Радар инспектора ДПС имеет точность 10 км\час и округляет в ближайшую сторону. Что происходит чаще – округление в пользу водителя или инспектора?

72. Маша тратит на дорогу в институт от 40 до 50 минут, причем любое время в этом промежутке является равновероятным. Какова вероятность того что она потратит на дорогу от 45 до 50 минут.

73. Петя и Маша договорились встретиться у памятника Пушкину с 12 до 13 часов, однако никто не смог указать точно время прихода. Они договорились ждать друг друга 15 минут. Какова вероятность их встречи?

74. Рыбаки поймали в пруду 120 рыб, из них 10 оказались окольцованными. Какова вероятность поймать окольцованную рыбу?

75. Из корзины содержащей 3 красных и 7 зеленых яблок вынимают все яблоки по очереди. какова вероятность того что 2-е яблоко окажется красным?

76. Из корзины содержащей 3 красных и 7 зеленых яблок вынимают все яблоки по очереди. какова вероятность того что последнее яблоко окажется зеленым?

77. Студенты считают что из 50 билетов 10 являются «хорошими». Петя и Маша по очереди тянут по одному билету. Какова вероятность того, что Маше достался «хороший» билет?

78. Студенты считают что из 50 билетов 10 являются «хорошими». Петя и Маша по очереди тянут по одному билету. Какова вероятность того, что им обоим достался «хороший» билет?

79. Маша пришла на экзамен зная ответы на 20 вопросов программы из 25. Профессор задает 3 вопроса. Какова вероятность того что Маша ответит на 3 вопроса?

80. Маша пришла на экзамен зная ответы на 20 вопросов программы из 25. Профессор задает 3 вопроса. Какова вероятность того что Маша не ответит ни на один вопрос?

81. Маша пришла на экзамен зная ответы на 20 вопросов программы из 25. Профессор задает 3 вопроса. Какова вероятность того что Маша ответит на 1 вопрос?

82. Статистика запросов кредитов в банке такова: 10% - гос. органы, 20% - другие банки, остальное – физические лица. Вероятность невозвращения кредитов соответственно 0.01, 0.05 и 0.2. Какая доля кредитов не возвращается?

83. вероятность того что недельный оборот торговца мороженым превысит 2000 руб. составляет 80% при ясной погоде, 50 % при переменной облачности и 10% при дождливой погоде. Какова вероятность что оборот превысит 2000 руб. если вероятность ясной погоды – 20%, а переменной облачности и дождей – по 40%.

84. В урне А белых (б) и В черных (ч) шаров. Из урны вынимают (одновременно или последовательно) два шара. Найти вероятность того, что оба шара будут белыми.

85. В урне А белых и В

86. В урне А белых и В

87. В урне А белых и В черных шаров. Из урны вынимается один шар, отмечается его цвет и шар возвращается в урну. После этого из урны берется еще один шар. Найти вероятность того, что эти шары будут разных цветов.

88. Имеется коробка с девятью новыми теннисными мячами. Для игры берут три мяча; после игры их кладут обратно. При выборе мячей игранные от неигранных не отличают. Какова вероятность того, что после трех игр в коробке не останется неигранных мячей?

89. Уходя из квартиры, N каждый гость наденет свои калоши;

90. Уходя из квартиры, N гостей, имеющих одинаковые размеры обуви, надевают калоши в темноте. Каждый из них может отличить правую калошу от левой, но не может отличить свою от чужой. Найти вероятность того что каждый гость, наденет калоши, относящиеся к одной паре (может быть и не свои).

91. В условиях задачи 90найти вероятность того что каждый уйдет в своих калошах если гости не могут отличить правой калоши от левой и просто берут первые попавшиеся две калоши.

92. Ведется стрельба по самолету, уязвимыми частями которого являются два двигателя и кабина пилота. Для того чтобы поразить (вывести из строя) самолет, достаточно поразить оба двигателя вместе или кабину пилота. При данных условиях стрельбы вероятность поражения первого двигателя равна p1 второго двигателя р2, кабины пилота р3. Части самолета поражаются независимо друг от друга. Найти вероятность того, что самолет будет поражен.

93. Два стрелка, независимо один от другого, делают по два выстрела (каждый по своей мишени). Вероятность попадания в мишень при одном выстреле для первого стрелка p1 для второго р2. Выигравшим соревнование считается тот стрелок, в мишени которого будет больше пробоин. Найти вероятность Рх того, что выиграет первый стрелок.

94. за космическим объектом, объект обнаруживается с вероятностью р. Обнаружение объекта в каждом цикле происходит независимо от других. Найти вероятность того, что при п циклах объект будет обнаружен.

95. 32 буквы русского алфавита написаны на карточках разрезной азбуки. Пять карточек вынимаются наугад одна за другой и укладываются на стол в порядке появления. Найти вероятность того, что получится слово «конец».

96. Два шарика разбрасываются случайно и независимо друг от друга по четырем ячейкам, расположенным одна за другой по прямой линии. Каждый шарик с одинаковой вероятностью 1/4 попадает в каждую ячейку. Найти вероятность того, что шарики попадут в соседние ячейки.

97. Производится стрельба по самолету зажигательными снарядами. Горючее на самолете сосредоточено в четырех баках, расположенных в фюзеляже один за другим. Площади баков одинаковы. Для того чтобы зажечь самолет, достаточно попасть двумя снарядами либо в один и тот же бак, либо в соседние баки. Известно, что в область баков попало два снаряда. Найти вероятность того, что самолет загорится.

98. Из полной колоды карт (52 листа) вынимаются сразу четыре карты. Найти вероятность того, что все эти четыре карты будут разных мастей.

99. Из полной колоды карт (52 листа) вынимаются сразу четыре карты, но каждая карта после вынимания возвращается в колоду. Найти вероятность того, что все эти четыре карты будут разных мастей..

100. При включении зажигания двигатель начинает работать с вероятностью р.

101. Прибор может работать в двух режимах: 1) нормальном и 2) ненормальном. Нормальный режим наблюдается в 80 % всех случаев работы прибора; ненормальный - в 20 %. Вероятность выхода прибора из строя за время t в нормальном режиме равна 0,1; в ненормальном - 0,7. Найти полную вероятность р выхода прибора из строя.

102. Магазин получает товар от 3 поставщиков: 55% от 1-го, 20 от 2-го и 25% от 3-го. Доля брака составляет 5, 6 и 8 процентов соответственно. Какова вероятность того что купленный бракованный товар поступил от второго поставщика.

103.Поток автомобилей мимо АЗС состоит на 60% из грузовых и на 40% из легковых автомобилей. Какова вероятность нахождения на АЗС грузового автомобиля, если вероятность его заправки 0.1, а легкового – 0.3

104. Поток автомобилей мимо АЗС состоит на 60% из грузовых и на 40% из легковых автомобилей. Какова вероятность нахождения на АЗС грузового автомобиля, если вероятность его заправки 0.1, а легкового – 0.3

105. Магазин получает товар от 3 поставщиков: 55% от 1-го, 20 от 2-го и 25% от 3-го. Доля брака составляет 5, 6 и 8 процентов соответственно. Какова вероятность того что купленный бракованный товар поступил от 1-го поставщика.

106. 32 буквы русского алфавита написаны на карточках разрезной азбуки. Пять карточек вынимаются наугад одна за другой и укладываются на стол в порядке появления. Найти вероятность того, что получится слово «книга».

107. Магазин получает товар от 3 поставщиков: 55% от 1-го, 20 от 2-го и 25% от 3-го. Доля брака составляет 5, 6 и 8 процентов соответственно. Какова вероятность того что купленный бракованный товар поступил от 1-го поставщика.

108. Два шарика разбрасываются случайно и независимо друг от друга по четырем ячейкам, расположенным одна за другой по прямой линии. Каждый шарик с одинаковой вероятностью 1/4 попадает в каждую ячейку. Найти вероятность того, что 2 шарика попадут в одну ячейку

109. При включении зажигания двигатель начинает работать с вероятностью р. Найти вероятность того, что двигатель начнет работать при втором включении зажигания;

110. Производится стрельба по самолету зажигательными снарядами. Горючее на самолете сосредоточено в четырех баках, расположенных в фюзеляже один за другим. Площади баков одинаковы. Для того чтобы зажечь самолет, достаточно попасть двумя снарядами в один и тот же бак. Известно, что в область баков попало два снаряда. Найти вероятность того, что самолет загорится

111. Производится стрельба по самолету зажигательными снарядами. Горючее на самолете сосредоточено в четырех баках, расположенных в фюзеляже один за другим. Площади баков одинаковы. Для того чтобы зажечь самолет, достаточно попасть двумя снарядами в соседние баки. Известно, что в область баков попало два снаряда. Найти вероятность того, что самолет загорится

112.В урне А белых и В черных шаров. Из урны вынимается один шар, отмечается его цвет и шар возвращается в урну. После этого из урны берется еще один шар. Найти вероятность того, что оба вынутые шара будут белыми.

113. В урне А белых и В черных шаров. Из урны вынимаются сразу два шара. Найти вероятность того, что эти шары будут разных цветов.

114. Два шарика разбрасываются случайно и независимо друг от друга по четырем ячейкам, расположенным одна за другой по прямой линии. Каждый шарик с одинаковой вероятностью 1/4 попадает в каждую ячейку. Найти вероятность того, что шарики попадут в соседние ячейки.

115. Маша пришла на экзамен зная ответы на 20 вопросов программы из 25. Профессор задает 3 вопроса. Какова вероятность того что Маша ответит на 2 вопроса?

116. Студенты считают что из 50 билетов 10 являются «хорошими». Петя и Маша по очереди тянут по одному билету. Какова вероятность того, что им обоим достался «хороший» билет?

117. Статистика запросов кредитов в банке такова: 10% - гос. органы, 20% - другие банки, остальное – физические лица. Вероятность невозвращения кредитов соответственно 0.01, 0.05 и 0.2. Какая доля кредитов не возвращается?

118. 32 буквы русского алфавита написаны на карточках разрезной азбуки. Пять карточек вынимаются наугад одна за другой и укладываются на стол в порядке появления. Найти вероятность того, что получится слово «конец».

119 Статистика запросов кредитов в банке такова: 10% - гос. органы, 20% - другие банки, остальное – физические лица. Вероятность невозвращения кредитов соответственно 0.01, 0.05 и 0.2. Какая доля кредитов не возвращается?

120. вероятность того что недельный оборот торговца мороженым превысит 2000 руб. составляет 80% при ясной погоде, 50 % при переменной облачности и 10% при дождливой погоде. Какова вероятность что оборот превысит 2000 руб. если вероятность ясной погоды – 20%, а переменной облачности и дождей – по 40%.

При выводе формулы полной вероятности предполагалось, что вероятности гипотез известны до опыта. Формула Байеса позволяет производить переоценку первоначальных гипотез в свете новой информации, состоящей в том, что событие произошло. Поэтому формулу Байеса называют формулой уточнения гипотез.

Теорема (Формула Байеса). Если событие может происходить только с одной из гипотез
, которые образуют полную группу событий, то вероятность гипотез при условии, что событие произошло, вычисляется по формуле

,
.

Доказательство.

Формула Байеса или байесовский подход к оценке гипотез играет важную роль в экономике, т.к. дает возможность корректировать управленческие решения, оценки неизвестных параметров распределения изучаемых признаков в статистическом анализе и.т.п.

Пример. Электролампы изготовляются на двух заводах. Первый завод производит 60% общего количества электроламп, второй – 40%. Продукция первого завода содержит 70% стандартных ламп, второго – 80%. В магазин поступает продукция обоих заводов. Лампочка купленная в магазине оказалась стандартной. Найти вероятность того, что лампа изготовлена на первом заводе.

Запишем условие задачи, вводя соответствующие обозначения.

Дано: событие состоит в том, что лампа стандартная.

Гипотеза
состоит в том, что лампа изготовлена на первом заводе

Гипотеза
состоит в том, что лампа изготовлена на втором заводе

Найти
.

Решение.

5. Повторные независимые испытания. Формула Бернулли

Рассмотрим схему независимых испытаний или схему Бернулли , которая имеет важное научное значение и разнообразные практические применения.

Пусть производится независимых испытаний, в каждом из которых может произойти некоторое событие.

Определение. Испытания называются независимыми , если в каждом из них событие

, не зависящей от того появилось или не появилось событие
в других испытаниях.

Пример. На испытательный стенд поставлены 20 ламп накаливания, которые испытываются под нагрузкой в течении 1000 часов. Вероятность того, что лампа выдержит испытание, равна 0,8 и не зависит от того, что случилось с другими лампами.

В этом примере под испытанием понимается проверка лампы на ее способность выдержать нагрузку в течении 1000 часов. Поэтому число испытаний равно
. В каждом отдельном испытании возможны только два исхода:

Определение. Серия повторных независимых испытаний, в каждом из которых событие
наступает с одной и той же вероятностью
, не зависящей от номере испытания, называется схемой Бернулли.

Вероятность противоположного события обозначают
, причем, как было доказано выше,

Теорема. В условиях схемы Бернулли вероятность того, что при независимых испытаниях событиепоявится
раз, определяется по формуле

где
число проведенных независимых испытаний;

число появлений события
;

вероятность наступления события
в отдельном испытании;

вероятность не наступления события
в отдельном испытании;

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT

О применимости формулы Байеса

DOI 10.12737/16076

А. И. Долгов **

1Акционерное общество «Конструкторское бюро по радиоконтролю систем управления, навигации и связи», г. Ростов-на-Дону, Российская Федерация

On applicability of Bayes" formula*** A. I. Dolgov1**

1«Design bureau on monitoring of control, navigation and communication systems» JSC, Rostov-on-Don, Russian Federation

Предметом данного исследования является формула Байеса. Цель настоящей работы - анализ и расширение области применения формулы. Первоочередной задачей представляется изучение публикаций, посвященных указанной проблеме, позволившее выявить недостатки применения формулы Байе-са, приводящие к некорректным результатам. Следующая задача - построение модификаций формулы Байеса, обеспечивающих учет различных одиночных свидетельств с получением корректных результатов. И, наконец, на примере конкретных исходных данных сравниваются некорректные результаты, получаемые с применением формулы Байеса, и корректные результаты, вычисляемые с помощью предлагаемых модификаций. При проведении исследования использованы два метода. Во-первых, проведен анализ принципов построения известных выражений, применяемых для записи формулы Байеса и ее модификаций. Во-вторых, выполнена сравнительная оценка результатов (в том числе количественная). Предлагаемые модификации обеспечивают более широкое применение формулы Байеса в теории и на практике, в том числе при решении прикладных задач.

Ключевые слова: условные вероятности, несовместные гипотезы, совместимые и несовместимые свидетельства, нормирование.

Bayes" formula is the research subject. The work objective is to analyze the formula application and widen the scope of its applicability. The first-priority problem includes the identification of the Bayes" formula disadvantages based on the study of the relevant publications leading to incorrect results. The next task is to construct the Bayes" formula modifications to provide an accounting of various single indications to obtain correct results. And finally, the incorrect results obtained with the application of Bayes" formula are compared to the correct results calculated with the use of the proposed formula modifications by the example of the specific initial data. Two methods are used in studies. First, the analysis of the principles of constructing the known expressions used to record the Bayesian formula and its modifications is conducted. Secondly, a comparative evaluation of the results (including the quantitative one) is performed. The proposed modifications provide a wider application of Bayes" formula both in theory and practice including the solution of the applied problems.

Keywords: conditional probabilities, inconsistent hypotheses, compatible and incompatible indications, normalizing.

Введение. Формула Байеса находит все более широкое применение в теории и практике , в том числе при решении прикладных задач с помощью вычислительной техники . Использование взаимно независимых вычислительных процедур позволяет особенно эффективно применять данную формулу при решении задач на многопроцессорных вычислительных системах , так как в этом случае параллельная реализация выполняется на уровне общей схемы, и при добавлении очередного алгоритма или класса задач нет необходимости повторно проводить работу по распараллеливанию.

Предметом данного исследования является применимость формулы Байеса для сравнительной оценки апостериорных условных вероятностей несовместных гипотез при различных одиночных свидетельствах. Как показывает анализ, в таких случаях сравниваются нормированные вероятности несовместных комбинированных событий, принадле-

S X <и ч и

IS eö И IS X X <и H

"Работа выполнена в рамках инициативной НИР.

**E-mail: [email protected]

""The research is done within the frame of the independent R&D.

жащих разным полным группам событий . При этом сравниваемые результаты оказываются неадекватными реальным статистическим данным. Это обусловлено следующими факторами:

Используется некорректное нормирование ;

Не принимается во внимание наличие или отсутствие пересечений учитываемых свидетельств.

С целью устранения обнаруженных недостатков выявляются случаи применимости формулы Байеса. Если же указанная формула неприменима, решается задача построения ее модификации, обеспечивающей учет различных одиночных свидетельств с получением корректных результатов. На примере конкретных исходных данных выполнена сравнительная оценка результатов:

Некорректных - получаемых с использованием формулы Байеса;

Корректных - вычисляемых с помощью предлагаемой модификации.

Исходные положения. В основу излагаемых далее утверждений положим принцип сохранения отношений вероятностей: «Корректная обработка вероятностей событий осуществима лишь при нормировании с применением одного общего нормирующего делителя, обеспечивающего равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей» . Данный принцип представляет субъективную основу теории вероятностей, однако не отражается должным образом в современной учебной и научно-технической литературе.

При нарушении указанного принципа искажаются сведения о степени возможности рассматриваемых событий. Получаемые на основе искаженных сведений результаты и принимаемые решения оказываются неадекватными реальным статистическим данным.

В предлагаемой статье будут использованы следующие понятия:

Элементарное событие - событие, не делимое на элементы;

Комбинированное событие - событие, представляющее то или иное сочетание элементарных событий;

Совместимые события - события, которые в одних случаях сравнительной оценки их вероятностей могут быть несовместными, а других случаях совместными;

Несовместимые события - события, которые во всех случаях являются несовместными.

Согласно теореме умножения вероятностей, вероятность Р (И ^Е) произведения элементарных событий И ^ и

Е вычисляется в виде произведения вероятностей Р(Ик Е) = Р(Е)Р(И^Е) . В связи с этим формула Байеса часто

записывается в виде Р(Ик\Е) =--- , описывающем определение апостериорных условных вероятностей

Р(И^Е) гипотез Ик (к = 1,...п) на основе нормирования априорных вероятностей Р(И^Е) учитываемых комбинированных несовместимых событий И к Е. Каждое из таких событий представляет произведение, сомножителями которого являются одна из рассматриваемых гипотез и одно учитываемое свидетельство. При этом все рассматривае-

мые события ИкЕ (к = 1,...п) образуют полную группу иИкЕ несовместимых комбинированных событий, в связи

с чем их вероятности Р(Ик Е) должны быть нормированы с учетом формулы полной вероятности , согласно кото-

рой Р(Е) = 2 Р(Ик)Р(Е\Ик). Поэтому формула Байеса чаще всего записывается в наиболее употребляемом виде:

Р(Ик) Р(ЕИк)

Р(Ик\Е) = -. (1)

^ кацией формулы Байеса.

й Анализ особенностей построения формулы Байеса, нацеленного на решение прикладных задач, а также примеры

«и ее практического применения позволяют сделать важный вывод относительно выбора полной группы сравниваемых по степени возможности комбинированных событий (каждое из которых является произведением двух элементарных событий - одной из гипотез и учитываемого свидетельства). Такой выбор осуществляется субъективно лицом, принимающим решение, на основе объективных исходных данных, присущих типовым условиям обстановки: виды и количество оцениваемых гипотез и конкретно учитываемое свидетельство.

Несравниваемые вероятности гипотез при одиночных несовместимых свидетельствах. Формула Байеса традиционно применяется в случае определения не сравниваемых по степени возможности апостериорных условных веро-

ятностей гипотез Н^ при одиночных несовместимых свидетельствах, каждое из которых может «появиться

только в комбинации с какой-либо из этих гипотез» . При этом выбираются полные группы и НкЕ, комбиниро-

ванных событий в виде произведений, сомножителями которых являются одно из свидетельств ц. (1=1,...,т) и одна

из п рассматриваемых гипотез.

Формула Байеса применяется для сравнительной оценки вероятностей комбинированных событий каждой такой полной группы, отличающейся от других полных групп не только учитываемым свидетельством е, но и в общем случае видами гипотез Н ^ и (или) их количеством п (см., например, )

РНкЫ = Р(Нк) Р(еН)

% Р(Нк) Р(Ег\Нк) к = 1

В частном случае при п = 2

РНк\Е,~ Р(Нк) Р(ЕН)

% Р(Нк) Р(Е,\Н к) к = 1

и получаемые результаты являются правильными, ввиду соблюдения принципа сохранения отношений вероятностей:

Р(Н1Е,) _ Р(Н 1)Р(Е,\Н1) / Р(Н2) Р(Е,\Н2) = Р(Н 1) Р(Е,\Н1)

Р(Н 2= % РШ1!) РЕ,\Н0 % ^) РЕ,\Н) " Р(Н 2> 2>"

Субъективность выбора полной группы сравниваемых по степени возможности комбинированных событий (с

теми или иными изменяемыми элементарными событиями) позволяет выбрать полную группу событий и Нк Е ■ с

отрицанием элементарного события Е ■ () и записать формулу Байеса (1 = 1,.. .,т) так:

Р(Нк\Е) -=-РНШ±.

% Р(Нк)Р(Е,Нк)

Такая формула также применима и дает возможность получить правильные результаты, если вычисляемые к

нормированные вероятности сравниваются при различных рассматриваемых гипотезах, но не при различных свиде- ^

тельствах. ¡^

Сравниваемые вероятности гипотез при одиночных несовместимых свидетельствах. Судя по известным публи- ^

няется для сравнительной оценки апостериорных условных вероятностей гипотез при различных одиночных свиде- ^

тельствах. При этом не уделяется внимание следующему факту. В указанных случаях сравниваются нормируемые ^ вероятности несовместных (несовместимых) комбинированных событий, принадлежащих разным полным группам н событий. Однако в данном случае формула Байеса неприменима, так как сравниваются не входящие в одну полную § группу комбинированные события, нормирование вероятностей которых осуществляется с использованием разных л нормирующих делителей. Нормированные вероятности несовместных (несовместимых) комбинированных событий можно сравнивать только в том случае, если они принадлежат одной и той же полной группе событий и нормированы ¡3 с использованием общего делителя, равного сумме вероятностей всех нормируемых событий, входящих в полную §

В общем случае в качестве несовместимых свидетельств могут рассматриваться:

Два свидетельства (например, свидетельство и его отрицание); ^

Три свидетельства (к примеру, в игровой ситуации выигрыш, проигрыш и ничья); ^

Четыре свидетельства (в частности, в спорте выигрыш, проигрыш, ничья и переигровка) и т. д. ^

Рассмотрим довольно простой пример (соответствующий примеру, приведенному в ) применения формулы ^ Байеса для определения апостериорных условных вероятностей гипотезы Н ^ при двух несовместимых событиях в

виде свидетельства Л]- и его отрицания Л]

Р(Н,к) - ^ . ^ Р(А^к» , (2)

] Е Р(Нк> Р(А]\вк> к - 1

■ _ Р(НкА ]) Р(Нк> Р(А ]\нк>

Р(Н,\А,) ----к-]-. (3)

V к\Л]> Р(А > п

] Е Р(Нк) Р(А]\Нк) к -1

В случаях (2) и (3) субъективно выбранными полными группами сравниваемых по степени возможности ком-

бинированных событий являются соответственно множества и Н к А и и Н к А. Это тот случай, когда формула

к-1 к ] к-1 к ]

Байеса неприменима, т. к. нарушен принцип сохранения отношений вероятностей - не соблюдается равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей:

Р(Н к А]] Р(Нк) Р(А]\Нк) / Р(Нк) Р(А]\Нк) Р(Нк) Р(А] Нк)

Р(Нк Е Р(Нк) Р(А]\Нк)/ Е Р(Нк) Р(А]\Нк) Р(Нк) Р(А] Нк)

к - 1 /к - 1 Согласно принципу сохранения отношений вероятностей, корректная обработка вероятностей событий осуществима лишь при нормировании с применением одного общего нормирующего делителя, равного сумме всех сравниваемых нормируемых выражений. Поэтому

Е Р(Нк)Р(А]\Нк) + Е Р(Нк)Р(А]\Нк) - Е Р(Нк)[Р(А]\Нк) + Р(Нк) Р(А]\Нк)] - ЕР(Нк) - 1. к -1 к -1 к -1 к -1

Таким образом, обнаруживается тот факт, что существуют разновидности формулы Байеса, отличающиеся от

известных отсутствием нормирующего делителя:

А,) - Р(Н) Р(А]\Нк), Р(Нк А,) - Р(Н) Р(А, Н к). (4)

J к I ■> к

При этом соблюдается равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей:

т^А^ Р(Нк) Р(А]\Нк)

А,) Р(Н к) Р(А,Нк)

На основе субъективного выбора нетрадиционно записываемых полных групп несовместных комбинированных событий можно увеличить количество модификаций формулы Байеса, включающих свидетельства, а также то или иное количество их отрицаний. Например, наиболее полной группе комбинированных событий

и и Нк /"./ ^ и и Нк Ё\ соответствует (с учетом отсутствия нормирующего делителя) модификация формула; =1 А"=1 ; =1 лы Байеса

Р(Нк\~) - Р(Н к) ПЁ^^^

где элементарное событие в виде свидетельства Е\ е II II / "/ является одним из элементов указанного множе-

о При отсутствии отрицаний свидетельств, то есть при Ё\ = // е и /"./,

^ Р(Н\Е) Р(Нк) Р(Е,\Нк)

Е Р(Нк) Р(Е\Нк) к - 1

Таким образом, модификация формулы Байеса, предназначенная для определения сравниваемых по степени возможности условных вероятностей гипотез при одиночных несовместимых свидетельствах выглядит следующим образом. В числителе содержится нормируемая вероятность одного из комбинированных несовместных событий, об-110 разующих полную группу, выраженную в виде произведения априорных вероятностей, а в знаменателе - сумма всех

нормируемых вероятностей. При этом соблюдается принцип сохранения отношений вероятностей - и получаемый результат является правильным.

Вероятности гипотез при одиночных совместимых свидетельствах. Формулы Байеса традиционно применяются для определения сравниваемых по степени возможности апостериорных условных вероятностей гипотез Нк (к = 1,...,п) при одном из нескольких рассматриваемых совместимых свидетельств ЕЛ (1 = 1,...,т). В частности (см.,

например, и ), при определении апостериорных условных вероятностей Р(Н 1Е^) и Р(Н 1 Е2) при каждом из двух совместимых свидетельств Е1 и Е2 употребляются формулы вида:

P(H 1) PE\H1) P(Hj) P(E2Hj) P(H J E1) = --1-и P(H J E 2) =--1-. (5)

I P(Hk) PE\Hk) I P(Hk) P(E2 Hk)

k = 1 k = 1 Необходимо учесть, что это еще один случай, когда формула Байеса неприменима. Причем в данном случае должны быть устранены два недостатка:

Проиллюстрированное нормирование вероятностей комбинированных событий некорректно, ввиду принадлежности разным полным группам рассматриваемых событий ;

В символических записях комбинированных событий HkEx и HkE2 не находит отражения тот факт, что учитываемые свидетельства E х и E 2 являются совместимыми.

Для устранения последнего недостатка может быть использована более развернутая запись комбинированных событий с учетом того, что совместимые свидетельства E1 и E2 в одних случаях могут быть несовместными, а в других совместными:

HkE1 = HkE1 E2 и HkE2 = HkE 1E2+HkE1 E2, где E1 и E 2 являются свидетельствами, противоположными E1 и E 2.

Очевидно, что в таких случаях произведение событий Hk E1E2 учитывается дважды. Кроме того, оно может быть учтено еще раз отдельно, однако этого не происходит. Дело в том, что в рассматриваемой ситуации на оцениваемую обстановку влияют три вероятных несовместимых комбинированных события: HkE1E2, HkE 1E2 и

Hk E1E2. При этом для лица, принимающего решение, представляет интерес оценка по степени возможности лишь

двух несовместимых комбинированных событий: HkE1 E2 и HkE 1E2, что соответствует рассмотрению только g

одиночных свидетельств. ¡Ц

Таким образом, при построении модификации формулы Байеса для определения апостериорных условных ве- ¡^

роятностей гипотез при одиночных совместимых свидетельствах необходимо исходить из следующего. Лицо, прини- ^

мающее решение, интересует, какое именно элементарное событие, представленное тем или иным свидетельством из

числа рассматриваемых, реально произошло в конкретных условиях. Если происходит другое элементарное событие в К

виде одиночного свидетельства, требуется пересмотр решения, обусловленного результатами сравнительной оценки н

апостериорных условных вероятностей гипотез с непременным учетом других условий, влияющих на реальную об- щ

становку. 3

Введем следующее обозначение: HkE- для одного (и только одного) несовместимого комбинированного со- ^

бытия, состоящего в том, что из m > 1 рассматриваемых элементарных событий Ei (i = 1,...,m) совместно с гипотезой «

Hk произошло одно элементарное событие Ex и не произошли другие элементарные события. се"

В наиболее простом случае рассматриваются два одиночных несовместимых свидетельства. Если подтвер-

ждается одно из них, условная вероятность свидетельства в общем виде выражается формулой л

P(Hk E-) = P(Ei\Hk) -P(EjE^Hk) = P(Ei\Hk) -P(M^Hk)P(M^Hk) , i = 1, -2 (6) g

В справедливости формулы можно наглядно убедиться (рис. 1).

Рис. 1. Геометрическая интерпретация вычисления Р(Нк Е-) при / = 1,...,2 При условно независимых свидетельствах

Р(К1К2\Нк) = р(Е\Нк)Р(Е2\Нк),

поэтому с учетом (6)

Р(Нк Е-) = РЕ Нк) - Р(Е1 Нк) Р(Е21Нк) , = 1,.,2. (7)

Аналогично вероятность Р(НкЕ-) одного из трех (/ = 1,...,3) несовместимых событий НкЕ^ выражается формулой

Например, при i = 1:

p(HkEl) = P(Ei\Hk)-[ S P(Ei\Hk)P(Ej\Hk) ] + P(EiE2E3Hk)

p(HkE-) = P(E7|Hk)- P(E]E^Hk)- P(E7EjHk) + P(E]E2E3\Hk)

Справедливость данной формулы наглядно подтверждает геометрическая интерпретация, представленная на

Рис. 2. Геометрическая интерпретация вычисления Р(Нк Е-) при / = 1,...,3

Методом математической индукции можно доказать общую формулу для вероятности Р(Нк Е-) при любом количестве свидетельств е, 0=1,...,т):

Р(НкЕ-) = Р(Е,Нк)- т РЕ\Нк) Р(Е]\Нк) + 1 Р(Е\Нк) Р(Е]\Нк) Р(Е^Нк) +■■■ + (-1)

] = 1(] * 0 ],1 * 1

Используя теорему умножения вероятностей, запишем условную вероятность Р(НкЕ~-) в двух формах:

^ из которых следует, что

P(Hk E -) = P(H k) P(E-|Hk) = P(E-) P(Hk

E-)= P(HkE-) "" P(E-)

С использованием формулы полной вероятности P(Ei) = S P(H£) P(Ei Hk) получается, что

Е-) = Р(НкЕТ)

2 Р(НкЕ-) к = 1

Подставив в полученную формулу выражения для Р(НкЕ-) в виде правой части (8), получим окончательный вид формулы для определения апостериорных условных вероятностей гипотез Н^ (к = 1,.. .,п) при одном из нескольких рассматриваемых несовместимых одиночных свидетельств: (Е ^ \Нк)

Р(Нк)[Р(Е,\Нк) - 2 Р(Е,\Нк) Р(Ер к) +...+ (-1)т-1 Р(П Р(Ерк)] Р(Н, Е~) =-] = 1(] * ■----(9)

к 1 п т т т

2 Р(Н к) 2 [Р(Е,\Н к) - 2 Р(ЕгНк) Р(Е^Нк) + ...+ (-1)т-1 Р(П Р (Ер к)]

к=1 , = 1 } = 1(} *,) ■! =1

Сравнительные оценки. Рассматриваются довольно простые, но наглядные примеры, ограничивающиеся анализом вычисляемых апостериорных условных вероятностей одной из двух гипотез при двух одиночных свидетельствах. 1. Вероятности гипотез при несовместимых одиночных свидетельствах. Сравним результаты, получаемые с применением формул Байеса (2) и (3), на примере двух свидетельств Л. = Л и Л. = Л при исходных данных:

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Л| Н^ = 0,1; Р(Л\н 1) = 0,9; Р(Л\Н2) = 0,6; Р(Л\Н2) = 0,4. В рассматриваемых примерах с гипотезой Н1 традиционные формулы (2) и (3) приводят к следующим результатам:

Р(Н.) Р(А\Но 0 07

Р(Н, Л) =-- 11 = - = 0,28,

2 Р(Н к) Р(А\Нк) к = 1

Р(Н Л Р(А\Н 1) 0 63

Р(Н, Л) =-- 11 = - = 0,84,

2 Р(Нк) Р(А\Нк) к = 1

ормирующих делит Р(Н 1 Л) = Р(Н^ Р(Л\Нр = 0,07; Р(Н^ А) = Р(Н1) Р(л|Н^ = 0,63. 1ения предлагаемых формул отно:

Р<Н)Р(АНА-Р(А|Н1) _ 0,07

а при предлагаемых формулах (4), не имеющих нормирующих делителей: «и

Таким образом, в случае применения предлагаемых формул отношение нормируемых вероятностей равно от- й ношению нормированных вероятностей: К

гт ж Р(Н 1) Р(А\Н 1) А11 |

При использовании известных формул при таком же отношении -;-=-= 0,11 нормируемых веро- н

Р(Н 1) Р(А\Н 1) «§

ятностей, указанных в числителях, отношение получаемых нормированных вероятностей: 2

Р(Н 1) Р(А\Н 1) Р(А\Н 1) 0,63

Р(Н1 Л) = 0,28 Р(Н 1 Л) = 0,84

То есть принцип сохранения отношений вероятностей не соблюдается, и получаются неверные результаты. При этом £

в случае применения известных формул значение относительного отклонения отношения (11) апостериорных услов- и ных вероятностей гипотез от корректных результатов (10) оказывается весьма существенным, так как составляет

°,33 - °,П х 100 = 242%.. I

2. Вероятности гипотез при совместимых одиночных свидетельствах. Сравним результаты, получаемые с приме- д нением формул Байеса (5) и построенной корректной модификации (9), используя следующие исходные данные: ^

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Е1Н1) = 0,4; Р(Е2Н1) = 0,8; Р(Е1\Н2) = 0,7; Р(Е^Н2) = 0,2. 113

В рассматриваемых примерах с гипотезой H 2 в случае использования традиционных формул (5):

P(H 2) P(E1 H 2) Q, 21

P(H 2 E1) =-2-!-2- = - = Q,429,

I p(Hk) p(El Hk) k = 1

P(H 2) P(E 2 H 2) Q,Q6

P(H 2 E 2) =-2-- = - = 0,097.

I P(Hk) P(E 2 Hk) k = 1

В случае же применения предлагаемой формулы (9) с учетом (7) P(H

P(H2) 0,168

E.) ----- 0,291,

Z P(Hk) Z "

P(H2) 0,018

E0) ----- 0,031.

Z P(Hk) Z k - 1 i - 1

При использовании предлагаемых корректных формул, ввиду одинаковых знаменателей, отношение P(H2) -

Нормируемых вероятностей, указываемых в числителях, равно отношению

P(H2)

нормированных вероятностей:

То есть принцип сохранения отношений вероятностей соблюдается.

Однако в случае применения известных формул при отношении указанных в числителях нормируемых вероятностей

Р(Н 2) Р(Е1\Н 2) _ 0,21 _3 5 Р(Н 2)Р(Е 2 Н 2) 0,06 ,

отношение нормированных вероятностей:

Р(Н 2 = 0.429 = 4,423. (13)

Р(Н 2 \е2) 0,097

То есть принцип сохранения отношений вероятностей, как и прежде, не соблюдается. При этом в случае применения известных формул значение относительного отклонения отношения (13) апостериорных условных вероятностей гипотез от корректных результатов (12) также оказывается весьма существенным:

9,387 4,423 х 100 = 52,9%.

Заключение. Анализ построения конкретных формульных соотношений, реализующих формулу Байеса и ее модификации, предлагаемые для решения практических задач, позволяют утверждать следующее. Полная группа сравнивае-2 мых по степени возможности комбинированных событий может выбираться субъективно лицом, принимающим решение. Данный выбор основывается на учитываемых объективных исходных данных, характерных для типовой об-й становки (конкретные виды и количество элементарных событий - оцениваемых гипотез и свидетельств). Представ--о ляет практический интерес субъективный выбор других вариантов полной группы сравниваемых по степени возмож-

ности комбинированных событий - таким образом обеспечивается существенное разнообразие формульных соотношений при построении нетрадиционных вариантов модификаций формулы Байеса. На этом, в свою очередь, может ^ основываться совершенствование математического обеспечения программной реализации, а также расширение области применения новых формульных соотношений для решения прикладных задач.

Библиографический список

1. Gnedenko, B. V. An elementary introduction to the theory of probability / B. V. Gnedenko, A. Ya. Khinchin. - 114 New York: Dover Publications, 1962. - 144 р.

2. Вентцель, Е. С. Теория вероятностей / Е. С. Вентцель. - 10-е изд., стер. - Москва: Высшая школа, 2006. - 575 с.

3. Андронов. А. М., Теория вероятностей и математическая статистика / А. М. Андронов, Е. А. Копытов, Л. Я. Гринглаз. - Санкт-Петербург: Питер, 2004. - 481 с.

4. Змитрович, А. И. Интеллектуальные информационные системы / А. И. Змитрович. - Минск: ТетраСи-стемс, 1997. - 496 с.

5. Черноруцкий, И. Г. Методы принятия решений / И. Г. Черноруцкий. - Санкт-Петербург: БХВ-Петербург, 2005. - 416 с.

6. Naylor, C.-M. Build Your Own Expert System / C.-M. Naylor. - Chichester: John Wiley & Sons, 1987. - 289 p.

7. Романов, В. П. Интеллектуальные информационные системы в экономике / В. П. Романов. - 2-е изд., стер.

Москва: Экзамен, 2007. - 496 с.

8. Экономическая эффективность и конкурентоспособность / Д. Ю. Муромцев [и др.]. - Тамбов: Изд-во Тамб. гос. техн. ун-та, 2007.- 96 с.

9. Долгов, А. И. Корректные модификации формулы Байеса для параллельного программирования / А. И. Долгов // Суперкомпьютерные технологии: мат-лы 3-й всерос. науч-техн. конф. - Ростов-на-Дону. - 2014.- Т. 1 - С. 122-126.

10. Долгов, А. И. О корректности модификаций формулы Байеса / А. И. Долгов // Вестник Дон. гос. техн. ун-та.

2014. - Т. 14, № 3 (78). - С. 13-20.

1. Gnedenko, B.V., Khinchin, A.Ya. An elementary introduction to the theory of probability. New York: Dover Publications, 1962, 144 р.

2. Ventsel, E.S. Teoriya veroyatnostey. 10th ed., reimpr. Moscow: Vysshaya shkola, 2006, 575 p. (in Russian).

3. Andronov, А.М., Kopytov, E.A., Gringlaz, L.Y. Teoriya veroyatnostey i matematicheskaya statistika. St.Petersburg: Piter, 2004, 481 p. (in Russian).

4. Zmitrovich, А.1. Intellektual"nye informatsionnye sistemy. Minsk: TetraSistems, 1997, 496 p. (in Russian).

5. Chernorutskiy, I.G. Metody prinyatiya resheniy. St.Petersburg: BKhV-Peterburg, 2005, 416 p. (in Russian).

6. Naylor, C.-M. Build Your Own Expert System. Chichester: John Wiley & Sons, 1987, 289 p.

7. Romanov, V.P. Intellektual"nye informatsionnye sistemy v ekonomike. 2nd ed., reimpr. Moscow: Ekzamen, 2007, 496 p. (in Russian).

8. Muromtsev, D.Y., et al. Ekonomicheskaya effektivnost" i konkurentosposobnost". Tambov: Izd-vo Tamb. gos. tekhn. un-ta, 2007, 96 p. (in Russian). IB

9. Dolgov, А1. Korrektnye modifikatsii formuly Bayesa dlya parallel"nogo programmirovaniya. Superkomp"yuternye tekhnologii: mat-ly 3-y vseros. nauch-tekhn. konf. Rostov-on-Don, 2014, vol. 1, pp. 122-126 (in Russian). ^

10. Dolgov, А1. O korrektnosti modifikatsiy formuly Bayesa. ^ Vestnik of DSTU, 2014, vol. 14, no. 3 (78), pp. 13-20 (in Russian). *

Подробно теорема Байеса излагается в отдельной статье . Это замечательная работа, но в ней 15 000 слов. В этом же переводе статьи от Kalid Azad кратко объясняется самая суть теоремы.

• Результаты исследований и испытаний – это не события. Существует метод диагностики рака, а есть само событие - наличие заболевания. Алгоритм проверяет, содержит ли письмо спам, но событие (на почту действительно пришел спам) нужно рассматривать отдельно от результата его работы.
• В результатах испытаний бывают ошибки. Часто наши методы исследований выявляют то, чего нет (ложноположительный результат), и не выявляют то, что есть (ложноотрицательный результат).
• С помощью испытаний мы получаем вероятности определенного исхода. Мы слишком часто рассматриваем результаты испытания сами по себе и не учитываем ошибки метода.
• Ложноположительные результаты искажают картину. Предположим, что вы пытаетесь выявить какой-то очень редкий феномен (1 случай на 1000000). Даже если ваш метод точен, вероятнее всего, его положительный результат будет на самом деле ложноположительным.
• Работать удобнее с натуральными числами. Лучше сказать: 100 из 10000, а не 1%. При таком подходе будет меньше ошибок, особенно при умножении. Допустим, нам нужно дальше работать с этим 1%. Рассуждения в процентах неуклюжи: «в 80% случаев из 1% получили положительный исход». Гораздо легче информация воспринимается так: «в 80 случаях из 100 наблюдали положительный исход».
• Даже в науке любой факт - это всего лишь результат применения какого-либо метода. С философской точки зрения научный эксперимент – это всего лишь испытание с вероятной ошибкой. Есть метод, выявляющий химическое вещество или какой-нибудь феномен, и есть само событие - присутствие этого феномена. Наши методы испытаний могут дать ложный результат, а любое оборудование обладает присущей ему ошибкой.

Tеорема Байеса превращает результаты испытаний в вероятность событий.

• Если нам известна вероятность события и вероятность ложноположительных и ложноотрицательных результатов, мы можем исправить ошибки измерений.
• Теорема соотносит вероятность события с вероятностью определенного исхода. Мы можем соотнести Pr(A|X): вероятность события А, если дан исход X, и Pr(X|A): вероятность исхода X, если дано событие А.

Разберемся в методе

В статье, на которую дана ссылка в начале этого эссе, разбирается метод диагностики (маммограмма), выявляющий рак груди. Рассмотрим этот метод подробно.

• 1% всех женщин болеют раком груди (и, соответственно, 99% не болеют)
• 80% маммограмм выявляют заболевание, когда оно действительно есть (и, соответственно, 20% не выявляют)
• 9,6% исследований выявляют рак, когда его нет (и, соответственно, 90,4% верно определяют отрицательный результат)

Теперь оформим такую таблицу:

Как работать с этим данными?

• 1% женщин болеют раком груди
• если у пациентки выявили заболевание, смотрим в первую колонку: есть 80% вероятность того, что метод дал верный результат, и 20% вероятность того, что результат исследования неправильный (ложноотрицательный)
• если у пациентки заболевание не выявили, смотрим на вторую колонку. С вероятностью 9,6% можно сказать, что положительный результат исследования неверен, и с 90,4% вероятностью можно сказать, что пациентка действительно здорова.

Насколько метод точен?

Теперь разберем положительный результат теста. Какова вероятность того, что человек действительно болен: 80%, 90%, 1%?

Давайте подумаем:

• Есть положительный результат. Разберем все возможные исходы: полученный результат может быть как истинным положительным, так и ложноположительным.
• Вероятность истинного положительного результата равна: вероятность заболеть, умноженная на вероятность того, что тест действительно выявил заболевание. 1% * 80% = .008
• Вероятность ложноположительного результата равна: вероятность того, что заболевания нет, умноженная на вероятность того, что метод выявил заболевание неверно. 99% * 9.6% = .09504

Теперь таблица выглядит так:

Какова вероятность, что человек действительно болен, если получен положительный результат маммограммы? Вероятность события - это отношение количества возможных исходов события к общему количеству всех возможных исходов.

Вероятность события = исходы события / все возможные исходы

Вероятность истинного положительного результата – .008. Вероятность положительного результата - это вероятность истинного положительного исхода + вероятность ложноположительного.

(.008 + 0.09504 = .10304)

Итак, вероятность заболевания при положительном результате исследования рассчитывается так: .008/.10304 = 0.0776. Эта величина составляет около 7.8%.

То есть положительный результат маммограммы значит только то, что вероятность наличия заболевания – 7,8%, а не 80% (последняя величина - это лишь предполагаемая точность метода). Такой результат кажется поначалу непонятным и странным, но нужно учесть: метод дает ложноположительный результат в 9,6% случаев (а это довольно много), поэтому в выборке будет много ложноположительных результатов. Для редкого заболевания большинство положительных результатов будут ложноположительными.

Давайте пробежимся глазами по таблице и попробуем интуитивно ухватить смысл теоремы. Если у нас есть 100 человек, только у одного из них есть заболевание (1%). У этого человека с 80% вероятностью метод даст положительный результат. Из оставшихся 99% у 10% будут положительные результаты, что дает нам, грубо говоря, 10 ложноположительных исходов из 100. Если мы рассмотрим все положительные результаты, то только 1 из 11 будет верным. Таким образом, если получен положительный результат, вероятность заболевания составляет 1/11.

Выше мы посчитали, что эта вероятность равна 7,8%, т.е. число на самом деле ближе к 1/13, однако здесь с помощью простого рассуждения нам удалось найти приблизительную оценку без калькулятора.

Теорема Байеса

Теперь опишем ход наших мыслей формулой, которая и называется теоремой Байеса. Эта теорема позволяет исправить результаты исследования в соответствии с искажением, которое вносят ложноположительные результаты:

• Pr(A|X) = вероятность заболевания (А) при положительном результате (X). Это как раз то, что мы хотим знать: какова вероятность события в случае положительного исхода. В нашем примере она равна 7,8%.
• Pr(X|A) = вероятность положительного результата (X) в случае, когда больной действительно болен (А). В нашем случае это величина истинных положительных – 80%
• Pr(A) = вероятность заболеть (1%)
• Pr(not A) = вероятность не заболеть (99%)
• Pr(X|not A) = вероятность положительного исхода исследования в случае, если заболевания нет. Это величина ложноположительных – 9,6 %.

Можно сделать заключение: чтобы получить вероятность события, нужно вероятность истинного положительного исхода разделить на вероятность всех положительных исходов. Теперь мы можем упростить уравнение:
Pr(X) – это константа нормализации. Она сослужила нам хорошую службу: без нее положительный исход испытаний дал бы нам 80% вероятность события.
Pr(X) – это вероятность любого положительного результата, будет ли это настоящий положительный результат при исследовании больных (1%) или ложноположительный при исследовании здоровых людей (99%).

В нашем примере Pr(X) – довольно большое число, потому что велика вероятность ложноположительных результатов.

Pr(X) создает результат 7,8%, который на первый взгляд кажется противоречащим здравому смыслу.

Смысл теоремы

Мы проводим испытания, чтоб выяснить истинное положение вещей. Если наши испытания совершенны и точны, тогда вероятности испытаний и вероятности событий совпадут. Все положительные результаты будут действительно положительными, а отрицательные - отрицательными. Но мы живем в реальном мире. И в нашем мире испытания дают неверные результаты. Теорема Байеса учитывает искаженные результаты, исправляет ошибки, воссоздает генеральную совокупность и находит вероятность истинного положительного результата.

Спам-фильтр

Теорема Байеса удачно применяется в спам-фильтрах.

У нас есть:

• событие А - в письме спам
• результат испытания - содержание в письме определенных слов:

Фильтр берет в расчет результаты испытаний (содержание в письме определенных слов) и предсказывает, содержит ли письмо спам. Всем понятно, что, например, слово «виагра» чаще встречается в спаме, чем в обычных письмах.

Фильтр спама на основе черного списка обладает недостатками - он часто выдает ложноположительные результаты.

Спам-фильтр на основе теоремы Байеса использует взвешенный и разумный подход: он работает с вероятностями. Когда мы анализируем слова в письме, мы можем рассчитать вероятность того, что письмо - это спам, а не принимать решения по типу «да/нет». Если вероятность того, что письмо содержит спам, равна 99%, то письмо и вправду является таковым.

Со временем фильтр тренируется на все большей выборке и обновляет вероятности. Так, продвинутые фильтры, созданные на основе теоремы Байеса, проверяют множество слов подряд и используют их в качестве данных.

Дополнительные источники:

Теги: Добавить метки