Томас Байес

Имя его носит целое направление статистики, спорившее с другим весь XX век. Сам он ни направления, ни спора не застал: его теорема пролежала в бумагах и была напечатана посмертно, а потом ещё сорок лет её никто не читал.

Танбридж-Уэллс

Родился в 1702 году в Хартфордшире, в семье пресвитерианского священника — то есть нонконформиста, которому английские университеты были закрыты. Учился в Эдинбурге, служил священником в Танбридж-Уэллсе.

При жизни он напечатал две работы: богословскую и — анонимно — защиту ньютоновского исчисления от нападок Беркли. Вторая была настолько толковой, что в 1742 году его избрали в Королевское общество, хотя публикаций по математике за ним не числилось.

Даже портрет его сомнителен: изображение, которое печатают во всех книгах, происходит из издания 1936 года и никаких подтверждений тому, что это Байес, не имеет.

Обратная задача

Прямая задача вероятности: в урне известное число шаров, какова вероятность вытащить белый? Ею занимались все.

Байес поставил обратную: шары вытащены, состав урны неизвестен — что можно сказать о нём? Иначе говоря, как от наблюдений перейти к вероятности причины.

Модель у него не урна, а бильярдный стол. На стол бросают шар; его положение задаёт неизвестную величину $\theta\in[0,1]$. Затем бросают ещё $n$ шаров и считают, сколько легло левее первого. Получилось $k$. Что можно сказать о $\theta$?

Ответ — та самая формула:

$$P(\theta \mid \text{данные}) \;=\; \frac{P(\text{данные}\mid\theta)\,P(\theta)}{P(\text{данные})}.$$

Слева — «апостериорное» распределение, справа в числителе — правдоподобие и «априорное» распределение. Формула превращает веру до опыта в веру после.

Спорным в ней всегда было одно: откуда берётся $P(\theta)$, вера до всяких данных? Байес брал равномерное распределение, рассуждая, что при полном незнании все положения равноправны. Этот шаг и стал предметом двухвекового спора: субъективен ли выбор априорного распределения и законно ли вообще говорить о вероятности гипотезы.

Посмертно

Работу «An Essay towards solving a Problem in the Doctrine of Chances» нашёл в бумагах покойного его друг Ричард Прайс, дописал предисловие и прочёл в Королевском обществе в 1763 году, через два года после смерти автора.

Заметили её не сразу. Лаплас в 1774 году переоткрыл тот же принцип независимо, придал ему общий вид и применил ко всему подряд — от демографии до астрономии; вплоть до XX века подход называли «лапласовским», а не байесовским.

Реабилитация пришла в XX веке. Тьюринг в Блетчли-парке считал по Байесу вес свидетельства при взломе «Энигмы» — и это, вероятно, первое масштабное практическое применение. Сегодня байесовский вывод — рабочий инструмент от медицинской диагностики до машинного обучения.

Умер в 1761 году в Танбридж-Уэллсе.