«Ars Conjectandi»: закон больших чисел

Книга

«Ars Conjectandi» («Искусство предположений») Якоба Бернулли (1655–1705) состоит из четырёх частей:

1. Перепечатка трактата ГюйгенсаХристиан Гюйгенснидерландский математик, физик и астроном · 1629–1695Написал первый печатный учебник теории вероятностей, изобрёл маятниковые часы, открыл кольца Сатурна и объяснил свет волнами. 1657 года с обширными комментариями Бернулли — фактически расширенный вдвое.
2. Теория перестановок и сочетаний; здесь впервые появляются числа Бернулли — в связи с формулой для сумм степеней $\sum_{k=1}^{n} k^{m}$.
3. Двадцать четыре задачи об азартных играх.
4. Применение к «гражданским, нравственным и хозяйственным делам» — и в ней главная теорема.

Бернулли умер в 1705 году, не завершив четвёртую часть; книгу через восемь лет выпустил племянник Николай I Бернулли — тот самый, который в год издания, в письме Монмору от 9 сентября 1713 года, сформулирует петербургский парадокс. (Разрешит его в Петербурге в 1738 году двоюродный брат Николая, Даниил Бернулли, введя понятие полезности: логарифмическая полезность делает ожидаемый выигрыш конечным.)

Формулировка теоремы

Пусть проводится $n$ независимых испытаний, в каждом событие происходит с одной и той же вероятностью $p$. Пусть $X_n$ — число успехов, $\hat p_n = X_n / n$ — наблюдаемая частота. Тогда для любого $\varepsilon > 0$

$$\lim_{n \to \infty} P\left( \left| \frac{X_n}{n} - p \right| \geqslant \varepsilon \right) = 0 .$$

Это закон больших чисел в форме Бернулли — первая предельная теорема в истории теории вероятностей и первый в математике результат такого типа вообще.

Обратите внимание на то, чего здесь нет. Не утверждается, что частота обязательно приблизится к $p$ — утверждается, что вероятность заметного отклонения стремится к нулю. Такая сходимость называется сходимостью по вероятности; она слабее, чем сходимость «почти наверное», которую докажет БорельЭмиль Борельфранцузский математик, министр и участник Сопротивления · 1871–1956Придумал меру, на которой стоит вся современная теория вероятностей, а потом ушёл в политику — был министром флота, депутатом и сидел в тюрьме при Виши. в 1909 году (усиленный закон больших чисел). Сам Бернулли этого различия ещё не видел; на строгое разделение уйдёт двести лет.

Зачем это Бернулли

Философская задача, которую он ставил, была куда шире игровой. Бернулли хотел обосновать применение вероятностей к делам суда, торговли и медицины — туда, где симметрии нет и «равновозможные исходы» выписать невозможно. Как узнать вероятность того, что человек данного возраста доживёт до следующего года? Только наблюдением. Но законно ли считать наблюдаемую частоту оценкой вероятности?

Теорема отвечает: законно, и вот с какой точностью. Бернулли формулирует её в «обратном» виде: сколько нужно наблюдений, чтобы получить моральную достоверность — уверенность, скажем, $1000$ к $1$, — что частота отличается от вероятности меньше чем на заданную величину?

Численный пример Бернулли — и его цена

Бернулли берёт урну, где на каждые $5$ шариков приходится $3$ белых, то есть $p = 3/5$. Требуется, чтобы с шансами не хуже $1000:1$ наблюдаемая частота попала в интервал $\left(\frac{29}{50}, \frac{31}{50}\right)$, то есть $|\hat p - p| < 0{,}02$. Его оценка: нужно

$$n = 25\,550$$

испытаний. Число огромное — по тем временам практически невыполнимое (население Базеля тогда было меньше). Похоже, именно это Бернулли и обескуражило: он отложил четвёртую часть и не дописал её.

Ирония в том, что оценка Бернулли сильно завышена, но не по его вине — она просто первая. Сравним три оценки одной и той же величины:

Метод	Требуемое $n$
Оценка Бернулли (1713)	$25\,550$
Неравенство Чебышёва (1867)	$600\,600$
Нормальное приближение (де МуаврАбрахам де Муаврфранцузский математик, работавший в Англии · 1667–1754Первым вывел кривую нормального распределения — и всю жизнь зарабатывал консультациями в лондонской кофейне, потому что иностранцу кафедры не давали., 1733)	$\approx 6\,500$

Проверим два последних. ЧебышёвПафнутий Львович Чебышёврусский математик и механик · 1821–1894Основал петербургскую математическую школу, дал первые строгие оценки в законе распределения простых чисел и построил около сорока механизмов, включая шагающую машину.: $P(|\hat p - p| \geqslant \varepsilon) \leqslant \dfrac{p(1-p)}{n\varepsilon^{2}}$. Подставляя $p(1-p) = 0{,}24$, $\varepsilon = 0{,}02$ и требуя, чтобы правая часть не превышала $1/1001$:

$$n \geqslant \frac{1001 \cdot 0{,}24}{0{,}0004} = 600\,600 .$$

Нормальное приближение: нужен квантиль $z$ с двусторонним хвостом $1/1001 \approx 0{,}000999$, то есть $z \approx 3{,}29$, откуда

$$n \approx \frac{z^{2} p(1-p)}{\varepsilon^{2}} = \frac{3{,}29^{2}\cdot 0{,}24}{0{,}0004} \approx 6\,500 .$$

Мораль двоякая. Во-первых, оценка Бернулли была лучше будущего неравенства Чебышёва — универсальность Чебышёва оплачена грубостью. Во-вторых, реальная скорость сходимости в четыре раза выше, чем думал Бернулли, и вычислить её точно можно, только зная форму распределения отклонения. Именно за этой формой отправится де Муавр.

Ключевая пропорция $\sqrt{n}$

Из формулы $n \approx z^{2}p(1-p)/\varepsilon^{2}$ следует правило, которое стоит запомнить раз и навсегда: чтобы удвоить точность оценки частоты, нужно учетверить число наблюдений. Типичная ошибка

$$\sigma(\hat p) = \sqrt{\frac{p(1-p)}{n}} \sim \frac{1}{\sqrt{n}} .$$

Отсюда «правило корня из $n$», знакомое всякому, кто заказывал социологический опрос: при $n = 1600$ погрешность около $2{,}5\%$, при $n = 400$ — около $5\%$, и удорожание опроса вчетверо покупает всего лишь вдвое лучший ответ.

Продолжение: колокол

Лондон, ноябрь 1733 года. Абрахам де Муавр (1667–1754), гугенот-эмигрант, зарабатывавший на жизнь консультациями для игроков и страховщиков в кофейне Слотера, печатает частным образом семистраничную латинскую заметку «Approximatio ad summam terminorum binomii $(a+b)^n$ in seriem expansi». Сохранилось всего два экземпляра.

Задача де Муавра — прямое продолжение Бернулли: как приближённо вычислить биномиальные вероятности при больших $n$, когда $C_n^k$ уже не сосчитать? Ответ:

$$C_n^k p^{k} q^{n-k} \;\approx\; \frac{1}{\sqrt{2\pi n p q}} \, \exp\!\left(-\frac{(k - np)^{2}}{2npq}\right).$$

В этой формуле впервые появляется нормальная плотность. По дороге де Муавру понадобилась асимптотика факториала; он получил $n! \approx c\, n^{n+1/2} e^{-n}$, а константу $c = \sqrt{2\pi}$ определил его корреспондент Джеймс Стирлинг — так формула стала «формулой Стирлинга», хотя основную работу проделал де Муавр.

Ещё важнее концептуальный сдвиг: де Муавр первым понял, что естественная единица измерения отклонений — не абсолютная величина, а $\sqrt{npq}$, то есть стандартное отклонение. Правило «примерно $68\%$ в пределах одного $\sigma$, $95\%$ — двух» впервые появляется у него.

Заметка не привлекла внимания. Де Муавр перевёл и включил её во второе издание «The Doctrine of Chances» (1738), где она пролежала ещё семьдесят лет — до ЛапласаПьер-Симон Лапласфранцузский математик, астроном и физик · 1749–1827Свёл небесную механику в пять томов, а теорию вероятностей — в один, и на полтора столетия задал образ мира, в котором будущее вычисляется из настоящего..

Задача. Монету бросают $10\,000$ раз. Оцените, в каком интервале с вероятностью около $95\%$ окажется число орлов.
(Ответ: $np = 5000$, $\sigma = \sqrt{npq} = 50$, интервал $5000 \pm 98 \approx (4902,\,5098)$. Заметьте: относительное отклонение всего $2\%$, а абсолютное — почти сотня.)