Петербургская школа: строгость трёх поколений

Программа Чебышёва

К середине XIX века теория вероятностей была в странном положении: результаты впечатляющие, доказательства — нет. ЛапласПьер-Симон Лапласфранцузский математик, астроном и физик · 1749–1827Свёл небесную механику в пять томов, а теорию вероятностей — в один, и на полтора столетия задал образ мира, в котором будущее вычисляется из настоящего. переходил к пределу свободно, оценок погрешности не давал, условия применимости не формулировал. Пафнутий Львович Чебышёв (1821–1894) поставил задачу иначе: никакой «моральной уверенности», только явные неравенства с явными условиями.

Неравенство Чебышёва (1867, статья «О средних величинах» в журнале ЛиувилляЖозеф Лиувилльфранцузский математик · 1809–1882Первым предъявил трансцендентное число — построил его, а не доказал, что такие «должны существовать». И спас Галуа: разобрал рукописи, четырнадцать лет пролежавшие без движения, и напечатал их.). Пусть $X$ — случайная величина с математическим ожиданием $\mu$ и конечной дисперсией $\sigma^{2}$. Тогда для любого $\varepsilon > 0$

$$P\left(|X - \mu| \geqslant \varepsilon\right) \leqslant \frac{\sigma^{2}}{\varepsilon^{2}} .$$

Доказательство в две строки. Обозначим $A = \{|X-\mu| \geqslant \varepsilon\}$. На множестве $A$ выполнено $(X-\mu)^2 \geqslant \varepsilon^2$, поэтому

$$\sigma^{2} = E\left[(X-\mu)^{2}\right] \;\geqslant\; E\left[(X-\mu)^{2}\mathbf{1}_A\right] \;\geqslant\; \varepsilon^{2}\,E\left[\mathbf{1}_A\right] = \varepsilon^{2}P(A) . \qquad \blacksquare$$

Всё. Никаких предельных переходов, никакой аналитики — только определение дисперсии. В частности, при $\varepsilon = k\sigma$:

$$P(|X - \mu| \geqslant k\sigma) \leqslant \frac{1}{k^{2}} ,$$

то есть для любого распределения с конечной дисперсией за пределами трёх сигм лежит не более $1/9 \approx 11\%$ вероятности. (Для нормального — $0{,}27\%$; вот цена универсальности.)

Историческая справедливость. Неравенство первым сформулировал в 1853 году француз Ирене-Жюль Бьенеме, в мемуаре в поддержку работ Лапласа по методу наименьших квадратов. Чебышёв в 1867-м переоткрыл его независимо, в более общей форме — для среднего $N$ независимых, не обязательно одинаково распределённых величин. Симптоматичная деталь: редактор журнала Жозеф Лиувилль, знавший о работе Бьенеме, в том же номере 1867 года перепечатал мемуар 1853 года — прямо перед статьёй Чебышёва. Корректное название — неравенство Бьенеме — Чебышёва. Ещё одно доказательство дал в докторской диссертации 1884 года ученик Чебышёва МарковАндрей Андреевич Марковрусский математик · 1856–1922Придумал цепи зависимых событий, чтобы выиграть спор о том, обязательна ли независимость для закона больших чисел, — и проверил их на буквах «Евгения Онегина».; отсюда и «неравенство Маркова» $P(X \geqslant a) \leqslant E[X]/a$ для неотрицательных $X$, из которого чебышёвское получается подстановкой $X \to (X-\mu)^2$.

Закон больших чисел Чебышёва. Из неравенства мгновенно следует: если $X_1,\dots,X_n$ независимы, $E[X_i] = \mu_i$, $D[X_i] \leqslant C$, то

$$P\left( \left| \frac{1}{n}\sum X_i - \frac{1}{n}\sum \mu_i \right| \geqslant \varepsilon \right) \leqslant \frac{C}{n\varepsilon^{2}} \to 0 .$$

Двести лет спустя после БернуллиБернуллишвейцарская династия математиков · XVII–XVIII векаВосемь математиков в трёх поколениях одной базельской семьи — и почти столько же ссор между ними; на их фамилию приходится закон больших чисел, вариационное исчисление и уравнение гидродинамики. его теорема получила доказательство в четыре строки, притом гораздо более общее: одинаковость распределений не нужна, нужна лишь ограниченность дисперсий.

ЛяпуновАлександр Михайлович Ляпуноврусский математик и механик · 1857–1918Дал точное определение устойчивости движения и способ её проверять без решения уравнений; он же первым строго доказал центральную предельную теорему.: ЦПТ становится теоремой

Сам Чебышёв в 1887 году доказал центральную предельную теорему методом моментов, но доказательство содержало пробелы, и он это знал: в лекциях он прямо говорил, что границу возникающей погрешности анализ его времени определить не может.

Александр Михайлович Ляпунов (1857–1918) в 1900–1901 годах даёт первое строгое доказательство, применив метод характеристических функций. Характеристическая функция случайной величины —

$$\varphi_X(t) = E\left[e^{itX}\right] .$$

Почему это работает. Три свойства делают инструмент почти волшебным:

1. Однозначность: характеристическая функция определяет распределение полностью.
2. Мультипликативность: для независимых $X, Y$ имеем $\varphi_{X+Y} = \varphi_X \cdot \varphi_Y$. Свёртка распределений превращается в умножение функций.
3. Непрерывность (теорема Леви): поточечная сходимость характеристических функций к непрерывной в нуле функции равносильна сходимости распределений.

Дальше — почти счёт. Для нормированной суммы $S_n^{*}$ разложение по ТейлоруБрук Тейлоранглийский математик · 1685–1731Опубликовал формулу, которой сегодня раскладывают всё подряд, — не заметив, что не проверил, сходится ли ряд и к той ли функции. даёт $\varphi_{S_n^*}(t) = \left(1 - \frac{t^{2}}{2n} + o(1/n)\right)^{n} \to e^{-t^{2}/2}$, а $e^{-t^2/2}$ — характеристическая функция стандартного нормального закона.

Условие Ляпунова: если для некоторого $\delta > 0$

$$\frac{1}{s_n^{2+\delta}} \sum_{k=1}^{n} E\left|X_k - \mu_k\right|^{2+\delta} \xrightarrow[n\to\infty]{} 0, \qquad s_n^{2} = \sum_{k=1}^{n}D[X_k] ,$$

то ЦПТ выполняется. Содержательный смысл: ни одно слагаемое не должно доминировать над суммой. В 1922 году Линдеберг ослабит условие ещё, и оно окажется (Феллер, 1935) не только достаточным, но в существенном смысле и необходимым.

Марков: снимаем независимость

Андрей Андреевич Марков (1856–1922), второй великий ученик Чебышёва, задал вопрос: а обязательна ли независимость? В 1906 году он вводит цепи Маркова — последовательности, в которых будущее зависит от прошлого только через настоящее:

$$P(X_{n+1} = j \mid X_n = i,\, X_{n-1} = i_{n-1},\, \dots) = P(X_{n+1} = j \mid X_n = i) = p_{ij} .$$

Матрица $P = (p_{ij})$ со строками, суммирующимися к единице, полностью задаёт динамику; распределение через $n$ шагов есть $\pi_0 P^{n}$, а стационарное распределение — решение $\pi P = \pi$. Марков доказал, что для цепей выполняются и закон больших чисел, и центральная предельная теорема.

Полемика, из которой всё выросло. Это не была абстрактная любознательность. Московский математик Павел Некрасов утверждал, что закон больших чисел требует независимости, независимость в человеческих поступках означает свободу воли — а следовательно, статистическая устойчивость социальных явлений математически доказывает свободу воли и подтверждает православное вероучение. Марков, убеждённый атеист и человек резкий (он даже потребовал отлучить себя от церкви вслед за Толстым), счёл это профанацией математики и решил опровергнуть Некрасова наглядно: построить зависимую последовательность, для которой закон больших чисел всё равно работает.

«Евгений Онегин». В 1913 году Марков берёт первые $20\,000$ букв пушкинского романа, выписывает их подряд как последовательность «гласная/согласная» и считает частоты пар. Результаты: гласных $8\,638$, то есть доля $0{,}432$. Но условные вероятности резко различны:

$$P(\text{гласная} \mid \text{предыдущая гласная}) \approx 0{,}128, \qquad P(\text{гласная} \mid \text{предыдущая согласная}) \approx 0{,}663 .$$

Если бы буквы были независимы, обе величины равнялись бы $0{,}432$. Зависимость колоссальна — а закон больших чисел всё равно работает. Некрасов опровергнут; попутно создана математическая модель, на которой сегодня стоят распознавание речи, биоинформатика, алгоритм PageRank и методы Монте-Карло по марковским цепям (MCMC).

Проверка внутренней согласованности данных Маркова: стационарная доля гласных должна удовлетворять $\pi = \pi \cdot 0{,}128 + (1-\pi)\cdot 0{,}663$, откуда $\pi = 0{,}663/(1 + 0{,}663 - 0{,}128) \approx 0{,}432$. Сходится.

Итог

Правило трёх поколений одной кафедры: Чебышёв — Марков и Ляпунов — их ученики. Предельные теоремы из эмпирических наблюдений превратились в математику с явными условиями и оценками. Не хватало только одного — аксиоматического фундамента: что такое, собственно, «вероятность» как математический объект? Ответ придёт из Москвы в 1933-м.