Марков: «Евгений Онегин» и цепи

Что это был за год

Устройство цепей и полемику с Некрасовым, ради которой Марков взялся за Пушкина, рассказывает точка о петербургской школе; здесь речь о самом дне и о том, что из него вышло.

Год 1913-й в Российской империи был юбилейным: праздновали трёхсотлетие дома Романовых. Андрей Андреевич Марков (1856–1922), человек резкий и последовательный — тот самый, который несколькими годами раньше потребовал отлучить его от церкви вслед за Толстым, — ответил на призыв к торжествам по-своему: добился, чтобы Академия наук отметила другой юбилей.

В 1713 году вышла посмертно «Ars Conjectandi» Якоба БернуллиБернуллишвейцарская династия математиков · XVII–XVIII векаВосемь математиков в трёх поколениях одной базельской семьи — и почти столько же ссор между ними; на их фамилию приходится закон больших чисел, вариационное исчисление и уравнение гидродинамики. с законом больших чисел (Якоб Бернулли). Марков организовал в Академии празднование двухсотлетия закона больших чисел и заказал Я. В. Успенскому русский перевод четвёртой, главной части книги Бернулли; перевод вышел в 1913 году.

Собственный доклад Маркова на этом же юбилее и есть та точка, на которой мы стоим.

23 января 1913 года, заседание физико-математического отделения Императорской Академии наук:
«Пример статистического исследования над текстом „Евгения Онегина", иллюстрирующий связь испытаний в цепь».
Известия Императорской Академии наук, серия VI, т. VII (1913), с. 153–162.

Юбилейная рамка объясняет замысел. Двести лет назад Бернулли доказал, что частота сходится к вероятности — для независимых испытаний. Марков к двухсотлетию показывает, что независимость не была обязательной; и показывает не теоремой, теорема у него уже семь лет как есть, а экспериментом на реальных данных.

Работа руками

Стоит представить, что физически означало это исследование в 1913 году.

Двадцать тысяч букв — это первая глава «Онегина» и шестнадцать строф второй. Из текста нужно выбросить пробелы, знаки препинания, ъ и ь, выписать оставшееся подряд в один поток и разметить каждую букву как гласную или согласную. Затем сосчитать не только сами буквы, но и все девятнадцать тысяч девятьсот девяносто девять пар соседних.

Считать пары подряд, по одной, невозможно — собьёшься. Марков выписал последовательность прямоугольником и вёл подсчёты по строкам и по столбцам, получая из немногих проходов и одиночные частоты, и парные. Это работа не одного вечера; по свидетельствам — недель.

Позже он повторил опыт на другом тексте — прозе Аксакова, уже на ста тысячах букв, — чтобы убедиться, что дело не в стихотворном размере.

Числа этого подсчёта приведены в точке о петербургской школе. Существенно здесь другое: впервые литературный текст рассматривается как реализация случайного процесса. Не как содержание, не как форма — как источник, порождающий символы с определёнными переходными вероятностями. Именно этот сдвиг взгляда, а не арифметика, оказался тем, что пережило автора.

Кто ещё считал Пушкина в эти годы

Марков был не единственным, кто в те годы разбирал русские стихи на числа. За три года до его доклада тем же самым занимался в Москве поэт.

Андрей Белый — то есть Борис Николаевич Бугаев (1880–1934), сын профессора математики Н. В. Бугаева и сам выпускник естественного отделения физмата — в 1910 году выпустил том «Символизм» с приложениями, где обсчитан русский четырёхстопный ямб от Ломоносова до современников. Метод простой и очень трудоёмкий: в тысячах строк размечено, где схемное ударение пропущено; затем строки одинаковой формы соединены линиями, отчего на бумаге получаются «фигуры ритма» — крыши, треугольники, ромбы.

Настоящего в этой работе три вещи.

• Разделение метра и ритма. Метр — схема, ритм — реальное отступление от неё. И отступление не порча, а носитель смысла. На этом стоит всё позднейшее русское стиховедение.
• Счёт как метод в филологии. До Белого о стихе говорили; он стал считать.
• Результат. Ритмический профиль меняется от эпохи к эпохе: у Ломоносова он не такой, как у Пушкина. Это эмпирическое открытие, а не впечатление.

Ненастоящее — сами «фигуры»: какой выйдет узор, зависит от того, в каком порядке соединять строки, так что треугольники и ромбы суть свойство способа рисования, а не стиха.

Но главное, чего Белому не хватило, у Маркова уже было. Нулевой гипотезы. Белый не мог ответить на вопрос: а какой профиль получился бы сам собой, если бы русские слова с их длинами и ударениями просто ложились в размер, безо всякой воли поэта? Не с чем сравнивать — значит, нельзя отделить замысел от свойства языка.

У Маркова эта мысль уже работает, хотя он её так не называет. Он потому и берёт вторым текстом прозу Аксакова, что хочет проверить: не создаётся ли найденная им зависимость букв самим стихотворным размером. Сравнение с посторонним образцом — зародыш той самой нулевой гипотезы.

Дырку Белого закроют через полвека, и закроет её математик: об этом отдельная точка.

Рядом: счёт и его подобие

Чтобы разница между счётом и тем, что на него похоже, была видна отчётливо, стоит поставить рядом третий случай.

Велимир Хлебников в 1903 году поступил на математическое отделение Казанского университета — того самого, где работал Лобачевский, — но проучился недолго: в ноябре его арестовали на студенческой демонстрации. Начало своих «законов времени» он потом связывал с Цусимой: найти правило, по которому наступают такие катастрофы, значило хоть чем-то оправдать смерти. Мотив, заметим, не эстетский и не мистический — этический.

Считал он так. Выписав даты падения государств, он обнаружил, что промежутки между ними кратны 317 годам; число 317 стало у него всеобщей мерой — и общество своё, «Председателей земного шара», он задумывал ровно из 317 человек. В брошюре «Учитель и ученик» (Херсон, 1912 — за год до доклада Маркова) отсюда выведено, что в 1917 году следует ждать падения государства. К «Доскам судьбы» (1922) закон принял вид: через $3^{n}$ дней после события происходит событие, ему подобное, а через $2^{n}$ — противоположное.

Предсказание 1917 года сбылось — и именно поэтому случай поучителен. Посмотрим, что в этом законе можно выбирать: показатель $n$; что считать «подобным» событием; что вообще считать событием. Три свободных параметра — и под любую пару дат подберётся подходящий набор. Закон, который ничего не запрещает, ничего и не утверждает; сбывшееся предсказание здесь — один вытянутый билет из колоды, где выигрышных билетов сколько угодно.

У Маркова свободного не было ничего. Он объявил заранее, что берёт первую главу «Онегина», делит буквы на гласные и согласные и считает все соседние пары, — и напечатал числа, которые может пересчитать кто угодно. Разница между двумя работами не в том, что одна про стихи, а другая про историю, и не в том, что один автор математик, а другой поэт. Разница в том, что одну можно опровергнуть, а другую нет.

Что именно он ввёл в оборот

Формально цепь описывается матрицей переходов $P=(p_{ij})$, и распределение через $n$ шагов есть $\pi_{0}P^{n}$. Стационарное распределение — решение $\pi P=\pi$, то есть левый собственный вектор с собственным значением $1$.

Ключевой вопрос — как быстро цепь забывает начало. Ответ даёт второе по модулю собственное значение $\lambda_{2}$:

$$\left\|\pi_{0}P^{n}-\pi\right\| \ \leqslant\ C\,|\lambda_{2}|^{n}.$$

Сходимость геометрическая, а её скорость — это спектральная щель $1-|\lambda_{2}|$. Отсюда всё практическое поведение цепей: чем меньше щель, тем дольше цепь помнит, откуда вышла, и тем медленнее по ней можно считать.

Марков доказал для цепей и закон больших чисел, и центральную предельную теорему — то есть показал, что вся петербургская программа строгих предельных теорем переживает отказ от независимости.

Нить, которая отсюда идёт

Это голова отдельного сквозного сюжета, и его стоит проследить целиком.

Год	Точка	Что происходит с идеей
1913	Петербург, Марков	текст как источник символов с переходными вероятностями
1949	Ташкент, Романовский	цепи получают систематическую теорию и первую книгу
1948	Мюррей-Хилл, Шеннон	цепи Маркова как модель языка; энтропия источника
1953	Лос-Аламос, Метрополис	цепь строят нарочно, чтобы она сходилась к нужному распределению, — MCMC
1960-е	Москва, Колмогоров	тот же счёт применён к стиху — и снабжён проверкой значимости
1966–70	Баум и Уэлч	скрытые марковские модели: наблюдаем не состояние, а его след
1980-е	распознавание речи	скрытые модели становятся промышленным стандартом на двадцать лет
1996	Стэнфорд, PageRank	случайный блуждающий по ссылкам; ранг страницы = стационарное распределение

Про PageRank стоит сказать точнее, потому что там наглядно работает как раз спектральная щель. Знаменитый коэффициент затухания $0{,}85$ — вероятность, с которой воображаемый читатель идёт по ссылке, а с вероятностью $0{,}15$ прыгает на случайную страницу — введён не из эстетических соображений: подмешивание равномерного распределения гарантирует $|\lambda_{2}|\leqslant 0{,}85$, а значит, сходимость за несколько десятков итераций на графе в миллиарды вершин. Число $0{,}85$ в поисковой машине — это оценка второго собственного значения.

Об языковых моделях — аккуратно. Соблазнительно сказать, что от Маркова прямая линия к нынешним нейросетям, и это будет наполовину неправдой. Модели, работающие сегодня, не марковские: они смотрят не на предыдущий символ и не на предыдущие $n$ символов, а на весь доступный контекст сразу. Прямыми потомками были $n$-граммные модели, которые ШеннонКлод Шеннонамериканский математик и инженер · 1916–2001В магистерской работе связал булеву алгебру с электрическими схемами, а через одиннадцать лет измерил информацию в битах — и создал предмет, которого до него не было. построил в 1948-м и которые главенствовали в обработке языка до начала 2010-х.

Но задача осталась ровно марковской: оценить распределение следующего символа при известном предыдущем тексте — и оценить его по подсчётам на большом корпусе. Марков сформулировал этот вопрос и первым посчитал ответ вручную. Изменился ответ, а не вопрос.

О человеке

Марков был известен характером не меньше, чем теоремами. Он вёл публичную переписку с Академией по поводу цензуры, требовал исключить из числа почётных академиков Николая II после аннулирования выборов Горького, отказывался от наград. Его сын, Андрей Андреевич Марков-младший (1903–1979), стал одним из основателей советской конструктивной математики — нормальные алгорифмы Маркова носят его имя.

Умер он в 1922 году в Петрограде, шестидесяти шести лет, застав и войну, и революцию, и голод, но не застав ничего из того, что вышло из его подсчёта пушкинских букв.

Следующая точка: Ташкент — куда цепи уедут вместе с человеком, окончившим Петербургский университет в тот самый год, когда Марков их придумал.