Колмогоров: стих как случайный процесс

Задача, оставшаяся с 1910 года

Считать стихи начал не математик. В 1910 году Андрей Белый разметил тысячи строк русского четырёхстопного ямба и показал, что ритмический профиль — распределение пропусков схемного ударения по стопам — у разных поэтов и в разные эпохи разный.

Дальше упёрлось. Профиль есть, но что он означает? Русские слова имеют определённые длины и определённые места ударения; уже поэтому в ямб они ложатся не как попало. Какая-то часть «ритма» получается сама, из словаря, безо всякого участия автора. Пока неизвестно какая, любое утверждение о ритме поэта висит в воздухе.

Полвека ушло на то, чтобы это осознать и оформить.

Борис Викторович Томашевский (1890–1957), по образованию инженер-электрик, в работах начала 1920-х годов («Русское стихосложение», 1923; «О стихе», 1929) первым стал строить теоретическое ожидание: считать, какой профиль дал бы «естественный» русский язык, и сравнивать с тем, что у поэта. Кирилл Тарановский в книге «Руски дводелни ритмови» (Белград, 1953) довёл это до полноценной языковой модели на большом корпусе.

Не хватало последнего шага: строгого ответа на вопрос, какое расхождение с моделью считать настоящим, а какое — случайной рябью.

Семинар

С начала 1960-х годов Андрей Николаевич Колмогоров ведёт в Московском университете семинар по стиховедению. Состав смешанный, математики и филологи; из семинара выходят работы — часть в соавторстве с А. В. Прохоровым и А. М. Кондратовым, — напечатанные не в математических журналах, а в «Вопросах языкознания»:

«Ритмика поэм Маяковского» (1962), «К изучению ритмики Маяковского» (1963), «О дольнике современной русской поэзии» (1963–1964).

Занимался он этим всерьёз и долго, в те же годы, когда строил теорию сложности. Отдыхом от математики он это не считал: для него стиховедение было теорией вероятностей, применённой к материалу, который до сих пор обсуждали без неё.

Критерий

Пусть речь о четырёхстопном ямбе, и $p_{i}$ — доля строк, в которых схемное ударение на $i$-й стопе пропущено. Языковая модель даёт ожидание $\hat p_{i}$, вычисленное только из словаря: из того, как часто в русском языке встречаются слова той или иной длины с ударением на том или ином слоге и как такое слово может встать в строку.

Отклонение $p_{i}-\hat p_{i}$ есть у любого текста хотя бы из-за конечности выборки. Значимо оно тогда, когда заметно больше собственного случайного разброса: для $n$ строк

$$\left|p_{i}-\hat p_{i}\right| \ \gg\ \sqrt{\frac{\hat p_{i}\left(1-\hat p_{i}\right)}{n}}.$$

Ничего экзотического — обычная проверка гипотезы о доле. Весь смысл в том, с чем сравнивать. До Колмогорова в стиховедении сравнивали поэта с поэтом; он предложил сравнивать поэта с языком.

Следствие вышло отрезвляющим. Часть эффектов, которые полвека объясняли замыслом и вкусом, объясняется словарём: так лягут слова у кого угодно, кто пишет по-русски. Зато оставшееся принадлежит автору уже наверняка, и о нём можно говорить твёрдо.

Тем же способом Колмогоров и Прохоров дали статистическое определение дольника — размера, в котором между ударными слогами стоит то один безударный слог, то два. До того дольник определяли на слух и спорили, где он начинается; после — по распределению междуударных промежутков.

Энтропия стиха

Второй ход красивее и целиком колмогоровский.

Возьмём энтропию литературного русского текста — среднее количество информации на букву. Колмогоров предложил разделить её на два слагаемых:

$$h \ = \ h_{1} + h_{2},$$

где $h_{1}$ — содержательная часть, собственно то, что сказано, а $h_{2}$ — гибкость языка: возможность сказать ровно то же самое другими словами. Гибкость есть запас свободы, и он конечен.

Стихотворная форма расходует именно его. Метр, число слогов, рифма — это ограничения; чтобы им подчиниться, приходится из многих способов сказать одно и то же выбирать немногие подходящие. Если форма требует $\beta$ бит на букву, стих в ней возможен, пока

$$\beta \ < \ h_{2},$$

и невозможен, когда требования формы превышают запас гибкости: поэту тогда просто не из чего выбирать, и сказанным оказывается не то, что хотелось, а то, что влезло.

Это первый случай, когда у стихотворной формы появилась количественная граница существования. Отсюда видно, почему одни размеры в русском языке живут, а другие остаются экспериментом; почему богатая рифма даётся тяжелее бедной; почему перевод стихов на язык с другим словарём иногда невозможен без потерь — и каких именно потерь.

Связь с Шенноном здесь прямая: та же энтропия источника, только источник — русский стих, а ограничения на него накладывает не канал связи, а размер.

Место на карте

Точка стоит там, где сходятся две линии, до сих пор шедшие порознь.

Одна идёт от Маркова: текст есть источник символов с вероятностями, которые можно измерить подсчётом. Через ШеннонаКлод Шеннонамериканский математик и инженер · 1916–2001В магистерской работе связал булеву алгебру с электрическими схемами, а через одиннадцать лет измерил информацию в битах — и создал предмет, которого до него не было. она приходит к энтропии языка, а здесь возвращается к русскому стиху, с которого начиналась, — с той же первой главой «Онегина» в основании.

Другая — от Белого: филология учится считать. У неё полвека не было того, что у первой линии имелось с самого начала, — способа отличить найденное от случайного.

Колмогоров их сомкнул. Стиховедение после него стало наукой с проверяемыми утверждениями: М. Л. Гаспаров, сделавший статистическое описание русского стиха нормой, работал уже внутри этой рамки.