Клод Шеннон

Две работы Шеннона обычно называют самыми влиятельными в своих жанрах: магистерскую диссертацию 1937 года и статью 1948 года. Между ними — криптография военных лет.

Диссертация, которая изобрела цифровую схемотехнику

Двадцатиоднолетний студент МТИ, работая с дифференциальным анализатором Ванневара Буша, заметил, что релейные контакты ведут себя как высказывания: последовательное соединение — «и», параллельное — «или». Алгебра, придуманная Булем веком раньше как логика мышления, оказалась описанием электрических цепей.

Отсюда пошло всё: проектирование схем стало алгебраической задачей, а не искусством. Работу называют самой значимой магистерской диссертацией XX века.

Bell Labs и «Математическая теория связи»

В войну Шеннон занимался системами наведения и шифрованием — в том числе SIGSALY, засекреченной линией Рузвельт — Черчилль. В той же столовой он обедал с Тьюрингом, приезжавшим в 1943 году; говорить о работе им было нельзя, зато они обсуждали идею мыслящей машины.

Статья 1948 года ввела в оборот бит и определила количество информации как энтропию источника:

$$H = -\sum_i p_i \log_2 p_i.$$

Дальше — две теоремы. Первая: сообщение нельзя сжать короче его энтропии (и можно — почти до неё). Вторая, о пропускной способности канала: у любого канала с шумом есть предел $C$, и при скорости ниже $C$ можно передавать с произвольно малой вероятностью ошибки. До Шеннона считали, что шум неизбежно портит связь и бороться можно только мощностью.

Модели языка он строил цепями Маркова — прямо ссылаясь на опыт Маркова с «Евгением Онегиным»: порождал «английский текст» всё более высокого порядка и показывал, как растёт похожесть.

Через год вышла работа о секретности связи, где строго доказано, что шифр Вернама (одноразовый блокнот) невзламываем, — криптография тоже стала математической дисциплиной.

Жонглирование, мыши и рулетка

Шеннон был человеком играющим. Он построил механическую мышь Тесея, которая училась проходить лабиринт; машину, единственная кнопка которой выключала саму себя; жонглирующего робота и теорему о жонглировании; носимый компьютер для предсказания рулетки, сделанный вместе с Эдвардом Торпом. Ездил по коридорам Bell Labs на одноколёсном велосипеде, жонглируя.

Публиковался он мало и неохотно, к славе относился с недоумением. Последние годы прожил с болезнью Альцгеймера и, по словам жены, не узнал бы того мира, который вырос из его статьи.