Хинчин: стационарные процессы

Грамматика и словарь

Предыдущая точка (28, «Grundbegriffe») ответила на вопрос, чем является случайный процесс: семейством случайных величин на вероятностном пространстве. Это ответ исчерпывающий и совершенно бесполезный для того, кто хочет что-нибудь посчитать: он говорит, что объект законен, и не говорит, как с ним обращаться.

Год спустя, в соседнем кабинете, Александр Яковлевич Хинчин (1894–1959) сделал вторую половину работы — для класса процессов, который оказался главным в приложениях.

Разница между двумя точками — как между грамматикой и словарём. КолмогоровАндрей Николаевич Колмогороврусский и советский математик · 1903–1987Дал вероятности аксиомы, турбулентности — закон, сложности — определение, а школьной математике в СССР — программу, по которой учились миллионы. задал правила, по которым фраза о случайности вообще может быть построена. Хинчин перевёл на этот язык то, чем практики уже пользовались, и обнаружил, что перевод даёт им новую теорему.

То, что обе работы вышли подряд и вышли из одного семинара — лузинского, — не случайность: Хинчин и Колмогоров вместе строили московскую вероятностную школу с середины 1920-х, и разделение труда между ними было вполне осознанным.

Стационарность

Процесс $X(t)$ стационарен в широком смысле, если $E[X(t)]=\mathrm{const}$ и корреляция $E\left[X(t)X(t+\tau)\right]=R(\tau)$ зависит только от сдвига $\tau$, но не от момента $t$.

Определение описывает ровно ту ситуацию, в которой находится инженер: шум в усилителе, качка судна, колебания курса, атмосферная турбулентность. Мы не знаем механизма, не можем повторить опыт, наблюдаем одну-единственную реализацию — но статистические свойства со временем не меняются, и это позволяет говорить о них осмысленно.

Функция $R(\tau)$ — корреляционная, и она отвечает на естественный вопрос: насколько долго процесс помнит себя. Если $R$ спадает быстро, значение через секунду почти не связано с нынешним; если медленно — процесс инерционен.

Теорема

Хинчин заметил, что корреляционная функция не может быть какой угодно. Она положительно определена: для любых моментов $t_{1},\dots,t_{n}$ и любых чисел $c_{1},\dots,c_{n}$

$$\sum_{i,j}c_{i}c_{j}R(t_{i}-t_{j})=E\left[\left(\sum_{i}c_{i}X(t_{i})\right)^{2}\right]\ \geqslant\ 0,$$

просто потому что слева стоит математическое ожидание квадрата. А положительно определённые непрерывные функции описаны теоремой Бохнера — это в точности преобразования ФурьеЖозеф Фурьефранцузский математик, физик и префект Изера · 1768–1830Утверждал, что любую функцию можно сложить из синусов, — и был не прав ровно настолько, чтобы математике понадобилось сто лет и три новые теории, чтобы разобраться. конечных неотрицательных мер. Отсюда

Теорема Хинчина (Винера — Хинчина), 1934.
$$R(\tau)=\int_{-\infty}^{\infty}e^{i\lambda\tau}\,dF(\lambda),$$
где $F$ — конечная неотрицательная мера, называемая спектральной мерой процесса.

Публикация: «Korrelationstheorie der stationären stochastischen Prozesse», Mathematische Annalen 109 (1934), 604–615. Там же современное определение стационарного процесса и появляется впервые.

Параллельно и независимо: Норберт Винер в «Обобщённом гармоническом анализе» (1930) получил ту же связь для отдельных функций, без всякой вероятности. Отсюда двойное имя.

Словарь

Теорема ценна тем, что оказалась переводом. Читается она так:

Вероятностное понятие	Инженерное имя
корреляционная функция $R(\tau)$	автокорреляция сигнала
спектральная мера $F$	распределение мощности по частотам
плотность $dF/d\lambda$	спектральная плотность мощности
$R(\tau)=\mathrm{const}\cdot\delta(\tau)$	белый шум: все частоты поровну
медленно спадающая $R$	энергия в низких частотах

И главное следствие, ради которого всё это работает. Пропустим стационарный процесс через линейный фильтр с частотной характеристикой $H(\lambda)$. Тогда спектральная плотность на выходе равна

$$S_{\text{вых}}(\lambda)=\left|H(\lambda)\right|^{2}S_{\text{вх}}(\lambda).$$

Свёртка во времени превратилась в умножение по частоте — та же механика, что делает преобразование Фурье полезным вообще, но теперь применённая к случайному сигналу.

Из этой формулы выведено практически всё, что называется обработкой сигналов: расчёт шумов в схемах, фильтр Винера (1942), фильтр Калмана (1960), спектральный анализ временных рядов в эконометрике, обработка сейсмограмм, радиолокация, кодирование звука. Инженер, который строит спектр записанного шума, применяет теорему Хинчина, обычно об этом не подозревая.

Осторожно: одна реализация

Здесь стоит назвать тонкость, которую в прикладных курсах часто проглатывают.

Теория говорит о $R(\tau)=E\left[X(t)X(t+\tau)\right]$ — среднем по ансамблю, то есть по всем возможным реализациям процесса. А в руках у экспериментатора одна-единственная запись, и он считает среднее по времени:

$$\widehat{R}(\tau)=\frac{1}{T}\int_{0}^{T}X(t)X(t+\tau)\,dt.$$

То, что второе сходится к первому, — не определение и не очевидность, а утверждение, требующее доказательства: это эргодичность. И это ровно тот вопрос, который решали Биркгоф, фон НейманДжон фон Нейманвенгеро-американский математик · 1903–1957Аксиоматизировал квантовую механику, основал теорию игр, придумал архитектуру компьютера и метод Монте-Карло — и всё это, по мнению современников, не напрягаясь. и — на уровне существования меры — Крылов с БоголюбовымНиколай Николаевич Боголюбовсоветский математик и физик-теоретик · 1909–1992В двадцать три года построил вместе с Крыловым нелинейную механику, потом объяснил сверхтекучесть и сверхпроводимость, а между делом доказал теорему об острие клина — чисто математическое утверждение… тремя годами позже (Крылов и Боголюбов). Без эргодической теории спектральный анализ одной записи был бы гаданием.

Полное представление самого процесса, а не только его корреляционной функции,

$$X(t)=\int e^{i\lambda t}\,dZ(\lambda)$$

с ортогональными приращениями $Z$, получили несколько позже — Колмогоров (1941) для дискретного времени и Крамер (1942) в общем случае.

О человеке

Хинчин пришёл в математику из лузитанской школы и в 1920-е годы сделал в вероятности собственную первоклассную вещь — закон повторного логарифма (1924):

$$\limsup_{n\to\infty}\frac{S_{n}-np}{\sqrt{2np(1-p)\ln\ln n}}=1 \qquad \text{почти наверное.}$$

Это третий закон между двумя известными. Закон больших чисел говорит, что отклонение растёт медленнее $n$; центральная предельная теорема — что типичное отклонение порядка $\sqrt{n}$. Закон повторного логарифма даёт точную верхнюю огибающую колебаний: множитель $\sqrt{2\ln\ln n}$ достигается бесконечно часто и не превышается. Двойной логарифм растёт настолько медленно, что при $n=10^{6}$ он равен примерно $2{,}6$ — поэтому на практике поправка почти незаметна, а теоретически неустранима.

Ему же принадлежит формула Леви — Хинчина для безгранично делимых распределений (о ней речь в точке о Мандельброте), работы по теории массового обслуживания, «Математические основания статистической механики» (1943) и «Математические основания теории информации» (1953–1956) — книга, в которой теоремы Шеннона впервые доказаны математически строго.

И отдельно: Хинчин был выдающимся педагогом. «Три жемчужины теории чисел», «Цепные дроби», «Восемь лекций по математическому анализу» переиздаются до сих пор; он же много занимался школьной программой и методикой. На карте, которую читают учителя, это стоит упомянуть.

Следующая точка: Блетчли-парк — и затем снова Москва, 1941, где та же корреляционная теория будет применена к воздуху.