Карта → событие
«Стьюдент» с пивоварни Guinness
Задача
Уильям Сили Госсет (1876–1937) — химик по образованию, с 1899 года работал на пивоварне Guinness в Дублине. Компания одной из первых в мире стала нанимать учёных и вести производство «по науке»: подбор сортов ячменя, контроль содержания хмеля, стабильность урожая.
Проблема была в том, что выборки крошечные. Испытать новый сорт ячменя можно на нескольких делянках, а не на тысяче. Классическая теория, построенная на нормальном приближении и законе больших чисел, требовала больших $n$ — а у Госсета было $n = 4$ или $n = 8$.
В чём собственно трудность
Пусть $X_1,\dots,X_n$ — независимые нормальные с неизвестными $\mu$ и $\sigma$. Если бы $\sigma$ была известна, всё просто:
$$Z = \frac{\bar X - \mu}{\sigma/\sqrt{n}} \sim N(0,1) .$$
Но $\sigma$ неизвестна, её приходится оценивать по тем же данным:
$$s^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar X)^{2} .$$
(Деление на $n-1$, а не на $n$, — поправка Бесселя: одна степень свободы израсходована на оценку $\bar X$, и только при таком делителе $E[s^2] = \sigma^2$.)
Подставим $s$ вместо $\sigma$:
$$t = \frac{\bar X - \mu}{s/\sqrt{n}} .$$
При больших $n$ ошибка невелика: $s \approx \sigma$. При $n = 4$ величина $s$ сама сильно скачет, и — вот ключевое — скачет в неудачную сторону: когда $s$ случайно занижена, $t$ автоматически завышена. Хвосты распределения $t$ оказываются толще нормальных, и, пользуясь таблицами нормального закона, экспериментатор систематически переоценивает достоверность своих выводов.
Ответ: $t$-распределение
Госсет находит точное распределение величины $t$ при $n$ наблюдениях. С $\nu = n-1$ степенями свободы плотность равна
$$f_\nu(t) = \frac{\Gamma\!\left(\frac{\nu+1}{2}\right)}{\sqrt{\nu\pi}\;\Gamma\!\left(\frac{\nu}{2}\right)} \left(1 + \frac{t^{2}}{\nu}\right)^{-\frac{\nu+1}{2}} .$$
При $\nu \to \infty$ выражение стремится к $\frac{1}{\sqrt{2\pi}}e^{-t^2/2}$ — нормальной плотности. При малых $\nu$ хвосты существенно тяжелее; при $\nu = 1$ это распределение КошиОгюстен Луи КошиПервым потребовал от анализа доказательств вместо очевидности — и первым написал учебник, по которому это можно было выучить., у которого нет даже математического ожидания.
Разница в критических значениях говорит сама за себя:
| $\nu$ | 1 | 2 | 4 | 10 | 30 | 100 | $\infty$ |
|---|---|---|---|---|---|---|---|
| $t_{0{,}975}$ | 12,71 | 4,30 | 2,78 | 2,23 | 2,04 | 1,98 | 1,96 |
При четырёх степенях свободы доверительный интервал в $1{,}4$ раза шире, чем подсказал бы нормальный закон. Игнорирование этой поправки — прямой путь к ложным открытиям на малых выборках.
Ранняя Монте-Карло
У Госсета не было аппарата, чтобы вывести распределение вполне строго. Поэтому он сделал нечто удивительное для 1908 года: проверил результат симуляцией. Он взял опубликованные Мерриманом данные о росте и длине среднего пальца $3000$ заключённых, выписал их на карточки, перетасовал и вытянул $750$ выборок по $4$ наблюдения, для каждой посчитал $t$ и сравнил полученную гистограмму со своей формулой. Совпало.
Это, по-видимому, первый в истории статистики метод Монте-Карло — за сорок лет до УламаСтанислав УламРаскладывая пасьянс после болезни, придумал метод Монте-Карло — считать вероятность не формулой, а перебором случайных исходов. Заодно ему принадлежит схема, сделавшая водородную бомбу возможной. и фон НейманаДжон фон НейманАксиоматизировал квантовую механику, основал теорию игр, придумал архитектуру компьютера и метод Монте-Карло — и всё это, по мнению современников, не напрягаясь. и без всякой вычислительной машины.
Псевдоним
Guinness запрещала сотрудникам публиковаться: несколькими годами ранее один из работников раскрыл в печати производственный секрет, и компания ввела жёсткое правило. Госсет добился разрешения на публикацию при условии анонимности — и в 1908 году в Biometrika вышла статья «The probable error of a mean» за подписью Student.
Так главный рабочий инструмент прикладной статистики оказался подписан конспиративной кличкой. Личность автора десятилетиями знал лишь узкий круг; ФишерРональд ФишерПридумал почти всё, чем статистика пользуется сегодня, — дисперсионный анализ, рандомизацию, максимум правдоподобия, p-значение, — работая на сельскохозяйственной опытной станции., с которым Госсет много и дружески переписывался, называл его «Student» даже в личных письмах.
Что доделал Фишер. Госсет получил распределение эвристически и работал с величиной $z = (\bar x - \mu)/s_n$, где $s_n$ — оценка с делителем $n$. Современную форму статистики $t$, строгое доказательство (геометрическое, через ортогональное разложение в $n$-мерном пространстве) и обобщение на сравнение двух выборок и на регрессионные коэффициенты дал Фишер в 1920-е годы. Название «критерий Стьюдента» тем не менее закрепилось.
Курьёз в коллекции
В нашей коллекции курьёзов приоритета это соседствует с правилом ЛопиталяГийом ЛопитальНаписал первый в мире учебник дифференциального исчисления — и купил у Иоганна Бернулли право называть его результаты своими., которое маркиз де Лопиталь честно купил у Иоганна БернуллиБернуллиВосемь математиков в трёх поколениях одной базельской семьи — и почти столько же ссор между ними; на их фамилию приходится закон больших чисел, вариационное исчисление и уравнение гидродинамики. по контракту, и с листом МёбиусаАвгуст Фердинанд МёбиусПрофессор астрономии, чьё имя носит самая известная поверхность в мире; открыл её в шестьдесят восемь лет, разбирая конкурсную задачу о многогранниках, — и не первым. Главная его работа при этом совсем другая…, который Иоганн ЛистингИоганн Бенедикт ЛистингПридумал слово «топология» за полвека до того, как дисциплина обзавелась содержанием, и открыл одностороннюю поверхность на несколько месяцев раньше Мёбиуса. Имя закрепилось не за ним ни в том, ни в другом… открыл на два месяца раньше Мёбиуса, в июле 1858 года. Разница в том, что здесь автор скрыт не чужой славой, а корпоративной службой безопасности.