Словом $p$-хакинг обозначают плохие практики анализа данных, приводящие к повышению вероятности выдать случайный результат за важное открытие.

Стандартным приёмом анализа данных (например, результатов эксперимента) является поиск в них связей (корреляции) одних переменных с другими (например, увеличение скорости выздоровления при приёме исследуемого препарата) и оценка *значимости* этих связей (надёжности вывода о том, что связь является реальной закономерностью, а не случайным совпадением). Значимость обычно проверяют «от противного»: предполагают, что никакой закономерности на самом деле нет (например, лекарство не действует), и оценивают в рамках этого предположения (называемого нулевой гипотезой) *вероятность* получения наблюдаемого (или ещё более выраженного) результата (скорость выздоровления в экспериментальной группе превосходит таковую в контрольной группе не меньше, чем наблюдалось в эксперименте). Эта вероятность называется $p$-значением ($p$-*value*); чем она меньше, тем более надёжным считается результат. Низкая вероятность наблюдаемых результатов в рамках нуль-гипотезы означает, что эта гипотеза («лекарство не действует») плохо согласуется с полученным результатом, а значит, есть основания предполагать, что верна *альтернативная* гипотеза («лекарство действует»).

Однако, как правило, $p$-*value* получается не таким уж маленьким числом (вероятность результата в рамках нуль-гипотезы небольшая, но далеко не нулевая). Если обывателю или чиновнику сказать, что получен результат с уровнем значимости $p=0.03$ (то есть $p$-*value* равно 3%), он резонно спросит: «Так действует лекарство или нет?» Чтобы как-то отвечать на этот вопрос, учёные условились когда-то (и потом сто раз об этом пожалели) выбрать «с потолка» порог значимости. Например, если $p<0.05$ (5%), то можно считать, что результат статистически значимый (а если $p<0.01$, то вообще хорошо). Это, конечно, удобно, но давайте подумаем, что это на самом деле значит. Если уровень значимости результата равен, скажем, $p=0.03$, это значит (по определению $p$-*value*), что получение подобного (такого или ещё более впечатляющего) результата ожидается в 3% экспериментов *по чистой случайности* (даже если лекарство не работает)! Ну что, вам уже пришла в голову пара-тройка идей $p$-хакинга?

Например, вместо того, чтобы вкладывать миллионы и миллиарды в разработку действенных препаратов, можно вложить гораздо меньшие ресурсы в разработку разнообразных «пустышек». Например, наделать сотню вариантов подкрашенных сахарных шариков с добавлением нуля атомов чего-нибудь (типичный рецепт гомеопатического средства), провести сотню испытаний и получить в пяти из них подтверждение действенности (на уровне $p<0.05$). Или можно вновь и вновь испытывать одну и ту же «целебную» пилюлю, пока измеряемый параметр случайно не отклонится в нужном направлении. Или можно испытать одну пилюлю и всего лишь один раз, но измерять не один параметр (скорость выздоровления), а сразу сотню (изменение температуры тела, артериального давления, концентрации различных веществ в крови и других жидкостях…) и потом объявить эту пилюлю чудодейственным средством нормализации того параметра, который случайно отклонился в нужном направлении.

Конечно, это несколько преувеличенные (для наглядности) примеры, в науке всё не настолько уж плохо (например, в медицине испытания нужно регистрировать, а при проведении множественных сравнений требуется делать статистические поправки, увеличивающие требования к уровню значимости), но те или иные формы $p$-хакинга по-прежнему процветают — отчасти по неграмотности (экспериментаторов и рецензентов), отчасти, увы, и по злому умыслу. Мораль сей басни такова: хорошо изучайте методы математической статистики и используйте их не во вред, а во благо.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence