В случае p-хаккинга подразумевается тот или иной способ подлога. То есть, исследователь искусственно создает видимость обнаружения некоего эффекта, которого в действительности нет (во всяком случае, анализируемые данные не могут подтвердить присутствие такого эффекта).

Простой пример. Допустим исследователь предположил, что некоторое вещество Х может стимулировать рост растений. Он провёл элементарный опыт, в котором было два схожих участка с одинаковыми растениями. На одном участке производили внесение вещества Х, а второй использовали как нулевой контроль. Далее исследователь измерил среднюю массу надземной части растений с обоих участков. Если вещество Х является стимулятором, то средняя масса растений на участке 1 должна быть выше чем на участке 2. Для тестирования различий в средней массе применили тест Стьюдента. Тест не выявил статистически значимых различий. Например, p-значение теста составило 0.06. Это низкое значение, но принятым критерием значимости был выбран порог уровня значимости в 0.05. То есть, формальный вывод должен звучать так: проведенное исследование не подтвердило значимых различий между массами растений на двух участках. Но такой вывод очевидно не устраивает исследователя, ведь он потратил время, финансирование и т.д. При этом выводы работы не очень подходят для серьезной публикации, так как исходное предположение оказалось ложным. В таком случае у исследователя возникает соблазн подкорректировать данные. Например, он может удалить из значений масс первого участка 2-3 наблюдения с самой низкой массой. Если провести тест Стьюдента для такой "скорректированной" выборки, то окажется, что р-значение стало равным 0.049, то есть меньше порога 0.05, а значит формально можно признать, что масса растений на двух участках отличается, а следовательно вещество Х является стимулятором. И так, фактически исследование не подтвердило эффективность препарата Х, но путям небольших манипуляций с данными, исследователь создал видимость того, что препарат Х действительно является стимулятором.

Конечно, это очень упрощенный, банальный пример. Существуют множество способов "соврать с помощью статистики". Практически единственными препятствиями для применения p-хаккинга является этика исследователя и опасность имиджевых потерь в случае обнаружения фальсификации выводов. При этом следует отметить, что результаты p-хаккинга очень сложно выявить и подтвердить (естественно если они сделаны специалистом в области анализа данных). Поэтому этика остается одним из ключевых механизмов противодействия р-хаккингу.
spam fails_task lang_mismatch pii not_appropriate hate_speech sexual_content quality toxicity humor helpfulness creativity violence