В исследовании о невоспроизводимости психологических исследований нашли ошибки

В процедуре проведения исследования, результаты которого утверждали о невоспроизводимости более половины психологических исследований, обнаружился ряд нарушений. Об этом говорится в статье, вышедшей в журнале Science.

В прошлом году группа психологов из Center for Open Science (COS) в США попыталась в рамках «Проекта по изучению воспроизводимости научных работ: Психология» повторить 100 различных исследований в разных отраслях психологии, опубликованных в ведущих научных журналах. В результате им удалось воспроизвести с разной степенью близости к оригиналу только 39 из 100 работ. Это поставило под сомнение исследования в области психологии, так как воспроизводимость результатов исследования считается одним из важнейших критериев научности знания. Стоит заметить, что работа была также опубликована в журнале Science.

В новой статье психологи из Гарвардского университета проанализировали процедуру воспроизведения исследований и пришли к выводу, что в процессе были допущены серьезные ошибки.

Во-первых, авторы работы отмечают, что при повторении исследований не была учтена статистическая ошибка. По подсчетам ученых, даже если бы все воспроизведенные исследования показали достоверные результаты, то ошибка выборки все равно должна была бы составить пять процентов, так как часть результатов не попадает в 95 процентный доверительный интервал оригинального исследования. Кроме того, восемь процентов результатов должны были бы оказаться статистически-незначимыми. Необходимость введения критерия статистической погрешности объясняется тем, что исследования являются репликами, а не оригинальными исследованиями.

Для создания реплики необходимо полностью соблюдать процедуру проведения психологического эксперимента и точно учитывать характеристики генеральной совокупности. В своей работе авторы демонстрируют многочисленные примеры допущенных ошибок. Например, исследование, изучающее отношение американцев к афро-американцам, было воспроизведено на итальянцах. Или эксперимент, в котором израильтян просили представить последствия военной службы, было повторен на американцах, которых просили представить последствия медового месяца. Однако в работе психологов COS это не было учтено.

Во-вторых, психологи из Гарварда указывают на низкую мощность исследования. Они отмечают, что повторения были однократными и поэтому был получен такой малый процент достоверных исследований. Для сравнения они приводят проект «Many Labs», в котором 36 независимых лабораторий создали 574 реплики 16 оригинальных исследований. В результате им удалось получить воспроизвести результаты 85 процентов исследований.

В-третьих, ученые говорят о том, что процедура некоторых повторных исследований не была одобрена авторами оригинальных исследований. Так, около 30 процентов авторов не одобрили методологический протокол для репликации. Психологи проанализировали одобренные и неодобренные исследования и обнаружили, что вероятность удачного воспроизведения исследований с неодобренным протоколом была в четыре раза ниже, чем с одобренным.

В итоге ученые из Гарварда приходят к выводу, что психологи COS допустили ряд научных ошибок при процедуре воспроизведения исследований и анализе результатов. Таким образом, как замечают исследователи, статья, опубликованная в Science, не дает оснований для полученных из нее выводов.

Кристина Уласович