Результаты более половины психологических исследований оказались невоспроизводимы

Группа психологов, возглавляемая специалистом в области социальной психологии Брайаном Ноузеком (Brian Nosek) из Center for Open Science (США) попыталась в рамках «Проекта по изучению воспроизводимости научных работ: Психология» повторить 100 различных исследований в разных отраслях психологии, опубликованных в ведущих научных журналах. Результат получился просто шокирующим – по мнению ученых, им удалось воспроизвести с разной степенью близости к оригинальному исследованию только 39 из 100 работ. А полный анализ, опубликованный сегодня в Science, показал, что статистически значимые результаты были получены только в 36 процентах работ, при этом уровень значимости был в среднем в два раза ниже, чем декларируемый в статьях.

Проект по проверке воспроизводимости результатов психологических работ начался в ноябре 2011 года на фоне нескольких отчетов о мошенничествах, натяжках и ошибках в области статистического анализа в статьях по психологии. Независимая группа отобрала 100 статей, опубликованных в ведущих специализированных журналах. Их тематика затрагивала разные отрасли психологического знания – от реакций детей и взрослых на страх, до сравнительного изучения разных методов обучения арифметике.

Затем исследователи попытались воспроизвести описанные исследования. В апреле 2015 года группа опубликовала предварительные результаты. Проводившие повторные работы ученые должны были оценить по ряду критериев – удалось или не удалось им воспроизвести то или иное исследование. Суммировав оценки, группа присуждала каждой работе один из семи рангов – от высшего («практически идентичная») до низшего («какое-либо сходство отсутствует»). В итоге 15 работ воспроизвести не удалось вообще, а всего нереплицируемыми были признаны результаты 61 статьи.

Опубликованный сегодня полный отчет выявил еще более печальную картину: вопреки заявленным в 97 процентах работ статистически значимым результатам, при воспроизведении они были повторены только в чуть больше трети случаев, а средняя оценка значимости эффекта снизилась почти вдвое.

В то же время ряд ученых выдвинул предположение, что невоспроизводимыми могут быть до 80 процентов всех исследований в области психологии, так как команда Нозека отбирала статьи только из наиболее уважаемых и рецензируемых журналов.

Воспроизводимость результатов исследования считается одним из важнейших критериев научности знания (наряду с критерием фальсифицируемости Карла Поппера). В общем случае ее можно определить как близость результатов повторных экспериментов, при условии, что все их условия были повторены (метод, дизайн исследования, средства, инструменты, алгоритм, выборка испытуемых и прочее).  Для обеспечения возможности повторения экспериментов в научных статьях считается обязательным привести их подробные, детальные описания. Результат считается достоверным и надежным, если несколько разных независимых групп ученых смогли повторить эксперимент и получить близкие результаты.

В настоящий момент идет отдельная

в социальных и гуманитарных науках, а также такой пограничной области знаний как психология. Считается, что необходимо развести понятия репликация (воспроизводимость исследования так как она описана выше) и воспроизводимость для социальных наук. В этом случае к работе прилагается набор данных, с которым работал исследователь и описания способа их обработки (включая, например, программный код и алгоритмы). Если другой ученый, используя те же данные и тот же способ их обработки, получил сходные результаты – значит работа должна считаться воспроизводимой.

Даниил Кузнецов