Американскому психологу удалось воспроизвести результаты большинства из рассмотренных им 78 исследований, посвященных влиянию черт «Большой пятерки» на аспекты жизни человека (его самочувствие, работоспособность и социальные взаимодействия). Около 87 процентов обнаруженных авторами оригинальных работ ассоциаций оказались воспроизводимыми, но величина эффекта во многих случаях оказалась ниже. Статья опубликована в журнале Psychological Science.
В сфере научных психологических исследований уже несколько лет как остро обозначена проблема невоспроизводимости: в 2015 году в журнале Science вышла статья, авторам которой не удалось воспроизвести результаты более половины из 100 рассмотренных психологических исследований, опубликованных в рецензируемых журналах. При этом споры об адекватности некоторых методов психологических исследований возникали и ранее, и они не стихают до сих пор. Критике, например, часто подвергается модель «Большой пятерки», которая утверждает, что существует пять основных черт, определяющих характер людей: экстраверсия, доброжелательность, добросовестность, невротизм и открытость опыту. Соответственно, также подвергаются критике исследования, которые основываются на использовании показателей этой метрики в качестве каких-либо переменных при анализе.
Кристофер Сото (Christopher Soto) из Колледжа Колби (Уотервилл, штат Мэн) решил проверить воспроизводимость таких исследований. Он отобрал 78 работ, которые посвящены изучению связи между определенными чертами из «Большой пятерки» и некоторыми аспектами жизни и здоровья человека. Исследования проводили с помощью нескольких опросов, которые, с одной стороны, определяют черты характера участников, а с другой — различные изучаемые аспекты их жизни. Всего опросники заполнили 6100 человек, а для большинства взаимосвязей, которые изучил Сото, было набрано большее количество участников, чем в оригинальном исследовании: например, для того, чтобы воспроизвести результаты исследования связи способности к прощению и доброжелательности человека, удалось собрать информацию о 1550 добровольцах, а в оригинальном исследовании их было 140.
В результате оказались успешными около 87 процентов попыток воспроизвести результаты исследований, проведенных в оригинальных работах. При этом величина эффекта (effect size), которая показывает, насколько велика разница между двумя рассматриваемыми группами (и насколько, соответственно, вообще значима взаимосвязь), во многих исследованиях оказалась меньше, чем при воспроизведении: воссоздать этот показатель удалось только в 77 процентах случаев.
Сото, таким образом, приходит к выводу, что исследования в рамках психологии личности и проводимые в его рамках опросы по большей части воспроизводимы, поэтому «Большую пятерку» можно использовать в них как метрику. С другой стороны, он уточняет, что подобным исследованиям явно не хватает величины эффекта: здесь может быть проблема в недостаточной выборке, некорректном анализе, а в глобальном смысле — и в том, как публикуются научные работы (то есть определенном publication bias). При этом автор не уточняет, как выбранная им методология могла повлиять на результаты оценки воспроизводимости: в некоторых работах проводились долгосрочные исследования, в то время как сам Сото использовал только один онлайн-опросник. Именно поэтому для точного заключения о том, что подобные исследования воспроизводимы, а метрика является научно обоснованной, необходимо проводить и другие исследования, в частности — полностью восстановив не только размер выборки, но и выбранный экспериментальный дизайн.
Воспроизвести результаты исследований пытаются и в области медицины, но это не так просто. К примеру, в августе авторы проекта воспроизводимости онкологических исследований сообщили о том, что вместо запланированных 50 работ они смогут проверить всего 18. Подробности этой истории вы можете прочитать в нашем блоге.
Елизавета Ивтушок