Невоспроизводимость данных научных статей (в первую очередь по экономике и психологии) не только не снижает их цитируемость, а, наоборот, повышает ее — к такому выводу пришли американские ученые, проанализировав данные трех проектов по оценке воспроизводимости 2015, 2016 и 2018 годов. На эту тенденцию не влияет даже публикация результатов проверки воспроизводимости, пишут авторы исследования в Science Advances.
Возможность воспроизвести описанный в научной статье эксперимент и получить те же результаты — один из ключевых принципов, на которых строится современная система научного знания. Однако в реальности далеко не все научные статьи оказываются воспроизводимыми. Иногда авторы намеренно упускают некоторые важные детали, чтобы конкурирующая научная группа не смогла повторить их исследование и сделать следующее открытие в этой области. Иногда условия или объекты исследования классических работ заметно изменились со временем, и сейчас их просто невозможно повторить. Но чаще всего это связано с самими опубликованными результатами: те данные, которые авторов не удовлетворили, как правило, просто не добираются до публикации. А те, которые в итоге оказываются в статье, — отбираются таким образом, чтобы лучше иллюстрировать ту закономерность, на которую хотят обратить внимание авторы. Все эти эффекты привели в итоге к кризису воспроизводимости (или кризису репликации), который наиболее заметен в психологии, медицине, экономике и социальных науках, но наблюдается в том числе и в естественных науках.
Марта Серра-Гарсия (Marta Serra-Garcia) и Ури Гнизи (Uri Gneezy) из Калифорнийского университета в Сан-Диего решили проверить, как воспроизводимость статей влияет на их цитирование. В своем исследовании ученые использовали данные трех проектов, в которых проводилась систематическая оценка воспроизводимости: анализ статей по психологии 2015 года, анализ статей по экономике 2016 года и анализ статей в Nature и Science 2018 года. Статьи из каждого из трех проектов авторы разбили на воспроизводимые (p < 0,05) и невоспроизводимые (p > 0,05) и проанализировали по данным Google Scholar динамику их цитирования с 2010 по 2019 год. Кроме того, исследователи изучили и другие метрики, связанные с цитированием (в частности импакт-факторы тех журналов, в которых были ссылки на невоспроизводимые работы). Отдельно ученые проверили, как повлияла на цитирование статей публикация результатов проверки их воспроизводимости.
Выяснилось, что для всех трех групп невоспроизводимость результатов исследований не только не снижает цитируемость, а наоборот — повышает ее. В среднем невоспроизводимую статью цитировали на 153 раза больше, чем воспроизводимую. Максимальной эта разница оказалась для статей из Science и Nature. Никакого заметного изменения в динамике цитирования не наблюдалось, в том числе никак не сказалась на ней и проверка на воспроизводимость. Кроме того, те исследования, в которых были процитированы невоспроизовдимые работы, публиковались в журналах с примерно таким же средним импакт-фактором, что и статьи, цитирующие воспроизводимые работы — то есть условное «качество» (или «уровень») статей не отличалось. При этом только в 12 процентах статей, ссылаясь на сомнительную работу, авторы упоминают, что данные не прошли проверку на воспроизводимость.
Однако те работы, в которых цитируются воспроизводимые статьи, все же с большей вероятностью оказывались опубликованы в журналах из базы данных Journal Citation Reports — самого полного и надежного источника данных о цитировании в рецензируемых научных журналах. Разница вероятности публикации составила 6,1 процента.
Авторы исследования полагают, что те ученые, которые ссылаются на невоспроизводимые результаты, почти всегда понимают, что эти данные менее надежны. Но предъявляют к ним — как к более интересным — пониженные требования, а также учитывают, что потом такие статьи могут вызвать больший ажиотаж в научной среде и привлечь большее внимание к новой работе.
Подробнее о кризисе воспроизводимости вы можете прочитать в наших материалах «Не повторяется такое иногда» и «Попробуй повтори».