Не можем повторить

Авторы амбициозного проекта по проверке воспроизводимости онкологических научных исследований на этой неделе сообщили, что вместо запланированных 50 работ они проверят всего 18. Потратив пять лет и примерно миллион долларов, ученые выяснили, что качественно воспроизвести биологические эксперименты гораздо сложнее, чем кажется.

Воспроизводимость, то есть возможность повторить научный эксперимент в другой лаборатории и получить те же результаты, принципиально важна для любой экспериментальной науки: так мы узнаем, что авторы не взяли свои выводы из головы и не получили их из-за какой-то ошибки или случайности в протоколе, следовательно, на основе этих выводов можно продолжать научную работу. В идеале воспроизвести, и не один раз, нужно любое исследование, но на практике это довольно трудно и дорого — ежегодно в мире выходит более миллиона научных статей, многие из которых описывают сложные и даже многолетние эксперименты. 

Более того, воспроизведение чужих работ, несмотря на всю его нужность, — до сих пор неблагодарное дело: мало кто захочет ставить на паузу собственные оригинальные исследования, чтобы потратить очень много времени и ресурсов на проверку чужих, которая, к тому же, может не дать никакого вразумительного результата (и публиковать будет нечего, а гонку за статьями никто не отменял). В современной академической культуре воспроизведение экспериментов — это, скажем так, не сексуально: часто ли вы видите на N + 1 новости о том, что кто-то успешно повторил чужое исследование? (Зато для безуспешных попыток у нас есть целый блог!)

Помимо абстрактного дискомфорта по поводу добра, справедливости и научного метода, беда с воспроизведением и воспроизводимостью научных работ может иметь и очень конкретные последствия. В науке этот феномен часто обозначается словами garbage in, garbage out, «мусор на входе — мусор на выходе»: если вы, скажем, пытаетесь создать эффективное и безопасное лекарство от какой-нибудь важной болезни, используя данные некачественного исследования (которое никто не проверил), у вас, очевидно, ничего не получится, и много денег на разработку этого лекарства вы потратите впустую. В 2012 году биофармацевтическая корпорация Amgen сообщила, что ее специалистам удалось воспроизвести лишь шесть из 53 высокоцитируемых научных работ по онкологии. За год до этого другая компания, Bayer, не смогла воспроизвести 79 процентов, или 53 из 67 отобранных ею медицинских экспериментов. Ни Amgen, ни Bayer не раскрыли список работ, которые не получилось воспроизвести, но осадок от таких новостей остался очень серьезный.

Проект Reproducibility Project: Cancer Biology (RP:CB) стартовал в 2012 году, а год спустя, в октябре 2013 года, получил от благотворительного фонда Лауры и Джона Арнольдов грант в 1,3 миллиона долларов. Его организаторы, впечатлившись проблемами фармкомпаний, задумали воспроизвести 50 наиболее значимых научных экспериментов в области биологии рака, опубликованных в Science, Nature, Cell и других ведущих научных журналах в 2010–2012 годах. Предполагалось, что исследования будут повторять сторонние лаборатории, найденные через стартап Science Exchange, своеобразную биржу экспериментальных площадок, а на весь проект уйдет около года. Публиковать результаты в открытом доступе собирался журнал PLOS ONE.

В то время проект RP:CB встретил разную реакцию. Часть ученых приветствовала попытку воспроизвести ключевые исследования в рамках открытого и прозрачного проекта, в то время как авторы многих работ предупреждали, что такая попытка заранее обречена на неудачу из-за недостаточной квалификации специалистов лабораторий, которым достанутся исследования, и сложности многих экспериментов. Тем не менее, как писала тогда пресса, авторы исследований в основной массе подключились к проекту, помогая его организаторам восстановить детали экспериментальных протоколов, не вошедшие в итоговые публикации.

Проект довольно быстро столкнулся со сложностями: например, оказалось, что информации в статьях бывает настолько мало, что иногда у авторов исходных работ приходилось узнавать, сколько именно животных они использовали для экспериментов. К концу 2015 года проект понизил планку до 37 исследований, ссылаясь на недостаток финансирования, а к январю 2017 года, одновременно с итогами воспроизведения первых пяти работ — до 29 исследований.

«Я бы хотел, чтобы мы воспроизвели больше работ. Но в некотором смысле мы не до конца понимали, насколько это сложно, пока не взялись за сам проект», — сказал журналу Science руководитель проекта Тим Эррингтон из Центра открытой науки.

Как пишет Science, в последние несколько месяцев ученые решили приостановить 11 экспериментов и сосредоточиться на оставшихся 18, 10 из которых уже завершены. В итоге, по словам идеолога проекта и соосновательницы Science Exchange Элизабет Иорнс, вместо 26 тысяч долларов одно воспроизведенное исследование обошлось в среднем в 60 тысяч (две работы, которые Иорнс не называет, обошлись существенно дороже).

По словам Эррингтона, очень много времени уходило на то, чтобы решать мелкие проблемы с экспериментальными методами и находить или воссоздавать нужные реагенты, клеточные линии и другие необходимые элементы опыта. Все это по-хорошему должно попадать в исходную статью и публиковаться на специальных открытых площадках типа библиотеки плазмид Addgene, чтобы облегчать задачу тем, кто пытается воспроизвести или продолжить конкретную работу, считает ученый.

Результаты 10 готовых попыток воспроизведения опубликованы в журнале eLife: пять работ в целом удалось воспроизвести, две — нет (зато это удалось сделать другим научным группам вне рамок проекта), еще три попытки не дали однозначного результата. Сейчас команда RP:CB заканчивает оставшиеся восемь статей и готовит обобщение-метаанализ для всего проекта. Детали 11 незавершенных экспериментов тоже будут опубликованы, обещает Эррингтон.

Ольга Добровидова