«Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке»

В теории научные статьи, содержащие ошибки или сомнительные выводы, не могут появиться в рецензируемых научных журналах. Однако система не идеальна: ученые сталкиваются с невоспроизводимостью результатов, а статьи нередко отзываются после публикации. В книге «Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке» (издательство «Corpus»), переведенной на русский язык Аленой Якименко, психолог и популяризатор науки Стюарт Ричи рассказывает об устройстве современного научно-исследовательского процесса и недостатках системы рецензирования. Предлагаем вам ознакомиться с фрагментом, посвященным числовым ошибках в научных работах.

***

Насколько в научных работах распространены числовые ошибки? В 2016 году группа голландских исследователей под руководством психолога Мишель Нёйтен попыталась это выяснить. Они представили алгоритм под названием statcheck, своего рода «». Когда вы вводите в statcheck научную статью, он проходится в ней по всем числам и отмечает ошибки в p-значениях. Алгоритм способен это сделать, поскольку многие числа в статистических тестах зависят друг от друга, поэтому, если известны лишь некоторые из них, всегда можно воспроизвести остальные (как благодаря теореме Пифагора вы всегда можете вычислить гипотенузу треугольника, если известны длины двух других сторон). Если p-значение и другие связанные с ним числа друг с другом не согласуются, что‑то, вероятно, не так. Нёйтен и ее коллеги через statcheck более тридцати тысяч статей — гигантскую выборку исследований, опубликованных в восьми главных журналах по психологии с 1985 по 2013 год. От того, что они обнаружили, становится просто неловко.

Почти в половине работ, содержащих нужные статистические данные, имелось как минимум одно числовое несоответствие. Справедливости ради отметим, что большинство ошибок были незначительными и практически не затрагивали общие результаты. Однако некоторые несоответствия сильно повлияли на выводы исследования: в 13 процентах случаев были допущены серьезные ошибки в стиле Рейнхарт и Рогоффа, которые могли полностью изменить интерпретацию результатов (например, превратить статистически значимое p-значение в незначимое или наоборот). Конечно, эти несоответствия могли возникнуть по разным причинам: от простых опечаток и ошибок копирования вплоть до сознательного мошенничества. Statcheck — это лишь способ подсветить ошибки в научном тексте, а не установить причины их появления.

Один из самых интересных результатов анализа Нёйтен показывает, как недобросовестность сопряжена с предвзятостью. Несоответствия, отмеченные алгоритмом statcheck, были, как правило, в пользу авторов — то есть ошибочные числа делали результаты более, а не менее согласующимися с гипотезой исследования. Будь это просто абсолютно случайные опечатки, нельзя было бы ожидать, что в среднем они сдвинут результаты в какую‑то одну сторону. Похоже, однако, как мы могли бы предсказать на основании своих знаний о предвзятости, будто ученые чаще пересматривали результаты, когда те отклонялись от намеченного пути. А вот ошибочные результаты, подтверждавшие их теорию, были попросту слишком хороши, чтобы их проверять.

Другой особенно изящный метод узнать, верны ли приведенные в статье числа, имеет явно неизящное название «тест на несогласованность средних, связанный с гранулярностью», сокращенно он именуется тестом (Granularity-Related Inconsistency of Means). С помощью этого теста, разработанного расследователями в мире данных Ником Брауном и Джеймсом Хизерсом, проверяется, имеет ли смысл среднее значение (а именно — среднее арифметическое) набора чисел с учетом того, сколько чисел в нем содержится. Представьте, что вы просите людей оценить, насколько они довольны своей работой, по шкале от 0 до 10 (и ответ дозволяется давать только в целых числах: скажем, «4» или «5», но не «3,7»). Допустим, в простейшем случае вы задали этот вопрос только двум людям и сообщаете среднее значение их оценок, то есть складываете два их результата и делите сумму пополам. Если в получившемся числе посмотреть на цифры после запятой, то возможных вариантов для них будет всего ничего: для двух человек среднее значение их ответов может заканчиваться только на «,00» или «,50». Если же у вас получилось, например, 4,40, значит, что‑то точно пошло не так: при делении целого числа на два получить такую дробь невозможно.

В тесте GRIM та же логика применяется к выборкам покрупнее. К примеру, если двадцать участников оценили что‑либо по шкале целых чисел от 0 до 10, вам никак не получить среднее, равное 3,08. При делении на двадцать значения после запятой могут идти только с шагом 0,05: среднее, равное 3,00, или 3,10, или 3,15, получить возможно, а 3,08 — . Браун и Хизерс использовали тест GRIM, чтобы проверить выборку из семидесяти одной опубликованной статьи по психологии, и обнаружили, что в половине из них приводилось по меньшей мере одно невероятное число, а в 20 процентах содержалось даже несколько. Как и в случае с алгоритмом statcheck, ошибки, выявленные методом GRIM, могут объясняться причинами безобидными, однако же служат красными флагами, сигнализирующими о необходимости дальнейшего анализа.

Значение 3,08 в моем примере неслучайно, я выбрал его, поскольку оно сыграло свою роль в истории теста GRIM и психологических исследований в целом. В 2016 году психолог Матти Хейно метод GRIM для анализа одной из самых знаменитых статей по психологии всех времен — работы Леона Фестингера и Джеймса Карлсмита о «когнитивном диссонансе», вышедшей в 1959‑м. Сейчас эта идея широко известна: когда человека заставляют говорить или делать то, что противоречит его истинным убеждениям, он чувствует психологический дискомфорт и старается подладить эти свои убеждения под слова и действия, к которым его принудили. Участников исследования 1959 года заставляли выполнять нудные и бессмысленные задания, например без конца проворачивать штырьки в перфорированной панели. После некоторым выплачивали доллар, чтобы они говорили следующим по очереди участникам, будто задания показались им весьма интересными и забавными. Позднее при опросе участники, которым за ложь о задании заплатили, отзывались о нем как о гораздо более интересном, чем те, кому доллар не достался. Иными словами, они уменьшали свой диссонанс, заставляя себя поверить, что им было . Увы, примененный Хейно тест GRIM , что не только впечатления участников были рассогласованы — но и числа у Фестингера и Карлсмита. Для выборки из двадцати человек, дающих оценку по шкале целых чисел от 0 до 10, они заявили о среднем, равном 3,08, что невозможно, как мы обсудили выше, не говоря уже о том, что тест не прошли и еще несколько средних.

Когнитивный диссонанс — исключительно полезная идея, интуитивно нам понятная, и эксперимент был хитрым и запоминающимся. Но стали бы тысячи ученых, на протяжении многих лет на статью Фестингера и Карлсмита, делать это, знай они, что она кишит неправдоподобными числами? Эта история еще раз напоминает нам, что даже «классические» результаты из научной литературы — те, что, хотелось бы надеяться, проверялись самым строгим образом, — могут быть совершенно ненадежными, когда числа и другие данные, которым следует играть важнейшую роль, выступают в качестве чистых декораций — фона для захватывающей истории.

Еще числовые ошибки настораживающе распространены в научных областях, где ставки куда выше. Вспомните: самый плодовитый научный мошенник в мире (во всяком случае на момент написания этих строк) — анестезиолог . Его затяжному марафону по подделыванию данных конец анестезиолог Джон Карлайл, разработавший статистический метод для проверки, действительно ли рандомизированные клинические испытания рандомизированы. Рандомизация по своей сути — это словно подбрасывание монеты для каждого из участников, чтобы распределить их по группам (скажем, активного препарата либо же плацебо) случайным образом, а не каким‑либо заранее спланированным способом, который может быть источником предвзятости. Это процесс первостепенной важности: он призван на момент начала испытаний гарантировать, что между группами нет существенных различий. Если люди в одной группе здоровее, образованнее, старше или заметно отличаются по любому другому показателю, который может повлиять на результаты, исследование честным. Поэтому, если на начало рандомизированного контролируемого исследования между группами имеются большие различия, налицо проблема: процесс рандомизации провален. С другой же стороны, если группы подобраны идеально и необъяснимым образом удалось избежать железного правила о зашумленности чисел, это тоже сомнительно: даже после рандомизации между группами все равно должны быть мельчайшие различия, просто по случайности. Вот на чем основан метод Карлайла. Когда он проверил статьи Фудзии, то обнаружил данные совершенно неправдоподобно стройные: так, например, распределения заявленных возраста, роста и веса пациентов Фудзии были почти идеально синхронизированы. Шансы, что такое произойдет в реальности, одного к десяти в тридцать третьей степени (то есть одного к миллиарду триллионов триллионов). Само собой, оказалось, что Фудзии — мошенник.

В 2017 году Карлайл свой обнаруживающий ошибки метод к пяти тысячам восьмидесяти семи медицинским исследованиям из восьми журналов, опять проверяя рандомизацию, которая была либо негодной, либо подозрительно совершенной. Не исключено, конечно, что некоторые испытания выглядят сомнительно просто по невезению. Но даже принимая это во внимание, Карлайл обнаружил, что 5 процентов исследований содержат подозрительные данные: таким образом, он выявил сотни работ, которые, возможно, полностью искажены — а их результаты бессмысленны — из‑за неправильной рандомизации групп. Лишь за малой долей этих проваленных испытаний стояло мошенничество в стиле Фудзии; судя по всему, Карлайл обнаружил в основном «невинные» ошибки. Хотя, учитывая, что стоит на кону в медицинских исследованиях — ведь врачи используют их результаты при подборе лечения для своих пациентов, — эти «невинные» ошибки большой бедой.

Самое замечательное в алгоритме statcheck, тесте GRIM и методе Карлайла — что их можно применить, используя лишь итоговые данные, которые обычно предоставляются в статьях, вроде p-значений, средних, размеров выборок и стандартных отклонений. Не требуется доступа к таблицам полных исходных данных. Пожалуй, оно и к лучшему, поскольку ученые славятся нежеланием делиться своими данными, даже когда другие добросовестные исследователи любезно их об этом просят. Исследование, проведенное в 2006 году, показало, что жалкие 26 процентов психологов согласны были отправить свои данные другим ученым по запросу через электронную почту; похожие удручающие цифры получены и в других областях. Еще ваша вероятность получить доступ к данным будет становиться тем меньше, чем больше времени с момента исследования. Подобное нежелание делиться данными блокирует жизненно важные процессы самокритики — все те же мертоновские нормы коллективизма и организованного скептицизма, — что лежат в основе науки.

И какими бы хитрыми ни были три перечисленных выше метода, они меркнут в сравнении со всеобъемлющей проверкой, которую можно было бы провести, имея в своем распоряжении полный, подробный набор данных. Впрочем, сейчас стремление сохранить данные в тайне (а еще, возможно, страх, что кто‑то найдет в вашей опубликованной работе ошибки) явно перевешивает мертоновские мотивы для обмена ими.

Подробнее читайте:
Ричи, Стюарт. Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке / Стюарт Ричи; пер. с англ. Алены Якименко. — Москва : Издательство АСТ : CORPUS, 2024. — 432 с.