Исследователи установили, что репутация ученых, которая в первую очередь определяется количеством соавторов написанных ранее статей, повышает вероятность положительного решения редактора рецензируемого журнала о публикации новой статьи. Пока данный результат получен только для восьмилетнего интервала и всего четырех рецензируемых журналов по компьютерным наукам, пишут ученые в Journal of Informetrics.
Рецензирование статей — один из основных механизмов подтверждения научного уровня работы, поданной для публикации в научном журнале. Рецензирование может проходить по нескольким схемам, наиболее распространенная из которых — слепое рецензирование, при котором рецензенты знают имена авторов работы, но имена рецензентов скрыты от авторов. Такая схема не защищает от возможной предвзятости при оценке статьи как со стороны рецензентов, так и со стороны редакторов журнала, поэтому вызывает многочисленные споры среди ученых.
Чтобы оценить глобальные недостатки таких схем рецензирования, ученые пытаются связать итоговое решение о принятии статьи к публикации с наличием скрытых связей между авторами, рецензентами и редакторами, однако в большинстве эти исследования носили эмпирический характер. Единственное заметное количественное исследование, которое проводилось на данную тему, — это прошлогодний анализ 100 тысяч статей, опубликованных в PLoS One, в котором авторам удалось показать, что общие публикации редактора и автора статьи в прошлом значительно ускоряют принятие положительного решения о новой публикации.
Ученые из Швеции, Испании и Германии под руководством Джанджакомо Браво (Giangiacomo Bravo) из Университета Линнея решили на примере статей по компьютерным наукам определить, насколько репутация авторов влияет на финальное решение редактора принять или отклонить статью при той или иной оценке рецензента. Для этого авторы работы рассмотрели статьи, поданные в четыре различных рецензируемых журнала с 2009 по 2016 годы. Названия журналов авторы не приводят, но отмечают, что уровень у них разный: от высокорейтингового журнала, входящего в верхний квартиль цитируемости, до журнала, вообще не включенного в базы данных. После вычета случаев отказа от рецензирования полный набор данных, который рассматривали ученые в рамках работы, включал 7179 оценок рецензентов на 2913 различных работ.
Для оценки репутации авторов статьи исследователи использовали граф, в котором вершины соответствуют ученым и написанным ими статьям, а репутация определяется количеством связей через статьи с другими учеными. Аналогичная сеть с возможностью оценки репутации составлялась и для рецензентов.
Оценки рецензентов для каждой из статей ранжировались в зависимости от принятого решения на нескольких стадиях рецензирования (их могло быть от одной до шести в зависимости от журнала). Для каждого из рассматриваемых журналов для рецензентов на каждой стадии допускались четыре стандартных варианта оценки: 1) принять; 2) необходимы небольшие изменения; 3) необходимы существенные изменения; 4) отклонить. Суммарному мнению рецензентов присваивался количественный показатель от 0 до 1 в зависимости от итогового решения каждого из них (1 — если все рецензенты рекомендовали принять статью к публикации, 0 — если все рецензенты рекомендовали отклонить статью).
После этого исследователи попытались найти корреляцию между полученными данными о репутации авторов и рецензентов статьи, оценке рецензента и итоговом решении редактора принять или отклонить статью. Однако поскольку «репутация» авторов является прямым следствием возраста, накопленного опыта и повышения качества статей, то просто проводить анализ корреляций этих параметров для доказательства предвзятости редакторов недостаточно. Поэтому авторы данной работы предложили использовать обучающуюся байесовскую сеть — графовую модель, вершины которой соответствуют основным параметрам системы. С помощью такой сети ученые смогли оценить вероятность отклонения редактором поданной статьи при данных оценках рецензентов и репутации авторов.
У такой схемы возможны как «предвзятые» пути принятия окончательного решения (основанные в первую очередь на репутации авторов и рецензентов), так и «непредвзятые», которые учитывают и оценки рецензентов. Оказалось, что вероятность того, что итоговое отрицательное решение будет принято по «предвзятому» механизму для каждого из журналов отличается от нуля. В сумме это привело к тому, что для авторов с высокой репутацией вероятность того, что статью примут, примерно на 5 — 10 процентов выше, чем для авторов с низкой репутацией при той же оценке рецензентов. По мнению авторов исследования, это говорит о предвзятости редколлегий научных журналов по отношению к менее известным ученым.
При этом ученые отмечают, что у полученных результатов возможны и иные трактовки, которые не настолько критичны по отношению к редакторам журналов. Кроме того, в работе была рассмотрена совсем маленькая выборка журналов, ограниченных всего одной научной областью. Чтобы избежать вопросов предвзятости по крайней мере со стороны рецензентов, часто предлагают активнее использовать схему двойного слепого рецензирования, при которой ни автор статьи, ни рецензент не знают имен друг друга. Это позволит повысить объективность оценки работы вне зависимости от репутации ученого.
Стоит отметить, что работа рецензента, мало того, что не всегда в полной мере учитывается при принятии решения о публикации, еще и практически никогда не оплачивается. Чтобы хоть как-то поддержать работу ученых по рецензированию статей, сотрудники Высшей школы экономики в 2016 году году собрали средства на памятник анонимному рецензенту, а в 2017 — открыли его во дворе одного из своих корпусов.
Александр Дубов