Большие языковые модели лучше людей обнаружили методологические ошибки в клинических исследованиях
Результат в 99 процентов показала Opus 5.5
Ученые из Канады, Сингапура и США проверили 15 больших языковых моделей на предмет обнаружения методологических ошибок в научных статьях, посвященных клиническим исследованиям, и выяснили, что доля их обнаружения, в среднем, составляет от 53 до 99 процентов, в то время как у человека она достигает около 27 процентов. Самый высокий показатель обнаружения серьезных ошибок — 99 процентов — показала модель Opus 5.5. Результаты исследования опубликованы на портале препринтов medRxiv.org.
Исследование возглавил Руслан Руст (Ruslan Rust) из Университета Южной Калифорнии. Сначала ученые составили два набора рукописей. В первую вошли статьи, в которых 607 рецензентов-людей выявили методологические ошибки. Чтобы снизить риск запоминания моделей, второй набор состоял из рандомизированных исследований, опубликованных в 2026 году, которые содержали те же 14 типов ошибок, что и в первом наборе. Две наиболее продвинутые языковые модели — Fable 5 и Opus 5 — выступали в роли слепых судей и оценивали каждую рецензию по фиксированному ключу ответа. Среднее время просмотра у всех моделей варьировалось от 1,4 до 16,3 минуты. Модель GPT-6.1 Sol и GPT-6 Luna достигли доли обнаружения ошибок 94 и 86 процентов соответственно.
От редактора
Автор этой новостной заметки, будучи медицинским журналистом, был бы рад использованию учеными языковых моделей, которые помогали бы находить неточности в структуре и фактологии научных статей. Судя по этой работе, пока что они могут лишь обращать внимание на важные моменты, за которыми авторам стоит следить внимательнее: оценка и валидация эффекта лечения, предвзятое распределение на группы, этическое одобрение. Поскольку каждая статья это, в некотором роде, авторская и неповторимая работа (хотя и созданная по правилам и шаблонам), всегда будет существовать риск подобных ошибок. Причем факт обнаружения ошибки в статье не говорит о том, что в самом исследовании тоже есть принципиальные неточности. Поэтому стоит относиться к моделям скорее как к функции проверки орфографии в текстовом редакторе, нежели как к полноценной альтернативе рецензентам.
Сканер планируется продвигать как спа-салон
Компания Midjourney показала сканер для ультразвуковой компьютерной томографии всего тела. Устройство представляет собой резервуар с водой, куда обследуемый погружается на платформе и при этом проходит через фокус кольца с множеством датчиков. Пока что разработка существует в виде прототипа первого поколения, а продвигать ее планируется как спа-салон.