Один из алгоритмов, которые используются в американских больницах для определения сценариев лечения пациентов, оказался предвзят в отношении расы: темнокожим и белым пациентам он назначает одинаковый уровень риска развития определенных состояний даже при том, что темнокожие пациенты в среднем значительно менее здоровы. Причиной тому оказалось то, что для определения здоровья пациентов алгоритм использует траты на медицинские услуги. Статья с описанием работы опубликована в Science.
Один из очевидных плюсов использования автоматических систем для анализа информации — отсутствие человеческого фактора, который очень часто влияет на результат. Яркий пример — часто встречающаяся в медицинской диагностике ошибка «удовлетворения поиска»: обнаружив, например, на рентгеновском снимке один перелом, специалист может не заметить второй. Алгоритмам компьютерного зрения такая ошибка не грозит.
Другой пример — анализ различных анкет людей: например, при приеме на работу или для оказания необходимой медицинской помощи. По сути, алгоритмы, которые специализируются на таком анализе, должны быть непредвзяты и работать без дискриминации по какому-либо признаку. На деле же работа таких алгоритмов все равно основывается на данных, собранных людьми, и предвзятости ей не избежать: стоит, к примеру, вспомнить историю с алгоритмом анализа анкет при приеме на работу от Amazon, который обвинили в сексизме.
При этом предвзятость может возникать даже в тех случаях, если алгоритм напрямую не обращается к таким параметрам, как пол или раса. Это в новой работе показали ученые под руководством Зиада Обермейера (Ziad Obermeyer) из Калифорнийского университета в Беркли. Они проанализировали данные о более 50 тысячах пациентов, которые используются в одной из медицинских компьютерных программ, которая автоматически назначает возможные пути лечения хронических заболеваний.
Авторы работы выяснили, что, согласно работе алгоритма, у темнокожих людей хронических заболеваний на 26,3 процента больше, чем у белых: другими словами, их здоровье в выборке значительно хуже. Если говорить о конкретных заболеваниях и состояниях, то среди темнокожих выше кровяное давление и уровень холестерина, а также хуже состояние при диабете. Интересно, что такая связь наблюдается при любых отношениях рисков: другими словами, с одинаковым риском развития каких-либо состояний, заболеваний и смерти у темнокожих пациентов здоровье значительно хуже. Это, в свою очередь, приводит к тому, что белые пациенты при относительном здоровье по сравнению с темнокожими получают больше специальной медицинской помощи.
Интересно, что раса в работе алгоритма не учитывается совсем — при этом предвзятость все равно возникает. Проанализировав работу алгоритма, ученые выяснили, что, рассчитывая риски заболеваний и необходимость лечения, система в первую очередь учитывает траты на лечение. С одной стороны, это разумно: тяжелые состояния требуют более дорогостоящего лечения. С другой стороны, меньшие траты на медицинские расходы отражают социоэкономический статус и уровень жизни пациентов, которые у темнокожих могут быть ниже.
В самой работе не сообщается, о каком именно алгоритме идет речь. Тем не менее, The Washington Post утверждает, что речь идет об одной из программ медицинской компании Optum: на это же указывается и в редакционной заметке журнала Science. В статье авторы отмечают, что не имели никаких контактов с представителями компании вплоть до публикации работы, но уточняют, что им удалось поработать с разработчиками и снизить расовую предвзятость в его работе на 84 процента.
Предвзятость работы алгоритмов по причине предвзятости самой выборки иногда на руку: например, в прошлом году ученым удалось на большом корпусе текстов отследить, как менялось отношение к женщинам и азиатам.
Елизавета Ивтушок