Могут ли хакеры обратить во зло искусственный интеллект
Наш мир меняется и новые технологии приносят с собой не только новые возможности, но и новые опасности. Совместно с компанией «Акронис-Инфозащита» мы начинаем спецпроект, посвященный вызовам, которые бросает человеку новая реальность. Наш первый материал посвящен нейросетям. Но не тем вещам, на которые способны сами нейросети, — про это и так все пишут, — а тому, какой потенциальный вред могут принести нейросети в руках хакеров.
Образ хакера в современных медиа — это образ мага, чудотворца, у которого роль заклятий играют скрипты, вирусы и многое другое. Хакеры в одиночку, практически с телефона, способны взломать самую совершенную систему безопасности, пробиться через любой файерволл. Хакеры-преступники в этом контексте представляются злыми волшебниками, использующими современные инструменты во зло. Один из таких инструментов — это, разумеется, искусственный интеллект.
Искусственный интеллект — это зонтичный термин, включающий в себя довольно много разных инструментов, связанных с нейросетями, большими данными и машинным обучением. Чаще всего он используется для обозначения нейросети, натренированной на решение какой-либо, чаще всего интерпретационной, задачи: распознавание речи, изображений, перевод текстов с контекстом с языка на язык и так далее.
Обычная нейросеть — это в первом приближении сложно устроенная математическая функция f(x, a), которая зависит от набора аргументов x и некоторого набора параметров a. Она получает на вход данные определенного формата и выдает результат.
Создание самой простой нейросети выглядит так. Сначала определяется задача, потом выбирается тип нейросети. Дальше находится массив размеченных данных. На этих данных нейросеть обучается, то есть в автоматическом режиме подбираются такие значения параметров a, чтобы на размеченной выборке функция принимала нужные значения.
Наконец, сеть тестируется, и после этого, в принципе, она готова к работе — если на всех предыдущих этапах ничего не сломалось, если выборка была хорошей, если удалось угадать правильную архитектуру сети и так далее.
Важный нюанс: нейросети представляют собой узкоспециальный инструмент, заточенный под решение конкретной задачи. Попытки переучить нейросеть или расширить сферу ее применения приводят к тому, что она не только не обучается новому, но и «теряет» навык решения предыдущей задачи.
Судя по всему, узкая специализация — это математическое свойство, не зависящее от физической реализации этого инструмента. Это означает, что если вам требуется решить задачу, пусть и близкую, но отличную от той, которую решает имеющаяся нейросеть, то вам придется заново разрабатывать новую.
Наконец, нейросеть не программируется в привычном понимании этого слова. Это означает, что проверка теоретической корректности полученного результата (как проверка алгоритма в программе) требует создания новых методов, инструментов. Иными словами, вопрос безопасности работы — а под безопасностью мы понимаем отсутствие сбоев — это нерешенная задача, для которой еще предстоит создать подходящие инструменты.
Современные хакеры имеют мало общего с тем образом профессионалов-одиночек, который представлен в телевизионных сериалах. Хакеры, занимающиеся противоправными действиями, в массе своей входят в организованные преступные группировки, зачастую объединяющие большое число программистов сравнительно невысокого уровня.
Их основная цель, как и любой ОПГ, — извлечение прибыли с минимальными расходами и рисками. Этим определяются основные направления работы киберпреступников: львиная доля совершаемых ими преступлений завязана на воровстве личных данных пользователей, мошенничестве и вымогательстве.
Соответственно, можно выделить пять основных типов киберугроз.
Больше половины всех киберугроз — это заражение компьютеров вредоносным программным обеспечением. Помимо привычных всем вирусов на сайтах, хакеры давно используют более любопытные технологии — например, встраивают вредоносный код в open-source проекты или заражают серверы для автоматического обновления ПО.
В последнем случае через такую систему были заражены десятки (а возможно, и сотни) тысяч компьютеров по всему миру.
Еще один тип — индивидуальные мошеннические атаки. Они подразумевают прямой контакт с пользователем с целью убедить человека отдать данные или добровольно установить то или иное приложение, содержащее вредоносный код. В подобных атаках часто участвуют живые люди, которые могут притворяться службой поддержки, сотрудниками банка и так далее.
Такие атаки подразумевают чаще всего прямое воровство денег. Иногда следствием атаки становится заражение вирусом, который кодирует данные и требует перевода денег для разблокировки (это виртуальная форма вымогательства).
Классический взлом систем
с использованием программ, скриптов и так далее. На этот вид преступлений приходится чуть меньше 17 процентов от всех киберугроз.
Часто это часть глобальной схемы — например, заражение серверов вредоносными программами. Одна из основных целей хакерских атак (помимо традиционных государственных институтов) — криптобиржи и прочие площадки, связанные с криптовалютой.
По-прежнему пользуются популярностью атаки на сайты. В основном речь идет про онлайн-магазины и прочие площадки, аккумулирующие личную информацию своих пользователей. Эти данные либо просто похищаются, либо используется схема с вымогательством.
Наконец, последний тип — это не устаревающие DDos-атаки. В июле 2019 года им исполнилось ровно 20 лет. Основная идея здесь состоит в создании сети ботов — компьютеров, готовых по команде посылать запросы на заданный сервер, перегружая его.
В СМИ довольно часто встречаются истории, указывающие на потенциальную опасность нейросетей в руках хакеров.
Считается, что нейросети сделают уже существующие угрозы более опасными:
1) Создание нейросетей, способных имитировать общение с человеком, например по электронной почте. Подразумевается, что нейросети надо продержаться достаточное время, чтобы получатель поверил, что с ним общается кто-то, кому он доверяет. При этом пользователь должен перевести «собеседнику» деньги или раскрыть частные данные.
2) HDDos или «человеческая» версия DDos-атаки. Сейчас многие системы умеют распознавать DDos-атаки и довольно эффективно с ними борются. Подразумевается, что использование не просто бот-нета для генерации запросов, а нейросетевых ботов поможет создать иллюзию, что сайт подвергся наплыву живых пользователей.
3) Преодоление систем антивирусной защиты. Считается, что нейросети помогут в заражении компьютеров вредоносными программами.
Все три сценария крайне маловероятны и откровенно фантастичны. Например, если нейросети первого типа будут созданы, то они в первую очередь пригодятся для автоматических систем маркетинга, то есть появятся в руках маркетологов. Далее, нейросети, имитирующие поведение живых пользователей, выгоднее использовать для имитации большого трафика на сайтах, чем для их обрушения. Наконец, нейросети, которые что-то там обходят — это совсем отдаленное, и не факт что реализуемое, будущее.
Есть, впрочем, и более экзотические сценарии.
В 2018 году больницы и клиники несколько раз становились целью хакерских атак. В одном случае менеджменту больницы пришлось заплатить хакерам выкуп в биткоинах, чтобы те вернули доступ к данным пациентов.
Дело в том, что в плане IT (в том числе и в плане безопасности) медицинские учреждения сильно отстают от других учреждений, имеющих дело с персональными данными. Зачастую в медицинских учреждениях используются программные продукты, которые, по мнению экспертов, уязвимы для разного рода хакерских атак.
Несколько израильских исследователей решили выяснить, какой максимальный урон медицинскому учреждению могли бы принести хакеры, вооруженные нейросетью. Для этого они придумали такой сценарий: через уязвимые программные продукты хакеры получают доступ к персональным данным пациентов, в частности к рентгеновским снимкам.
Предположим, хакеры используют нейросеть, натренированную на очень специальную задачу: «убирать» с рентгеновских снимков раковые опухоли. Подобное вмешательство в персональные данные, говорят исследователи, может иметь летальные последствия для пациентов.
Подобных статей появляется довольно много, но, как и в этой конкретной статье, в них не учитывается множество факторов.
Во-первых, нейросеть, упоминаемая в этом исследовании, может быть создана лишь при участии большого числа специалистов, причем ее необходимо тренировать на данных, полученных для специфических медицинских исследований. Не приходится ожидать, что у среднестатистической хакерской группировки окажется доступ к подобной обучающей выборке.
Во-вторых, описанный сценарий подразумевает очень дорогую и очень специальную атаку на данные. Любопытно, что в статье говорится об изменении снимков, но не других записей, например анализов пациентов. Это означает, что сами авторы работы потенциально очень сильно упрощают сложность придуманной ими атаки, нацеленной на вмешательство в медицинские данные с целью повлиять на постановку диагноза.
Неудивительно, таким образом, что большинство экспертов сходится во мнении: для текущих хакерских задач существующие нейросети не подходят из-за высокой сложности и стоимости обучения. Если новые угрозы, связанные с нейросетями, и возникнут, то исключительно вместе с новыми путями их применения.
Значит, нейросети хакерам не нужны?
Вредоносное программное обеспечение способно наносить ощутимый урон производствам. Так, WannaCry — вирус, изначально не предназначавшийся для атак на заводские системы, — привел к остановке производства на нескольких заводах Renault, а также попал в системы производства компании Nissan.
Иными словами, правильный ответ состоит из двух частей.
Во-первых, нейросети не нужны обычным хакерам, однако в промышленном шпионаже и атаках на государственном уровне они могут найти свое применение или даже уже нашли.
Во-вторых, прогресс не стоит на месте. Если сейчас работа с нейросетями — это долго и дорого, то это не значит, что так будет всегда. Появление стандартизированных библиотек, размеченных дата-сетов в открытом доступе может кардинально изменить ситуацию. И тогда преступления с использованием нейросетей могут войти в жизнь обычного пользователя. А, значит, думать об этих угрозах надо уже сейчас.
Андрей Коняев