Гости из будущего

Человечество делегирует машинному обучению все больше обязанностей, однако принимаемые алгоритмами решения не всегда идеальны с точки зрения этики. К примеру, одна из насущных задач в современной практике применения ML — это автоматизация кредитного скоринга, оценки способности человека выплачивать кредит. Если потенциальный клиент, согласно предсказанию модели, не сможет выплатить кредит, банку лучше вообще его не выдавать.

Сами нейросети не имеют предубеждений — неэтичные наклонности у них появляются из-за особенностей используемой выборки данных. Если в датасете 90 процентов людей это мужчины с хорошей кредитной историей, а 10 процентов — женщины, за которыми числятся невыплаты, то в таком случае усредненный «привлекательный» заемщик будет иметь больше черт мужчины, а не женщины. И такой результат может быть никак не связан с реальной кредитоспособностью человека. Постепенно алгоритмы учат избавляться от предвзятости, например, накладывая на их работу ограничения (1, 2).

Категории этичного поведения сложно формализовать и объяснить математическим языком. Как растолковать машине, какие действия человек может считать некорректными? На данном этапе для контроля поведения нейросетей требуется человеческий взгляд: необходимо понимать, на каких допущениях основывается алгоритм, как именно принимает решения и что можно сделать, чтобы скорректировать его ошибки. И, по всей видимости, в обозримом будущем ничего не поменяется. Поэтому профессия нейросетевого психолога — человека, профессионально занимающегося вопросами этичности нейросетей и использующего технологии, обеспечивающие прозрачность и беспристрастность алгоритмов — будет чрезвычайно актуальна.

Специалист, профессионально занимающийся этикой искусственного интеллекта, должен не только представлять, как устроена нейросеть, но также иметь представление об основных типах статистических отклонений в датасетах и знать, как их можно устранить.

Дмитрий Сошников, ведущий эксперт Microsoft в области искусственного интеллекта и машинного обучения:

Проблема этичного обучения нейросетей действительно стоит достаточно остро, поскольку бывает сложно заметить, что решения нейросети предвзяты — ведь мы получаем хорошую точность на обучающем и даже на проверочном датасете. Поэтому требуется вмешательство человека, который вручную, в соответствии со своим пониманием задачи, сможет увидеть дисбаланс.

Для упрощения этой задачи Microsoft предлагает специальные инструменты для аудита моделей машинного обучения. Платформа Azure Machine Learning позволяет контролировать процесс разработки нейросетей, интерпретировать и объяснять их поведение с помощью набора инструментов InterpretML. А с помощью Microsoft Fairlearn разработчики могут оценить сбалансированность и репрезентативность подаваемой на вход обучающей выборки и сразу вносить поправки в модель.

Также важно не забывать про этику использования ИИ. Например, нельзя полагаться исключительно на искусственный интеллект при принятии серьезных решений — таких, например, как постановка врачебных диагнозов. Поэтому в Microsoft существует комитет AETHER, занимающийся этикой искусственного интеллекта. Этическая комиссия Microsoft обязательно рассматривает все проекты, связанные с ИИ, и в некоторых случаях даже отменяет сделки, если использование технологий в них противоречит нашим принципам.

Умные технологии все глубже интегрируются в окружение человека посредством IoT — интернета вещей. Кроме того, что умные устройства облегчают человеку жизнь, это может послужить причиной большей уязвимости и обернуться негативными последствиями. Чтобы обеспечить безопасность «умного» окружения и быть уверенным в том, что за комфорт не придется платить украденными данными, необходимо обеспечить надежную защиту всей личной цифровой экосистемы. А защищены IoT-устройства действительно очень слабо. Согласно отчету CyberX IoT Security, до 70 процентов IoT устройств используют неподдерживаемые операционные системы. Две трети из них в принципе никогда не обновлялись. При этом более половины устройств доступны через SSH или удаленные рабочие столы. В будущем распространенность IoT только вырастет, и обеспечивать безопасность человека смогут Safe Space менеджеры. Такие специалисты установят надежные пароли, проследят за утечками личной информации и проверят на уязвимости ПО на всех устройствах в доме.

Технологии противодействия взломам совершенствуются. Сегодня злоумышленнику гораздо сложнее получить доступ к компьютеру жертвы с помощью атак на техническую инфраструктуру. Причина тому — активное развитие биометрических технологий идентификации, позволяющих опознать человека по его биологическим характеристикам, которые практически невозможно подделать, например, по лицу или отпечатку пальца. Повышает защищенность также и многофакторная аутентификация, которая требует от пользователя предоставить более одного доказательства личности, чтобы открыть доступ к устройству или аккаунту. В сочетании с биометрическими паролями такие средства защиты формируют устойчивые системы, которые чрезвычайно сложно взломать. Именно поэтому преступники чаще используют методы социальной инженерии. Одним из самых активно используемых методов является фишинг — рассылка электронных писем злоумышленниками от лица популярных брендов, коллег или родственников, содержащих ссылки, ведущие на поддельные сайты. Внешне они практически неотличимы от настоящих, и люди добровольно оставляют там личные данные.

В будущем физическим лицам, как и компаниям, потребуется человек, знающий, где искать слабые места и какой может быть профилактика взлома. Уже сегодня инструменты Microsoft 365 позволяют симулировать фишинговую атаку на компанию, для проверки готовности сотрудников, а система Azure IoT позволяет пользователям контролировать собственные IoT-данные, устройства и приложения, чтобы обеспечивать их защищенность.

Safe Space менеджер должен обладать обширными техническими знаниями в области кибербезопасности, быть знаком с основными протоколами защиты данных, системами предупреждения вторжений и мониторинга угроз. Такой специалист также должен быть в курсе всего происходящего в области IoT и следить за новыми протоколами безопасных аутентификаций, в частности, за деятельностью альянса FIDO2.

Артем Синицын, руководитель программ информационной безопасности Microsoft в Центральной и Восточной Европе:

Подобная профессия в каком-то смысле существует уже сейчас. Люди с обширным цифровым присутствием могут заказать «персональный пентест» — проверку собственных аккаунтов на защищенность. Распространен также поиск персональных данных по открытым источникам — так называемый OSInt (от английского open source intelligence). В основном такие услуги пользуются популярностью среди бизнеса, но фокус может сместиться в сторону коммодитизации (превращение в продукт массового потребления — прим. N + 1), и услуга станет более популярной среди для обычных пользователей.

Не всякую кибератаку можно предотвратить. Если самое страшное уже произошло, инфраструктура взломана, а данные — украдены, необходимо расследовать инцидент, устранить его причины и найти виновных. Заниматься этим в будущем будут цифровые детективы-кибераналитики. Такие специалисты будут проводить расследования кибератак, собирать данные по устройствам в своих зонах ответственности и отвечать за их безопасность.

Кибератаки с каждым годом усложняются и становятся более массовыми. Одной из самых распространенных разновидностей атак на компании до сих пор является DDoS — вывод системы из строя за счет большого числа запросов, отправляемых с зараженных устройств (ботнетов). Но появляются и новые: например, «атаки на цепочки поставок» (supply chain attack). Такая атака компрометирует крупные организации за счет взлома продуктов более мелких и менее защищенных компаний из цепи ее поставщиков. Как правило, вредоносные программы интегрируются в часть инфраструктурного ПО, которое в обязательном порядке устанавливается в качестве компонентов крупных программ.

Supply Chain Security и DevSecOps — важнейшие темы на рассмотрении лучших специалистов в индустрии. Одной из ключевых задач является не просто разработка процессов и протоколов реакции на инциденты, но и разработка и доработка новых и существующих инструментов в соответствии с новыми вызовами. Многие проблемы в данном случае решаются автоматизацией процесса разработки, тестирования и поставки ПО, а также интеграцией с партнерскими решениями. Так, GitHub Actions и Azure DevOps предоставляют возможность выстроить поэтапный автоматизированный процесс, на каждом из которых можно подключить внешний инструмент — в том числе лидеров индустрии безопасности, таких как Trend Micro Cloud One Container Security, Aqua Security Trivy и многих других. Количество киберугроз увеличивается, их сложность растет, и обеспечить безопасность может только симбиоз бизнеса и IT. Специалист нового времени должен уметь не просто настроить инструменты, но и связать нужды всех важных участников процесса разработки и поставки ПО.

Для мониторинга киберугроз все чаще используются методы машинного обучения. В отличие от человека, алгоритмы способны отслеживать угрозы круглосуточно и ежедневно. Однако в полной мере алгоритмы не заменят человека никогда: при всей успешности автоматизации аналитики киберугроз, человеческий фактор всё ещё будет играть ключевую роль. Киберохотник в своей ежедневной работе будет использовать инструменты для анализа угроз, агрегирующие данные о последних происшествиях, анализировать их и предпринимать действия по обеспечению безопасности. Уже сейчас подобный функционал частично реализован в службе M365 Advanced Threat Protection. Похожим функционалом обладает служба GitHub Advanced Security, позволяющая искать потенциальные уязвимости в кодовой базе проекта и отслеживать скомпрометированные зависимости.

Кибердетективы будущего должны обладать обширным бэкграундом в области кибербезопасности, знать и понимать основные тактики, техники и процедуры (TTPs), применяемые киберпреступниками. Специалисты, представляющие эту профессию, должны уметь работать с SIEM, анализировать журналы безопасности, понимать основные концепции шифрования. Кроме того, кибердетектив обязан иметь представление о юридических аспектах кибербезопасности, не только российских, но и международных стандартах защиты.

Артем Синицын, руководитель программ информационной безопасности Microsoft в Центральной и Восточной Европе:

В современной кибербезопасности специалистам нужно уметь работать с данными. Низкоуровневая обработка сигналов уже сейчас реализуется с помощью методов машинного обучения — таким образом Microsoft ежедневно обрабатывает более восьми триллионов сигналов. Один из наиболее важных трендов в современной кибербезопасности — это её «гитхабификация», то есть «обобществление» данных об угрозах. Кибербезопасность — отличный пример области, где вне зависимости от размеров компании один в поле — не воин. Поэтому эффективность защиты сильно зависит от коллабораций по по сбору, обмену, анализу и классификации сигналов, индикаторов и угроз между компаниями. Обмен данными реализуется с помощью threat intelligence фидов, своего рода лент новостей о киберугрозах. За счет единого унифицированного формата они позволяют наиболее эффективно обмениваться информацией, а также предупреждать и противодействовать современным угрозам.

Ученые давно пользуются статистическими методами, чтобы совершать открытия. В начале XVII века Иоганн Кеплер проанализировал астрономические измерения датского астронома Тихо Браге. Это привело к формулировке законов движения планет и впоследствии позволило Исааку Ньютону сформулировать закон всемирного тяготения. В середине XX века статистика помогла пионеру в области биоинформатики Маргарет Оукли Дейхофф секвенировать белок и проложить дорогу к секвенированию генома. Уже тогда в ранних исследованиях, столкнувшись с растущим объемами информации, ученые использовали компьютеры — однако уровень развития технологий не позволял работать с действительно большим количеством данных.

С конца 1990-х методы машинного обучения начинают активно развиваться, появляются новые архитектуры нейросетей и способы их обучения — обучение с подкреплением, сверточные и генеративные нейросети, трансферное обучение. Сегодня ИИ активно применяется в самых разных науках: от астрономии и биоинформатики до фармацевтики. Так, проект Deep Mind разработал нейронную сеть AlphaFold 2, которая предсказывает трехмерную структуру белка по последовательности аминокислот. С помощью машинного обучения астрономические данные, полученные в ходе наблюдений миссией «Кеплер», очищаются от артефактов и повторно анализируются — благодаря этому ученые сумели обнаружить 17 новых кандидатов в экзопланеты. Компания Novartis совместно с Microsoft использует ИИ, чтобы найти новые способы усовершенствовать и ускорить разработку лекарственных препаратов.

Обработать результаты современных физических или астрономических экспериментов силами одной только команды ученых зачастую невозможно. Наука становится все более сложной, поэтому инструменты, позволяющие облегчить задачу, востребованы как никогда: целые компании заточены под разработку нейросетей под нужды ученых. Однако разработки эти, как правило, только ассистируют людям. Часть научного общества считает, что в дальнейшем использование ИИ расширит границы традиционной науки.

Вполне возможно, что в будущем нейросети будет совершать научные открытия или с новой стороны открывать то, что уже известно науке, значительно чаще. Так, в эксперименте ученых из Швейцарской высшей технической школы Цюриха алгоритм сумел вывести физические законы из набора данных, переоткрыть гелиоцентрическую модель Солнечной системы и вычислить закон сохранения импульса.

Когда-нибудь ученые будут задавать алгоритму верное направление, а затем наблюдать за ходом исследования, перенаправляя его усилия в нужную сторону — совсем без участия человека даже в будущем обойтись нельзя. Для разработки нейросети-ученого, способного провести исследование от и до, потребуется специалист, способный написать креативный алгоритм, который будет оперировать сотнями формул и множеством научных законов. Такой человек должен хорошо разбираться в научном предмете (или привлекать консультантов) и методах машинного обучения.

Артур Залевский, к.б.н, зам. декана Факультета биоинженерии и биоинформатики МГУ им. М.В. Ломоносова:

Нейросети — всего лишь вычислительный инструмент. Они могут заменить и уже заменяют линейных сотрудников, если вам, допустим, нужно разметить изображение после микроскопии — здесь нейросети безумно хороши. Но живых исследователей, которые задают вопросы, они не заменят, думаю, никогда.

На мой взгляд, ключевой недостаток современных методов машинного обучения, и преимущественно нейросетей, что касается их применения в науки, а именно в биологии — это очень плохие данные для обучения. Сегодня мы видим исключительно то, что прошло естественный отбор, выжило спустя миллионы лет эволюции. И если не прикладываем большие усилия, то не можем увидеть отрицательный контроль: что не сработало и не получилось. Нейросети тренируются только на удачных примерах, поэтому ответить на вопрос о том, какова вероятность, что нечто не сработает, не могут. Это мешает их повсеместному внедрению в биологии.

Будущее, где нейросети самостоятельно совершают открытия, бесконечно далеко. Возможно, этого не случится никогда. Где они могут помочь людям? Как бы это парадоксально ни звучало — там, где нейросети справляются плохо. Как правило, когда ученые делают предсказания на нейросетях, они радуются высокой точности и специфичности — 97, 99 процентов. Об оставшемся проценте все забывают. Он никому не интересен. Но потенциально именно там не шум и не грязь, а новые сложные вещи, которые нейросеть, используя общие известные закономерности, объяснить не может. Как только они смогут предсказывать все вокруг — думаю, лет через 10 или даже через 5 это случится — с помощью нейросетей можно будет картографировать белые пятна биологических данных.

Генеративным искусством называется форма искусства, частично или полностью созданная с использованием компьютерных технологий. Обычно результат зависит от генераторов случайных чисел или работы генеративно-состязательной нейросети (GAN) — благодаря этому на выходе изображение получается непредсказуемым. Один из самых известных примеров такого генератора — игра «Жизнь» (Conway’s game of life): заполненные (живые) и пустые (мертвые) клетки согласно двум простым правилам меняют свою конфигурацию на бесконечной плоскости. Подробнее об этой игре можно почитать в нашем материале. Оказалось, что даже простая система способна порождать интересные самовоспроизводящиеся паттерны.

Сегодня генеративные модели используются, например, в дизайне: студия Артемия Лебедева выпустила генеративную нейросеть Николай Иронов, способную генерировать логотипы и разрабатывать айдентику. Разработчики Яндекса создали музыкальную группу «Нейронная оборона», тексты песен которой целиком написаны нейронной сетью на основании текстов «Гражданской обороны». В проекте «The Next Rembrandt», созданном при участии Microsoft, специалисты использовали алгоритмы глубокого обучения и мощности платформы Microsoft Azure, чтобы проанализировать сотни картин Рембрандта, выделить основные элементы его уникального стиля и создать портрет, будто нарисованный самим художником. Также ИИ Microsoft создал картину по мотивам песни группы «Альянс» «На заре» в стиле Василия Кандинского.

Библиотеки для создания генеративного искусства существуют во многих языках программирования: например, это тулкит openframeworks для C++ или библиотека processing для Python и JS. Иногда интересные идеи возникают на стыке использования нейросетевых когнитивных сервисов и классических инструментов машинного зрения, например, с помощью Microsoft Face API работает техника когнитивного портрета.

Тем не менее, вопрос о том, можно ли считать генерируемые алгоритмами картины настоящим искусством и какое место они занимают в арт-мире, остается открытым. Кого считать автором работы, если большая ее часть сгенерирована алгоритмом, опирающимся на случайность? Можно ли считать генеративной работу, созданную при помощи вспомогательных программ? В какой момент человеческое «Я» переходит в машинное?

Критик интерпретирует и оценивает произведения искусства, основываясь на собственной профессиональной экспертизе. Оценки критиков влияют на известность художественного произведения и его коммерческую успешность: именно от критиков зависит, где будет выставляться картина и как много людей в результате посетит выставку. Художественная критика, по всей видимости, не формализуема: невозможно объяснить машине, по каким объективным причинам одно произведение искусства лучше другого. Поэтому эту задачу нельзя поручить другой нейросети.

Критик генеративного искусства и сам обладает знаниями в разработке и методах машинного обучения, поскольку должен смотреть не только на художественные качества, но и на техническое исполнение: качество и сложность алгоритма.

Вадим Эпштейн, московский медиа-художник, теоретик и практик современного цифрового искусства:

Искусством, как правило, называют две вещи: (1) творчество как персональный метод познания и развития, (2) арт-институции как социально-экономическое явление. Первое абсолютно индивидуально, найти в нем объективно общие принципы можно разве что на уровне философии. Второе — просто разновидность бизнеса, с жестко фиксированными правилами и профессиями (критик — одна из них). Цепляясь за вековую кастовость и монополию на ярлык «настоящего искусства», подобные институты поддерживают иллюзию своей важности.

В современном мире, однако, области применения творчества куда шире, чем традиционные галереи и выставки. Более подходящее название — креативные индустрии — охватывает также рекламу, геймдев, блоги, хакерство, активизм, и кучу других занятий, зачастую куда более глубоких, тонких и захватывающих. Генеративное творчество широко и успешно применяется в этих областях, и у каждой из них своя специфика со своими профессиями. Задумываясь о грядущих перспективах, имеет смысл ориентироваться на подобные свежие модели, не обремененные замшелыми традициями.

Следует также отметить несколько важных нюансов генеративной практики в целом.

1. Ее суть — создание процессов вместо объектов. Возможности для этого не ограничиваются пакетами ML; более того, и компьютер не обязателен — бывают биологические и даже геологические генеративные системы.
2. В терминах и понятиях общечеловеческого эгоизма, любые нынешние алгоритмы — максимум экзоскелет, многократно усиливающий возможности человека, но не заменяющий его как инициатора со своей волей и желаниями. Возможно, это изменится с появлением AGI («сильного» ИИ), но скорее мы просто поменяем формулировки, чтобы опять остаться на коне (в том числе в вопросах авторства, личности и т.п.).
3. Умные машины — хорошая иллюстрация для лучшего понимания себя и своего места в мире, который не крутится вокруг нашей личной иерархии. Не стоит пренебрегать возможностью это понять.