Ученые создадут «большую красную кнопку» для выключения искусственного интеллекта
Исследователи из Оксфордского университета и лаборатории DeepMind, принадлежащей Google, начали работу над системой аварийного выключения для самообучающихся алгоритмов. Об этом сообщает Business Insider со ссылкой на Институт изучения машинного интеллекта (MIRI).
«Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то иногда может возникнуть ситуация, при которой оператор будет вынужден нажать на большую красную кнопку, чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения.»
Авторы отмечают, что самообучающиеся алгоритмы могут со временем обнаружить какой-нибудь механизм обхода или игнорирования штатной стоп-команды оператора. По словам исследователей, цель работы — создание фреймворка, который не позволит искусственному интеллекту найти способ игнорирования команды отключения.
Также «большая красная кнопка» должна гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации, а также предотвратить совершение действий, которые могут привести к «необратимым последствиям».
Вопросы безопасности, связанные с разработкой систем искусственного интеллекта, озвучивались и ранее. В 2015 году Илон Маск, Стивен Хокинг, Ноам Хомский, Стив Возняк и многие другие ученые, бизнесмены, знаменитости, исследователи и специалисты в области робототехники и искусственного интеллекта подписали открытое письмо, предостерегающее производителей оружия от создания полностью автономных боевых систем.
Кто отделил смысл сообщения от средства его передачи
Мнение редакции может не совпадать с мнением автора
Технологии связи принесли человечеству множество пользы, устранив препятствия в виде расстояний и даже языкового барьера. Однако, помимо этого, они также повлияли на наше мышление, отношения с собой и окружающим миром. В книге «Суперцветение: Как технологии разрушают общество и сводят нас с ума» («Альпина нон-фикшн»), переведенной на русский язык Марией Десятовой, исследователь технологий Николас Карр рассказывает, почему вместо того, чтобы помочь людям понять друг друга, средства коммуникации — от телеграфа в в XIX веке до социальных сетей сегодня — плодят конфликты и заблуждения. Предлагаем вам ознакомиться с фрагментом, в котором инженер Клод Шеннон, пытаясь увеличить пропускную способность телефонной сети, формулирует новую теорию связи.