Взаймы у природы

Человеческий мозг — самая сложная и эффективная вычислительная система, а воссоздание человеческого интеллекта было одной из величайших целей человечества во все времена. Сегодня инженеры Росатома вместе с учеными работают над созданием нейроморфных (то есть заимствующих подходы из биологии) систем искусственного интеллекта. Но разве нейросети уже не нейроморфные сами по себе? Оказывается, что нет. Вместе с научно-просветительской платформой Homo Science рассказываем, какие секреты биологического мозга ученые могут использовать для создания более быстрых, умных и обучаемых нейросетей.

По образу и подобию

В 1937 году Джон Захари Янг описал механизм передачи электрохимических сигналов нейронами на примере гигантского аксона кальмара. После войны идеями строения мозга вдохновлялся отец современных вычислительных систем физик и математик Джон фон Нейман, а нейрофизиолог Фрэнк Розенблатт создал первую искусственную нейросеть — перцептрон, который состоял из связанных друг с другом нейронов.

Правда, каждый нейрон перцептрона был не сложной и развивающейся во времени живой клеткой, а математической функцией, которая выводила сигнал в зависимости от результата суммирования входных сигналов. Перцептрон состоял всего из трех слоев, между которыми все нейроны были связаны друг с другом, в отличие от структуры нейронных связей живого мозга, которая настолько сложна, что ученые до сих пор способны описывать только маленькие ее кусочки.

По мере развития классических нейросетей программное описание нейронов абстрагировалось, их функции активации изменялись, увеличивалось количество слоев и менялись подходы к настройке связей между ними. Однако фундаментальная идея оставалась той же, поэтому нейросети, состоящие из связанных друг с другом математических функций, очень отдаленно напоминали человеческий мозг. Но и не будучи в большой степени нейроморфными, благодаря появлению мощных видеокарт, которые оказались способны быстро производить необходимые для работы нейросетей вычисления, они выросли в современные системы ИИ, которые умеют многое: распознавать и рисовать картинки, писать и переводить тексты, обыгрывать людей в сложные игры.

Требовательный интеллект

Но добившиеся на сегодняшний день успеха модели обладают своими недостатками. Например, они работают тем лучше, чем они больше. В последние годы размер моделей удваивается каждые несколько месяцев. Параметры в мощных моделях, таких как GPT-3, которая способна писать небольшие тексты практически на человеческом уровне, исчисляются уже сотнями миллиардов. Кроме этого, такие модели требуют огромного количества данных для обучения. GPT-3 обучали на корпусе текстов, собранных со всего англоязычного интернета. На одной, даже очень мощной видеокарте обучение такой модели заняло бы сотни лет, а аренда мощностей, которые позволят обучить одну версию GPT-3, стоит около 4,5 млн долларов.

Энергопотребление Tesla V100 — 250 ватт, 18,5 тысяч таких видеокарт за неделю потратят 777 МВт*ч электроэнергии, а это мощность порядка средней ТЭЦ (например, мощность Московской ТЭЦ-16 — 651 МВт). Если конвертировать такую энергию в выбросы CO₂, получится 273 тонны (с коэффициентом по России), 5000 автомобилей за неделю выбрасывают меньше. Но даже если закрыть глаза на огромную стоимость и вред, приносящийся экологии, такие затраты просто расточительны. Человеческий мозг способен на одновременное выполнение многих задач, на каждую из которых потребуется по большой нейросети, а также на многое, чего нейросети пока вообще не могут: от способности одинаково хорошо справляться с различными категориями задач до формирования сознания. При этом мозг потребляет около 20 ватт энергии. Обычно это в тысячу раз меньше, чем нужно для одной видеокарты, не говоря уже о целом дата-центре.

У мозга есть и другие преимущества перед нейросетями с классической архитектурой. В то время как GPT-3 требует десятки терабайт текста, чтобы научиться их писать, человеку достаточно несколько учебников и рабочих тетрадей для начальной школы. Да и в принципе учиться люди умеют намного лучше: если классическую нейросеть обучить сначала одной задаче, а потом другой, то после окончания второго раунда «обучения» она полностью забудет все, чему научилась на первом, — таковы особенности классических методов обучения нейросетей. Люди же довольно неплохо умеют сохранять знания между разными задачами, и только устройство самого мозга может подсказать нам, как этого добиться.

Поэтому современные исследователи ИИ все чаще используют нейроморфные подходы как для создания оптимизированного для работы ИИ железа, так и в целом для разработки новых подходов к созданию нейросетей.

Что позаимствовать у мозга?

Классические нейросети работают очень похоже на обычные компьютеры. Каждый нейрон можно описать всего несколькими числами, задающими наличие и важность входящих сигналов. На следующем шаге вычислений на основе этих чисел функция активации определяет для каждого нейрона, считается ли его исходящий сигнал включенным или нет. И в результате каждый нейрон классической нейросети обсчитывается на каждом вычислительном шаге компьютера.

Мозг работает по-другому. Каждый нейрон — это самостоятельная клетка, которая реагирует на количество поступающих к ней от других нейронов нейротрансмиттеров и только в ответ на достаточное их количество посылает сигнал следующим нейронам.

Таким образом, важнейшее свойство мозга, которое может повысить энергоэффективность нейросетей, — это импульсный характер передачи информации, то есть передача сигналов в виде последовательности импульсов во времени. При этом каждый импульс не имеет никаких других свойств, кроме времени отправки. Благодаря этому работа нейрона в такой системе сводится к простым реакциям на приход спайков, и реализовать их обработку можно в виде очень простой цифровой или аналоговой схемы.

Импульсы — это тот тип информации, с которым работают живые мозги, а значит, импульсным нейроморфным системам будет не просто легче работать с данными в импульсном виде — возможно, они смогут подключаться к мозгу через нейроинтерфейсы и работать с его сигналами напрямую.

Импульсный формат позволяет более эффективно обращать внимание на то, как информация изменяется со временем, и быстрее принимать решения. Нейроморфный ИИ, как и наш мозг, не будет ждать «всей информации», прежде чем принять решение, — он будет действовать с учетом имеющихся данных и корректировать поведение при появлении новых.

Из импульсного подхода следует и второе свойство нейроморфных систем — разреженность:

• В импульсных нейросетях работают не все нейроны одновременно, а только те, которые принимают или посылают импульс в конкретный момент. Это называется пространственной разреженностью и позволяет значительно экономить энергию по сравнению с классическими нейросетями, в которых нейроны работают всегда.
• Так как в получаемых последовательно данных, особенно если это картинка с камеры, большая часть информации между кадрами не меняется, можно обрабатывать только изменения между кадрами. Это называется временной разреженностью данных, она позволяет значительно снижать объем передаваемой информации и делать энергоэффективные устройства компьютерного зрения.
• Также эффективность работы нейросетей можно повысить за счет структурной разреженности. В мозгу человека примерно 87 миллиардов нейронов, но один нейрон в среднем связан только с 5 тысячами других, и это не снижает, а повышает качество работы мозга. Известно, что классические нейросети сохраняют точность работы после отключения более 90 процентов связей между нейронами. Для импульсной нейросети такая разреженность повысит не только вычислительную, но и энергетическую эффективность.

Наконец, еще одна особенность мозга — параллелизм работы независимых или слабо связанных друг с другом сетей. Еще в конце 1980-х годов ряд ученых выдвинули предположение, что для эффективной работы искусственных нейросетей потребуются массивно параллельные архитектуры. Правда, у таких архитектур есть проблема: затраты на синхронизацию параллельных вычислений быстро растут вместе с количеством вычислителей, что ограничивает выгоду от параллелизма. А вот биологические нейроны очень легко обходят эту проблему, потому что их работа не синхронизирована.

Искусственные импульсные нейроны также могут работать независимо. В будущем такая асинхронность позволит эффективнее решать с их помощью сложные задачи через использование параллелизма.

Счет в уме

Биологические нейроны обладают еще одной важной особенностью: они одновременно являются и вычислительными устройствами, и устройствами памяти, которые хранят информацию о силе синаптических связей с другими нейронами и концентрации нейротрансмиттеров разных типов в каждом синапсе.

Компьютеры на уровне железа работают наоборот. В них память четко отделена от процессора, и при вычислении искусственных нейронов самой долгой операцией оказывается как раз перемещение всей нужной информации между ними.

Для того чтобы реализовать эту особенность человеческого мозга — возможность вычисления в памяти, — используют либо аналоговые, либо гибридные цифровые системы. В гибридных системах много нейронов одновременно вычисляется на одном из многих параллельных процессоров, каждый из которых обладает собственной памятью. В аналоговых системах каждый нейрон обрабатывается собственной электрической схемой. Такие схемы часто используют особые электрические элементы — мемристоры, которые способны изменять свое сопротивление в зависимости от протекающего через них электрического заряда и тем самым выполнять функцию встроенной в вычислительную схему памяти. Вычисления в памяти избавляют систему от конкуренции за доступ к памяти и позволяют не тратить большое количество ресурсов на частый перенос промежуточных данных между памятью и процессором.

Еще одной особенностью классических нейросетей, которая отличает их от мозга, является метод их обучения. Оно работает через обратное распространение коррекций силы связей между нейронами по всей сети после вычисления того, как и насколько сильно сеть ошиблась. Использование этого метода в мозге предполагало бы наличие не только единого центра, следящего за этими исправлениями, но и второго канала связи между нейронами, по которому сигнал мог бы проходить в обратную сторону для коррекции весов связей.

В биологии такого нет: нейроны проводят сигнал только в одну сторону и не имеют единого центра исправления ошибок. Реализовать такое обучение в нейроморфных нейросетях можно через локальное обучение. Наиболее популярный подход к такому обучению называется STDP (spike timing dependent plasticity). Его идея состоит в том, что синапсы, на которые сигналы пришли незадолго до генерации импульса нейроном, усиливаются, а синапсы, получившие импульс вскоре после этого, ослабляются. При таком подходе коррекция весов сети происходит за один проход сигнала по сети. В перспективе это позволит дешевле и эффективнее обучать большие модели.

Цели на будущее

У мозга есть и другие свойства, которые мы хотели бы использовать в системах ИИ, но пока не понимаем их природы в достаточной степени, чтобы воплотить в искусственных нейросетях.

Например, мозг умеет одновременно обрабатывать и объединять в единую картину информацию разных типов, получаемую от разных органов чувств. Ему не нужны огромные количества данных, чтобы чему-то научиться: ребенок по одной картинке запоминает, что такое кошка, а системам ИИ нужны десятки и сотни тысяч изображений. Есть гипотеза, что мозгу это удается через формирование идей и абстрактных понятий, но как воплотить такую систему в ИИ — пока никто не знает. Кроме того, в процессе обучения наш мозг не только изменяет силу связей между нейронами, но и в принципе способен трансформировать топологию сети: обрывать одни связи между нейронами и проращивать новые — в науке этот процесс называют взрослением. Искусственные нейроны такого пока не умеют.

Несмотря на то что мы все еще многого не понимаем, нейрофизиология сегодня является ценнейшим источником информации для разработчиков систем ИИ, так же как она была для них вдохновением больше полувека назад. Внедрение свойств мозга в искусственные системы уже не раз давало толчок развитию систем ИИ и сделает это еще не раз, потому что сложность и эффективность устройства человеческого мозга все еще намного превосходят наши нейроморфные системы. Нам предстоит еще много циклов внедрения в наши интеллектуальные системы все более тонких и сложных идей, которые природа разработала в процессе эволюционного развития мозга.

Реклама: ЧУ «Центр коммуникаций», ИНН 9705152344