Intel представила компьютер с 64 нейроморфными чипами
Компания Intel представила компьютер Pohoiki Beach с 64 нейроморфмными чипами Loihi. В них используются ядра, состоящие из искусственных синапса, дендрита и аксона, позволяющих имитировать обработку информации мозгом животных.
В последние годы многие технологические компании стали разрабатывать и применять чипы для аппаратного ускорения нейросетевых алгоритмов. К примеру, такие сопроцессоры уже устанавливаются на многие современные смартфоны. Как правило, их эффективность обусловлена общей оптимальностью архитектуры для базовых операций, часто применяемых при работе нейросетевых алгоритмов. К примеру, видеоускорители более оптимальны, чем центральный процессор, из-за эффективного распараллеливания множества однотипных вычислений. Некоторые производители применяют более прицельную оптимизацию и создают специальные процессорные блоки, оптимальные для выполнения определенных операций. К примеру, в чипе Tesla содержатся блоки для ускорения линейной ректификации (ReLU) и субдискретизации (pooling), лежащих в основе работы сверточных нейросетей.
Существует и другой подход, при котором разработчики на аппаратном, а не программном, уровне имитируют работу нейронных сетей в мозге животных. Intel представила такой процессор под названием Loihi в 2017 году. Он состоит из 128 нейроморфных ядер для работы нейросети и еще три ядра с архитектурой x86 для управления. Каждое нейроморфное ядро состоит из 1024 блоков, которые в свою очередь состоят из искусственного синапса, дендрита и аксона. Кроме того, в каждом ядре есть блок обучения, отвечающий за изменение синаптических весов на нейронах во время работы и прохождения импульсов. Как и в настоящих нейронах, искусственные нейроны производят импульс, получая на входе импульс, превышающий определенный порог. Такой процессор потенциально имеет гораздо более высокую энергоэффективность из-за отсутствия необходимости перемещать данные между процессором и памятью, также других особенностей.
Вместе с этим, алгоритмы необходимо адаптировать к такой архитектуре, поэтому Intel начала распространять образцы компьютеров на базе Loihi и теперь представила новый прототип, который будет доступен нескольким десяткам исследовательских групп. В новом компьютере содержится 64 таких чипа, которые в сумме содержат более 8,3 миллиона искусственных нейронов. Ожидается, что до конца года Intel представит новый компьютер, содержащий 768 чипов Loihi и более 100 миллионов нейронов.
Intel — не первая компания, представившая мелкосерийный нейроморфный чип. В 2014 году IBM представила чип TrueNorth, содержащий более миллиона искусственных нейронов. С тех пор компания представляла алгоритмы, адаптированные для работы на этом нейроморфном чипе. К примеру, в 2016 году исследователи из IBM адаптировали сверточную нейросеть для работы на TrueNorth, а в 2017 году его использовали вместе с событийной камерой для распознавания жестов.
Григорий Копиев
Она поможет написать письмо, план тренировки или сочинит историю
Яндекс обучил большую русскоязычную языковую модель YandexGPT и внедрил ее в своего виртуального помощника Алису. Сейчас нейросеть тестируют пользователи продуктов Яндекса, новость об этом вышла на сайте компании. Языковая модель — это нейросеть, которая умеет генерировать тексты, по очереди предсказывая каждое слово в предложении. Языковая модель YandexGPT основана на архитектуре Transformer, которую создали исследователи из Google в 2017 году. Когда в такую нейросеть загружают текст, она умеет выделять в нем важные слова и фокусировать на них внимание. Главный навык модели — хорошо понимать и запоминать тексты, и генерировать новые. Когда нейросеть осваивает этот навык, она одновременно естественным образом учится выполнять самые разные задачи, связанные с анализом текстов. Большие языковые модели основаны на архитектуре Transformer и обучены на огромном количестве данных, обычно из интернета. Они умеют создавать текст, почти не отличимый от человеческой речи. Первой успешной моделью такого типа стала нейросеть GPT от компании OpenAI. В 2022 вышла улучшенная версия модели ChatGPT. Ее не просто натренировали на большом количестве данных, но и дообучили с помощью обучения с подкреплением. Люди-эксперты работали с нейросетью в режиме диалога, показывая ей как правильно отвечать на вопросы. В надежде повторить успех ChatGPT, многие компании обучают свои языковые модели-аналоги (например, Bard от Google или Poe от Quora). Яндекс первым внедрил такую модель в виртуального помощника. 17 мая Яндекс выпустил большую языковую модель YandexGPT в открытый доступ. С ней можно пообщаться через Алису в приложении Яндекс, браузере, умной колонке или телевизоре. Чтобы активировать YandexGPT, нужно сказать: «Алиса, давай придумаем!» Языковая модель пока находится в режиме тестирования, но уже умеет выполнять разные задачи пользователей: выбрать подарок, составить план тренировки или написать деловое письмо. Модель умеет составлять грамотные содержательные тексты, но может ошибаться в фактах. Посмотрите, как пользователи общаются с YandexGPT: Нейросеть обучали на суперкомпьютерах Яндекса в два этапа. Сначала разработчики отобрали для обучения много книг, статей и страниц сайтов с помощью поисковых инструментов Яндекса — по утверждению компании, в выборку попадали только содержательные и хорошо написанные тексты. На втором этапе модель дообучили, чтобы она лучше вела диалог. Для этого Яндекс воспользовался методом, который придумали исследователи из OpenAI. Эксперты-разметчики составили сотни тысяч пар вопрос-ответ и показывали их YandexGPT на втором этапе обучения. Но у YandexGPT есть свои ограничения. Например, нейросеть пока не умеет запоминать контекст и учитывать предыдущие реплики. Однако YandexGPT постоянно дообучается на новых данных от пользователей и может развить этот навык в будущем. Cравнить качество ответов YandexGPT с другими языковыми моделями пока невозможно, Яндекс не раскрыл эти данные. Также неизвестна точная архитектура модели и параметры ее обучения. Тем временем другая языковая модель GPT-4 научилась работать не только с текстом, но и с картинками.