Большую языковую модель встроили в шрифт

Разработчик из Дании создал файл шрифта llama.ttf, который одновременно является большой языковой моделью и движком, обеспечивающим ее работу. Модель можно запустить в любом приложении, в котором есть возможность работать с текстом и которое поддерживает библиотеку рендеринга шрифтов HarfBuzz с возможностью запуска кода WebAssembly. Инструкция по установке, настройке и использованию языковой модели в файле шрифта доступна на странице проекта.

Большие языковые модели (Large Language Model или LLM), такие, как GPT от компании OpenAI или Gemini от Google, стремительно набирают популярность благодаря способности генерировать связный и качественный текст на разных языках. Помимо текстов они могут также поддерживать диалог, отвечая на вопросы пользователя в почти человеческой манере, решать математические задачи и писать код на различных языках программирования. Эти возможности оказались настолько востребованными, что языковые модели стали активно встраивать в различные приложения. Яркий пример — GitHub Copilot, созданный компанией GitHub совместно с OpenAI инструмент на основе LLM, который интегрируется в среду разработки и помогает программистам писать код быстрее и эффективнее. Также LLM встраивают в браузеры и пакеты офисных программ в роли помощников.

Впрочем, оказывается, пользователям не нужно ждать, пока разработчики наконец добавят языковую модель в их любимое приложение. Доступ к возможностям генерации текста с помощью LLM можно получить уже сейчас практически в любом приложении, поддерживающим работу с движком рендеринга текста HarfBuzz. Для этого достаточно установить файл шрифта llama.ttf, созданный датским разработчиком Сёреном Фугледе Йоргенсеном (Søren Fuglede Jørgensen).

В файлах формата *.ttf (truetype font) обычно хранится информация, определяющая внешний вид текста на экране или при печати. Эти данные включают глифы, представляющие собой векторные изображения символов, метрики, определяющие размеры и положения глифов, и таблицы данных, которые описывают характеристики шрифта и его поведение. Однако, в отличие от обычного файла этого формата, в llama.ttf помимо шрифта сдержится также языковая модель Llama с 15 миллионами параметров из семейства моделей, разработанных компанией Meta*, а также движок для ее выполнения.

После установки файла для работы с моделью пользователю необходимо выбрать llama в настройках приложения в качестве используемого шрифта, а затем набрать в текстовом поле необходимый запрос и множество восклицательных знаков после него. Это активирует языковую модель, и вместо каждого последующего набранного восклицательного знака она будет генерировать новый токен, продолжая ранее написанный пользователем текст. Как это работает на практике, можно увидеть в демонстрационном видео, где создатель проекта показывает работу модели в текстовом редакторе gedit и в графическом редакторе GIMP.

Главный секрет работы llama.ttf кроется в библиотеке форматирования шрифтов HarfBuzz, которая используется для рендеринга текста в таких популярных браузерах, как Firefox и Chrome, а также во многих других приложениях, включая, например, текстовый редактор LibreOffice и упомянутый выше графический редактор GIMP. HarfBuzz поддерживает форматирование шрифтов с помощью WebAssembly (Wasm) — бинарных инструкций, исполняемых в виртуальной машине. Это позволяет выполнять произвольный код, в роли которого выступают содержащиеся в файле llama.ttf команды, необходимые для запуска и вывода результатов работы языковой модели LlaMA, а также параметры модели.

По словам автора проекта, с помощью llama.ttf генерировать текст можно в любом приложении с поддержкой HarfBuzz и Wasm. Это может быть текстовый редактор, клиент электронной почты или что-то еще, а весь процесс происходит полностью локально на компьютере пользователя. В ttf-файл можно интегрировать и более крупную модель. Правда в этом случае возрастет размер файла шрифта. Например, в случае модели с 70 миллиардами параметров файл будет иметь размер 280 гигабайт, тогда как оригинальный llama.ttf занимает всего лишь 60 мегабайт

Ранее мы рассказывали, что OpenAI представила новую мультимодальную генеративную модель GPT-4o, которая может работать с текстом, аудио, изображениями, включая видео, а также поддерживает 50 языков.

*Деятельность компании Meta запрещена в России.