Аврора, Элен и нейросеть
Как одной кнопкой осчастливить продавцов хендмейд-косметики из Великобритании
Специалисты по «большим данным» нередко сталкиваются с узкопрофильными, специализированными задачами, для решения которых приходится каждый раз разрабатывать уникальные инструменты. Представьте, что у вас имеется множество мелких онлайн-магазинов для продажи чего-то нетривиального — например, косметики ручной работы. Как помочь им повысить эффективность продаж, причем с помощью буквально одной кнопки? Предлагаем вам рассказ, написанный по мотивам реального проекта, который сумели выполнить специалисты из CleverDATA — подразделения группы IT-компаний «ЛАНИТ».
Cестры Джойс, Аврора и Элен, пили чай на кухне своего скромного дома в Лафборо. Если любознательный читатель забьет в Google название этого города, то, скорее всего, быстро найдет три следующих факта: в Лафборо имеется университет, также здесь расположена единственная в Великобритании кольцевая развязка, по которой разрешен проезд велосипедистам, и, наконец, в Лафборо работает крупнейший в мире завод по производству колоколов. Сестры Джойс не имели отношения ни к одной из местных достопримечательностей, но это их, разумеется, совершенно не волновало. Волновало их, как давать рекламу через Google.
«Как же так! — сокрушалась Аврора. Из двух сестер она была младшей, лишь на прошлой неделе ей исполнилось сорок. — Там говорилось, что любой сможет разобраться в этой системе? Мол, включил — и зарабатывай? Как же так, Элен? Мне казалось, я достаточно разбираюсь в таких вещах — у меня даже инстаграм есть!» Элен слушала причитания Авроры молча. Во-первых, она была старшей сестрой, а во-вторых, Элен ожидала неприятностей с самого начала. Если настраивать системы так просто, то почему же мы не слышим каждый день о невероятных заработках?
Тут стоит сделать небольшое отступление и пояснить: Элен и Аврора с недавних пор завели собственный бизнес. Дело в том, что они уже давно занимались изготовлением домашней косметики. Сейчас уже трудно вспомнить, с чего все началось — кажется, Аврора посетила какой-то мастер-класс. А может, Элен услышала по радио передачу о добавках в косметику, используемых транснациональными корпорациями (если коротко, то, по мнению ведущего, ничего хорошего в этих добавках не было). В общем, сестры начали изготавливать косметику сами — сперва для себя, потом для друзей, а теперь у них был небольшой сайт, обслуживавший почти десять тысяч человек — покупателей косметики для тех, кому за 45.
Занявшись бизнесом, Элен и Аврора быстро добились успеха — годовые обороты их скромного предприятия измерялись большими шестизначными числами. Наверное, так могло продолжаться долго. Но им хотелось роста, а стабильность казалась признаком, скорее, стагнации, чем успеха. В общем, сестры Джойс решили узнать, как рекламировать свою продукцию через Google.
«Нам нужна помощь, — прервала монолог Авроры Элен, — какой-нибудь специалист, который все настроит. Давай найдем его».
* * *
Сергей сидел в своем офисе в CleverDATA и рассматривал на экране компьютера проект дизайна нового сервиса онлайн-рекламы. Дизайн ему определенно нравился. Графики были простые и понятные, а когортный анализ представлен так, что разобраться в нем мог любой человек.
Перед создателями проекта стояла нетривиальная задача: построить сервис для нестандартного клиента — малого парфюмерного бизнеса. Речь шла про Великобританию. Оказывается, там существует много мелких частных предприятий, продающих через интернет хендмейд-продукцию — косметику ручной работы. И они очень хотели бы повысить продажи. Заказчиком проекта выступала компания British Pharmia, торговавшая косметикой уже много лет и почти все понимавшая в этом бизнесе.
Разумеется, никто из владельцев небольших парфюмерных бутиков не мог позволить себе штатного маркетолога. Приглашение фрилансера для таких компаний — тоже всегда риск: продажа хендмейд-косметики выстроена на очень специальных (почти личных) отношениях с клиентами. Им мог бы помочь большой сторонний сервис — из числа тех, какие для разных бизнес-нужд предоставляет, например, Google. Но беда в том, что работа с инструментами Google для мелких предпринимателей — темный лес. Что и понятно: если простой человек с улицы когда и мог разобраться в бесконечных настройках, то это время давно прошло. Сегодня сервисы Google превратились в инструменты для специалистов, продающих свои знания за большие деньги, часто — с сомнительной эффективностью.
Сергей снова посмотрел на дизайн. Отлично получилось, просто отлично! Их система лучше, чем у Google, и, конечно, понравится британцам.
* * *
Аврора и Элен пили чай.
«Этого следовало ожидать, — грустно говорила Элен. — Разумеется, этому маркетологу было совершенно наплевать на нас. Он даже не стал разбираться в том, что мы делаем! Не стал слушать про рецепты наших кремов! Просто что-то там настроил, взял деньги и ушел. Выполнил, как это он там выразился, «кипиай по лидам». А то, что нам от его цифр ни горячо, ни холодно, его не волнует!»
Ничего страшного, конечно, не произошло. Но специалист сестрам Джойс попался дорогой, а они привыкли аккуратно относиться к финансам. И тот факт, что деньги улетели в трубу, заставлял их грустить.
«А что эта новая система? — спросила Аврора. — Та, которую нам предложили потестировать в British Pharmia?»
«Ничего особенного, — ответила Элен. — Дизайн красивый, а сама система невероятно сложная. Вот ты, Аврора, знаешь, что такое, например, когортный анализ?» Аврора отрицательно покачала головой. «Вот и я не знаю, — добавила Элен. — И уж тем более не понимаю, зачем он, этот самый анализ, нужен».
* * *
Сергей сидел в офисе и тоже грустил. Результаты первых тестов оказались провальными: немного покопавшись в новой системе, пользователи почти сразу теряли к ней интерес. Такого в CleverDATA никто не ожидал. Всем казалось, что во второй раз их система точно должна заработать. Да, сперва они сделали продукт, отпугивавший неподготовленного клиента, — предиктивные модели, когортый анализ и прочее в том же духе. В результате получилось нечто, напоминающее настроенный Google Analytics.
Но потом-то была проделана большая работа по отладке: все пересмотрели, лишнее выкинули, оставили лишь самое необходимое. И все равно конечному клиенту, всем этим частным предпринимателям с просторов Туманного Альбиона, их система совершенно не понравилась.
Сергей, вздохнув, открыл переписку с British Pharmia. Видимо, он и его коллеги изначально допустили какую-то неточность, и Сергей решил перечитать задание по проекту с самого начала. Там, среди прочего, на глаза ему попалась важная фраза от англичан: «Наши клиенты — люди простые, из глубинки. Они ждут, что вы сделаете для них одну большую кнопку — нажал, и продажи повысились». Сергей задумался.
Главным инструментом для общения с клиентами в этих небольших компаниях были рассылки. Да, те самые почтовые рассылки с предложением что-то купить, воспользоваться скидками, узнать о новых товарах. А также с поздравлениями по случаю всевозможных праздников. Вот только любой айтишник знает: от контента надо бежать как от огня. Самим делать рассылку — это очень сложно.
С другой стороны, подумал Сергей, можно попробовать разработать отдельную форму, которую клиенту останется лишь заполнить. Это тоже непросто, но уже реалистично. Конечно, все машинное обучение, все нейросети придется запихнуть под капот новой системы. Но, может быть, тогда люди реально начнут ею пользоваться.
* * *
Сестры Джойс с удовольствием считали деньги.
Система, с которой они работали теперь, устраивала их полностью. Главное — они понимали, что происходит. Идея с рассылкой была достаточно проста: если человек перестает заглядывать в твой магазин, можно вернуть его, предложив скидку. Но обычно скидки объявляют для всех клиентов, включая и тех, кто и так собирался зайти в магазин.
К тому же любая скидка — это риск, торговля себе в убыток. Объявляя ее, продавец, по сути, надеется, что прибыль от попутно приобретенных товаров превысит убыток от скидки.
Новая система действовала по-другому. Она следила за каждым покупателем в отдельности и делала ему личное предложение. Это значит, система предугадывала, что покупатель хочет уйти, и предлагала ему нечто привлекательное, чтобы он остался.
* * *
Сергей не без удовольствия объяснял на конференции для разработчиков:
«Чтобы сделать систему для расчета скидок, мы использовали один из самых понятных видов машинного обучения — метод градиентного бустинга. Если коротко, то его идея состоит в том, чтобы постепенно собирать хороший алгоритм из плохих, возможно, не сильно отличающихся от случайного угадывания. Словом, метод позволяет на каждом этапе исправлять то, что не было доработано на предыдущем. Алгоритмы градиентного бустинга проще нейросетей и, как оказалось, отлично работают для решения нашей конкретной задачи.
Но еще нам требовалось научиться предсказывать поведение пользователя. Как всегда, все начиналось с аналитики. Любая модель — это как отвертка. Чтобы понять, что нам нужна именно эта отвертка, необходимо, чтобы у нее были конкретные признаки — например, ее рабочая поверхность должна соответствовать форме головки винта или шурупа. Поэтому, чтобы разобраться в наших признаках, мы начали с совсем простых вещей — ассоциативных моделей и анализа латентных факторов. Оба варианта, по сути, сводятся к анализу отношений между людьми и продуктами.
Ничего особенного, разумеется, это нам не дало — либо результаты были тривиальны и их можно было получить без математики, либо настолько неопределенные, что клиенты не знали, как быть, — когда, например, у них появлялся покупатель, приобретавший много разных товаров, так что его корзина оказывалась связана со всеми остальными и путала все карты.
Поэтому мы перешли к нейросетям. Для каждого товара использовалось короткое текстовое описание, а сеть связывала эти описания в рекомендательные цепочки. Чтобы научить нашу сеть разбираться в косметике, мы изначально обучили ее на текстах бьюти-блогеров, на их советах, обзорах и рекомендациях. После этого мы взяли данные от клиентов, — разобраться с ними было отдельной задачей, потому что небольшие компании, как оказалось, за качеством своих данных особо не следят, — и дообучили нейросеть. И это сработало!»
* * *
Сестры Джойс с удовольствием пили чай
«Как ты думаешь, Элен, — спросила Аврора, — пробники работают?» Элен задумалась. «Наверное, нет, — сказала она, - мне кажется, не работают. Даже так — я не припомню, чтобы у меня это работало». «Да, действительно не работают, — подтвердила Аврора. — Мне кажется, раздавать пробники полезно — это улучшает общее впечатление, но вот чтобы потом покупали именно этот продукт — точно не работает».
* * *
Сергей не только знал, что пробники не работают, но и мог точно сказать, когда в рассылке должно появиться конкретное письмо для конкретного пользователя. Их новая система прекрасно с этим справлялась. Но она пока еще не умела делать одну очень важную вещь — привлекать новых пользователей, то есть клиентов. Причем так же, одной кнопкой, как и в случае с рассылкой. Над этим заданием еще предстояло подумать. И Сергей, вместе с ребятами из CleverDATA, уже думал.
Андрей Коняев
Как анализ городского трафика помогает улучшить жизнь в городе
Города умнеют. Все больше устройств собирают данные о перемещении пассажиров общественного транспорта, пешеходов, автомобилей. Речь идет не только о камерах наблюдения. Мы оставляем цифровые следы, и эти данные приносят пользу. Вместе с Tele2 рассказываем, как можно собирать данные об абонентах, обрабатывать их с помощью алгоритмов и улучшать город. Простые человеческие данные Информацию о пользователях не собирает только ленивый. Это делается и для таргетирования рекламы, и для перестроения маршрутов городского транспорта, и даже для контроля перемещений сотрудников крупных корпораций. Когда вы открываете на смартфоне карты, чтобы проверить, как далеко от остановки ближайший автобус, приложение использует систему автоматического определения местоположения транспортных средств (Auto Vehicle Location, AVL). Она запрашивает информацию о местоположении у автобуса и передает ее в центральную базу данных. Анализируя данные AVL, городские службы могут, например, перестроить или отменить какие-то маршруты. В автобусе вы оплачиваете проезд через валидатор. Данные об оплате попадают в систему, которая отслеживает количество пассажиров на маршруте и рейсе, категории пассажиров, форму оплаты и тому подобное. Затем эта информация используется транспортным агентством, чтобы определить популярные маршруты и, например, запустить дополнительные рейсы. Во время поездки вы проверяете почту и социальные сети. Приложения используют данные о местоположении для показа геотаргетированной рекламы. Например, местный ресторан может использовать рекламу с геотаргетингом для продвижения нового пункта меню среди людей в окрестностях. Все это будет сочетаться с другими вашими вкусами и предпочтениями. Если вы решили куда-то поехать не на общественном транспорте, а на собственном автомобиле, то, скорее всего, включаете навигатор и строите маршрут. Смартфон передает геоданные, направление и скорость движения автомобиля в систему. Координаты попадают на электронную схему города, где точно отображаются все здания, парки, улицы и другие объекты. И эта же информация используется для оценки загруженности дорог, перестроения маршрутов. Приехав на место, вы находите свободное парковочное место и оплачиваете его — тоже через смартфон. Приложение использует данные о местоположении, чтобы определить, где находится парковка. Данные хранятся в системе, и аналитики могут использовать их для самых разных целей. Например, высокий спрос на парковку может влиять на статистику угонов, привлекательность места для бизнеса и другие факторы. Сбором данных занимаются и сотовые операторы — информация о миллионах абонентов по всей стране и за ее пределами поступает к ним в агрегированном виде. Разумеется, для нужд города и бизнеса она используется в обезличенном виде, сегментированная на различные группы абонентов, представляющих интерес для заказчика. Так, например, город получает информацию о загруженности дорог по часам, а спортивные магазины — о маршрутах приверженцев здорового образа жизни. Магия базовых станций Информация о вашем приблизительном местоположении всегда поступает к оператору — без этого невозможно оказывать услуги связи. Ваш гаджет подключается к ближайшей базовой станции, если она одна, или к нескольким, если их много (впрочем, это происходит, даже когда вы спите и не пользуетесь смартфоном). Зная местоположение базовой станции, оператор может с точностью до нескольких сотен метров определить, где вы находитесь. Дальше больше. Ваш смартфон обладает MAC-адресом. Это уникальный набор символов — латинских букв и цифр, который используется при подключении аппарата к интернету. По первым трем группам символов MAC-адреса можно узнать информацию о производителе смартфона и сотового модуля в нем. Эти данные тоже получает оператор. Когда со смартфона вы заходите в браузер и вбиваете что-то в поисковую строку, оператор получает новую порцию информации. По поисковому запросу можно определить предпочтения абонента: любит ли он рыбалку, путешествия или автомобили и даже что хочет заказать на ужин. Приложения на смартфоне также в фоновом режиме передают данные об абоненте: музыкальные предпочтения, виды игр и другую похожую информацию. Все данные, которые вы оставляете в интернете, называются цифровым следом. Эту информацию можно объединить с партнерскими данными от других сервисов, а затем сопоставить с имеющимися у оператора данными абонентов, которые были получены на этапе заключения договора на оказание услуг связи. Персональные данные, как они определены соответствующим законом, не используются. Только самые общие: возраст, регион, пол человека. И вот уже оператор собрал колоссальный объем информации, который надо как-то «переварить». В Tele2 для решения этих задач используются алгоритмы искусственного интеллекта, которые работают с этой информацией в захешированном и полностью обезличенном виде. Но есть нюанс: информации настолько много, что существующие алгоритмы просто не способны ее адекватно обрабатывать. Это и понятно: цифровой след и геоданные у каждого абонента — это огромный массив информации. А таких абонентов миллионы. Это означает, что нужно все упрощать. На работу и обратно Скажем, для решения бизнес-задачи надо знать, где находятся участки дорог с максимальным потоком семей с маленькими детьми. Для решения задачи сперва нужно ее упростить. В этом случае специалисты Tele2 решили учитывать только абонентов, которые ездят на автомобилях из дома на работу и с работы домой. В общем случае это пиковые часы с 8 до 10 утра и с 17 до 19 вечера. Именно информация об этих людях представляет наибольший интерес для города и бизнеса. Администрация города понимает, в каких местах чаще всего образуются пробки, и пытается оптимизировать дорожную сеть. А бизнес получает информацию, которую можно использовать для перенаправления трафика. Например, после работы человека можно попробовать «заманить» в магазин или ресторан. Алгоритм, разработанный Tele2, сегментирует абонентов по возрасту, полу, интересам, районам проживания и работы, а также доходу. Когда человек едет на машине на работу или возвращается домой, его смартфон через определенные промежутки времени переподключается от одной базовой станции к другой. Информация накапливается, и благодаря этому возникает возможность выстроить приблизительный трек — упрощенный путь от одной базовой станции к другой. В данном случае значение имеют только регистрации на множестве базовых станций. Если абонент живет не в крупном городе, а в области, где покрытие сотового оператора не такое плотное, и находится в перекрытии базовых станций, его смартфон может переключаться между ними время от времени. При этом физически абонент никуда не перемещается, но со стороны может показаться, что он движется. Такая информация в расчет не берется. Кроме того, не учитываются также и данные об абонентах, которые пользуются метро. Допустим, оператор получил трек абонента — регистрации его смартфона на базовых станциях в районе Большой Полянки, Якиманки и Ленинского проспекта в Москве. Дальше возникает новая задача — соотнести его с картой города. Для этого операторы используют открытые данные Open Street Map — графы дорог. Проблема Open Street Map заключается в неполноте и относительно небольшой точности. Поэтому масштабные открытые графы дорог Tele2 дополняет коммерческими, таким образом повышая точность цифрового картографического покрытия. В результате оператор получает треки абонентов в утренние и вечерние часы в будние дни и графы автодорог. Эти две сущности в целом не совпадают: трек может показывать, что смартфон абонента в определенное время был зарегистрирован на базовой станции на Ленинском проспекте в Москве, а на самом деле человек ехал по улице Шаболовка. Поэтому в Tele2 создали алгоритм, способный по трекам абонентов и графам автодорог определять маршруты людей. Вот как это выглядит. Берутся графы автодорог в радиусе пяти километров от трека, после чего для каждого ребра графа рассчитывается расстояние, ближайшее к линиям трека с учетом всех вершин и точек. Это так называемое расстояние Фреше, то есть множество, в котором определено расстояние между парами объектов. Проще говоря, сходство между расположенными поблизости кривыми. С помощью вычисления расстояния Фреше — минимального расстояния между вершинами и ребрами графа дорог с линиями и точками трека абонента — можно получить представление о реальном перемещении людей по автодорогам. Однако если брать треки абонентов и графы автодорог, то работа алгоритма будет очень долгой. Графы могут состоять из сотен тысяч вершин и ребер, для каждого из которых нужно рассчитать расстояние Фреше с треком абонентов. Для решения этой задачи специалисты Tele2 разбили графы на небольшие взаимосвязанные компоненты (проще говоря, короткие участки дороги), но так, чтобы алгоритм не начинал рассчитывать неоптимальные или ложные маршруты. Так удалось построить тепловую карту перемещений абонентов в Москве из дома на работу и с работы домой. Польза для всех А дальше начинается самое интересное. Tele2 получил не просто карту маршрутов абонентов, а подробную карту маршрутов абонентов: какие их сегменты в какое именно время и по каким именно дорогам перемещаются. Допустим, оператор знает, что в конкретном микрорайоне живет много любителей рыбалки. Там можно поставить рекламное сообщение, например, магазина рыболовных принадлежностей. Или же бизнес может запросить данные о том, по каким дорогам ездят клиенты его конкурентов, и разместить на них билборды с собственной рекламой. Применений с точки зрения бизнеса множество. Так, предприниматели могут оценивать потенциал территорий для открытия новых точек продаж или использовать для построения собственных карт клиентских путей (Client Journey Map, CJM) и оптимизировать взаимодействие с покупателями. Банки получают информацию о сегментах потенциальных клиентов и сотрудников, которая позволяет развивать сети банковских отделений или таргетировать финансовые приложения. Компании, занимающиеся грузоперевозками, могут применять данные оператора для построения оптимальных маршрутов, определения районов, где их услуги наиболее востребованы, и создания в них дополнительных складов и сортировочных центров. Такие данные могут быть полезны не только бизнесу, но и государству. Они могут показать, какую локацию стоит развивать в первую очередь, если бюджет региона ограничен. Например, распределять социально важные объекты, чтобы не скапливались очереди. Кроме того, на основе данных об абонентах можно предсказывать, в каком районе будут востребованы велодорожки или площадки для воркаута. Tele2 может составить и портрет туриста, предоставить информацию о сегменте путешествующих абонентов. Это позволит эффективнее развивать туристическую инфраструктуру. Алгоритмы искусственного интеллекта и большие данные фактически упростили решение маркетинговых задач бизнеса и градостроительных проблем администраций городов. Если раньше требовалось проводить опросы с большими выборками, интервью, расставлять устройства-шпионы для выискивания смартфонов в карманах людей, то теперь люди сами дают информацию о себе, причем зачастую даже не задумываясь об этом. Но в конечном счете все остаются в выигрыше: автомобильные дороги медленно, но верно становятся удобнее, бизнес получает новых клиентов и увеличивает заработки, а люди находят то, что им хочется здесь и сейчас. Реклама: ООО Т2 МОБАЙЛ, ИНН 7743895280