Наука о данных. Модуль 1

Добро пожаловать на курс «Наука о данных».
В этом модуле вы:
• разберетесь с основными терминами из области работы с данными, которые входят в обиход в эпоху цифровой экономики;
• узнаете, как разные компании уже применяют машинное обучение и какие бизнес-задачи можно решать с его помощью;
• сформулируете свою первую гипотезу для дата-сайентиста и получите советы экспертов о том, как формулировать требования к проекту при внедрении машинного обучения в бизнес.

В этом курсе мы поговорим о дата-сайенс с точки зрения интересов бизнеса. Вместе с экспертами мы расскажем, как данные работают на улучшение показателей бизнеса и сервисов для клиентов — настоящих и будущих, поэтапно рассмотрим процесс работы с данными и обсудим нюансы сотрудничества компаний и дата-сайентистов.

Что такое наука о данных и зачем она нужна компаниям

2010-е годы стали временем новых прорывов в прикладном применении технологий искусственного интеллекта, и это породило волну ажиотажа вокруг темы. Кажется, слова «большие данные» и «дата-сайенс» слышали уже все, но не все до конца понимают, что они означают и чем современные подходы к работе с разнообразной информацией отличаются от уже принятой во многих компаниях аналитики.

Разобраться в том, что такое наука о данных, и других вопросах вам помогут эксперты курса — Элен Теванян, специалист по анализу данных и преподаватель факультета компьютерных наук НИУ ВШЭ, и Сергей Носов, директор по управлению данными, «Ростелеком».

Как появилось и зачем нужно машинное обучение

Машинное обучение и работа с данными — это следующий этап развития информационных технологий.

В 1980-х годах человечество начало цифровую революцию: компьютеры и программы стали активно внедряться во все сферы нашей жизни. Они кардинально поменяли подход к тому, как мы стали хранить и использовать данные, а также оказались идеальными помощниками в тысяче вещей: программы делают расчеты в таблицах на работе, считают уровень физической активности в приложении на нашем смартфоне.

Однако со временем люди столкнулись с двумя проблемами. Во-первых, данных стало слишком много, чтобы мы могли их охватить и проанализировать самостоятельно. Во-вторых, обычные программы, работающие по заранее написанным четким инструкциям, не всегда подходили для анализа информации или внедрения в новую сферу.

1. Многие вещи нельзя формализовать. Но есть пара моментов, о них ниже. Как-то раз древнегреческого философа Платона попросили дать определение, кто такой человек. Тот ответил: «Двуногое животное без перьев». На что Диоген, его оппонент, принес ему ощипанную курицу — животное с двумя ногами и без перьев.

Спустя почти 2500 лет проблема осталась. Поставьте эксперимент: попросите коллег или родных рассказать, чем слон отличается от кита, затем — чем кит отличается от кота, а кот от слона. Вы услышите массу разных и по-своему правильных ответов. Однако вывести из них четкие и всегда верные правила сравнения не получится.

2. Раз нет четких правил — нет инструкции для компьютера. С этой проблемой люди долго сталкивались при попытках создать беспилотный автомобиль. Системы круиз-контроля существовали давно, но были очень ограничены в возможностях. Ведь чтобы программа взяла управление авто полностью на себя, требовалось заложить в нее знание обо всех ситуациях на дороге. Это  невозможно: мы не можем заранее предсказать, как поведут себя все автомобили на дорогах, как будут выглядеть все пешеходы и так далее.

Мы не знаем, в какой момент и с какой скоростью пешеход начнет перебегать дорогу в неположенном месте. Не знаем, как лучше реагировать на начавшее резко перестраиваться такси — это будет зависеть от скорости машин, расстояний, числа полос в конкретном месте. Мы не можем прописать четкие сценарии поведения для любых ситуаций на дороге. Но если вы или ваши знакомые учились в автошколе, то знаете, что водителей-людей готовят самих принимать решения на дороге, опираясь на целый набор информации: правила дорожного движения, дополнительные факторы, которые есть на дороге, и свой прошлый, накопленный в поездках уникальный опыт.

3. Мы можем научить программу саму выводить правила и закономерности. Если какие-то проблемы нельзя решить, можно научиться их обходить. Математики, инженеры, программисты и другие специалисты долго работали над тем, чтобы программы стали самостоятельно искать и запоминать подходящие решения, опираясь на данные, знания и опыт из прошлого. Это достижение и стали называть машинным обучением, а зачастую — и искусственным интеллектом (хотя теперь вы знаете, что это не одно и то же).

Программы уже научились:

Видеть и действовать с учетом того, что видят

• Распознавать изменение ситуации на дороге, чтобы уверенно вести автомобиль
• Распознавать лицо владельца телефона, чтобы разблокировать устройство
• Распознавать картинку и описывать ее словами, чтобы слепые люди могли прикоснуться к искусству, как и мы с вами

Предсказывать, что мы хотим узнать или увидеть, и подстраиваться под нас

• Результаты поисковой выдачи
• Посты в лентах соцсетей
• Рекомендованные видео на YouTube

Слышать нас, говорить с нами, читать и переводить для нас

• Так работают голосовые помощники и «умные колонки» — результат машинного обучения
• Так работают синхронный переводчик голоса в скайпе и текстовые переводчики в браузере
• И даже качественные спам-фильтры в вашей почте — результат машинного обучения

Строить прогнозы и предсказывать результаты разных событий

• Стоимость и длительность поездки в такси
• Качество стали при следующей выплавке на заводе
• И даже помочь врачам в постановке диагноза

Чтобы решать эти задачи, программам нужно на чем-то учиться. Они делают это на данных из прошлого. Процессом этого обучения и занимается специалист по данным — дата-сайентист.

Как машинное обучение помогает решать задачи бизнеса

Все, что люди делают при взаимодействии с компанией онлайн и офлайн, так или иначе можно записать в цифровом виде и превратить в данные. Правильно подобранные и настроенные специалистами компьютерные алгоритмы могут найти в этих данных закономерности, которые принесут ощутимую пользу бизнесу: помогут увеличить выручку и средний чек, предотвратить уход ценных клиентов и сотрудников и многое другое.

Менторы курса коротко расскажут об основных выгодах для бизнеса и вызовах при использовании данных, а затем мы чуть-чуть подробнее разберем несколько ярких примеров из российского и международного опыта.

Увеличить выручку и подстегнуть повторные заказы

Онлайн-магазины часто рекомендуют купить дополнительные товары: вспомните фразы «еще вам может понравится», «с этим товаром часто берут». Такие рекомендации, если они правильно подобраны, помогают увеличивать сумму заказов, частоту покупок и общую выручку. Изначально правила таких рекомендаций задавались вручную, что делало их слишком обобщенными и не всегда соответствующими интересам покупателей. Сегодня, чтобы улучшить качество рекомендаций, магазины собирают обезличенные данные о посетителях, а алгоритмы машинного обучения стараются найти что-то общее в их поведении, объединить клиентов в группы по интересам и подобрать наиболее удачную рекомендацию для каждой группы. Например, так давно делает Amazon — самый крупный по выручке продавец товаров и услуг в мире.

Чем больше удачных рекомендаций дает алгоритм, тем больше товаров оказывается в корзине — магазин в плюсе, а покупатель все больше привязывается к определенному поставщику, который его «так хорошо знает и понимает».

Удержать лучшие кадры

Уход ценного сотрудника — всегда потеря для бизнеса. При этом, если человек пришел к вам с заявлением, скорее всего, проблему уже не решить. Зато можно заранее предсказать, что человек стал терять интерес к работе. Эту задачу решает проект с российскими корнями — Yva.ai.

Сначала сервис подключают ко всем каналам корпоративного общения: чатам, почте, системе управления задачами и так далее. Он анализирует, насколько эффективно каждый сотрудник закрывает задачи, в каком тоне, с кем и как часто общается по проектам и так далее. Если затем человек без видимых причин (отпуск, больничный и пр.) станет реже отвечать коллегам, медленнее и хуже закрывать задачи, изменит тон общения в переписке — это признаки выгорания, которые Yva отследит и о которых предупредит руководителя. Тот сможет поговорить с сотрудником и попытаться решить возможные проблемы, не доводя дело до ухода из компании: дать человеку внеплановый отгул, позволить сменить задачи или проект целиком. В худшем случае компания получит время, чтобы найти достойного кандидата на замену.

Автоматизировать обработку заявок и не тратиться на лишних сотрудников

Возможно, вы уже сталкивались со скорингом — предложением банков получить предварительное одобрение кредита онлайн, за минуту, в любое время дня и ночи. Вы предоставляете минимум данных о себе, а система почти моментально выносит вердикт. Чтобы оценить вашу кредитоспособность, алгоритм сравнивает вас с историей других заемщиков примерно того же возраста, статуса, уровня достатка и так далее.

С одной стороны, это удобно людям: не нужно заполнять кучу анкет и идти в отделение для предварительного одобрения. С другой — это выгодно банку: можно избежать очередей заявок, не обучать и не содержать целую армию линейных сотрудников для круглосуточной обработки данных вручную, наконец, можно попросту расширить маркетинговую воронку, собрав больше контактных данных для последующих СМС и почтовых рассылок.

Кредитный скоринг сегодня используется не только для предварительной оценки отдельных частных заемщиков. Предварительное решение об увеличении кредитной линии для компании, рекомендация дополнительных банковских продуктов — все это также могут делать алгоритмы.

Спрогнозировать и сократить отток клиентов

Если мы можем предсказать грядущее увольнение сотрудника, мы также можем заранее понять, что клиент хочет уйти к конкуренту. Так мы выкроим дополнительное время, чтобы предложить ему спецусловия обслуживания, скидку или иной бонус. Часто на уход людей влияют разные факторы: появление предложений от других компаний, сбои оборудования и так далее. Нужно выявить максимум причин, понять, какие из них влияют на решение сильнее, а затем научиться как можно раньше отслеживать изменение поведения клиента, сигнализирующее о проблемах.

Работая с клиентской базой в миллионы человек, наладить постоянный мониторинг всех факторов, чтобы сократить отток клиентов, вручную просто не получится. Поэтому на помощь аналитикам и маркетологам приходят алгоритмы: они регулярно сравнивают новые данные о поведении клиентов с известной историей тех, кто в итоге отказался от услуг компании, и если выявляют совпадение — сигнализируют о проблеме.

Есть задачи, которые машинное обучение решить не сможет. Это не панацея. Например, при запросе на перенос номера операторы обмениваются данным напрямую: у текущего оператора есть время, чтобы удержать клиента, и в этот момент его специалист звонит вам и предлагает скидку 50 процентов на тариф. Скидка стандартна, как и все правила и процессы в этой ситуации. О том, как решать, нужно ли вам машинное обучение, и поговорим дальше.

Как запустить проект с использованием машинного обучения

Вводный модуль близок к окончанию — в следующих мы будем разбирать конкретные шаги и важные технические аспекты для каждого этапа. А пока бегло взглянем на ключевые вехи: если вы уже запускали проекты, то наверняка найдете много общего с предыдущим опытом.

В целом такой проект обычно требует нескольких месяцев (конкретные сроки будут зависеть от множества факторов конкретного проекта) и наличия у вас ресурсов: полномочий, данных или доступа к ним, а часто — и людей, которые затем будут внедрять и поддерживать модель.

Шаг 1. Формулирование задачи и требований

На этом этапе вы и дата-сайентист активно работаете вместе.

Вы: формулируете исходную гипотезу — какую проблему хотите решить, что и зачем хотите узнать, на какие показатели бизнеса хотите повлиять.

Вместе c дата-сайентистом: обсуждаете, применимо и эффективно ли здесь будет машинное обучение.

Если машинное обучение нужно, вы и дата-сайентист:

• уточняете гипотезу и бизнес-цель;
• определяете, откуда возьмете данные для обучения;
• договариваетесь, по каким критериям (метрикам) будете на различных этапах тестирования определять, решила ли модель поставленную задачу эффективно.

Если машинное обучение не нужно, вам хватит базовой продуктовой и управленческой аналитики.

Шаг 2. Сбор и подготовка данных

Дата-сайентист начинает сбор сырых данных. Вы при необходимости включаетесь и помогаете ему с доступами к нужным ресурсам.

Сегодня в «Ростелекоме» принята новая культура управления данными: все данные из разных источников собираются в единые хранилища, очищаются от дублей и другого мусора, профили клиентов и домохозяйств сводятся воедино. Хранилища регулярно пополняются, к ним подключаются новые источники. А дата-инженеры по запросу помогают понять, какие данные по тематике вашего проекта можно вытащить из хранилища, и помогают достать их.

Шаг 3. Выбор, обучение, тестирование моделей

На этом этапе дата-сайентист работает один. Он:

• формирует выборки из данных, при необходимости — дополнительно очищает или генерирует данные;
• выбирает подходящие для решения задачи алгоритмы и начинает обучать их;
• обучает и комбинирует алгоритмы, пока не добьется лучшего результата по метрикам, которые вы выбрали;
• тестирует лучшие модели на контрольных выборках данных.

Шаг 4. Оценка результатов

На этом этапе вы вновь подключаетесь к проекту как заказчик. Вы:

• можете провести дополнительное тестирование на реальных данных и задаче, чтобы проверить модель;
• оцениваете результаты тестов и принимаете решение, будете ли использовать модель дальше.

Шаг 5. Внедрение и поддержка проекта

Если модель принята, часто требуются дополнительные ресурсы, чтобы превратить ее в отдельный сервис, с которым и будут взаимодействовать ваши пользователи или клиенты.

Мы не будем подробно рассматривать этот этап в нашем курсе, так как он прямо не связан с наукой о данных, но вам стоит помнить и о нем.

Как сформулировать гипотезу для дата-сайентиста

От того, насколько качественно вы как заказчик сформулируете запрос и свое видение результата, во многом зависит общий успех проекта. В этом разделе эксперты курса расскажут, как максимально подготовиться к встрече с дата-сайентистом, чего ждать и не ждать от общения с ним, предложат вам алгоритм для составления запроса к специалисту.

В предыдущих частях модуля мы говорили, что бизнес использует машинное обучение, «чтобы увеличить выручку», «чтобы удержать клиентов» и так далее. Это эффект, который хотел получить заказчик проекта. Его также стоит обозначить на старте проекта, но одного видения результата специалисту будет недостаточно. Чтобы дата-сайентист мог приступить к работе, запрос требует уточнения. Какого именно — Элен расскажет в видео.

Чтобы вам было проще сформулировать запрос в виде текста, мы попросили наших экспертов дать свои варианты.

Версия запроса от Элен Теванян: «До конца года мы хотим попробовать увеличить среднюю сумму заказа клиентов, и для этого готовы рекомендовать покупателю товары, которые будут максимально дополнять тот товар, страницу которого он сейчас просматривает. Нам хочется учитывать разные параметры для улучшения рекомендаций: тематику, интересы посетителя, маржинальность и цену рекомендованных товаров и так далее. У нас более 50 000 позиций в 30 категориях, ассортимент меняется регулярно, поэтому сделать это вручную не получится. У нас есть статистика продаж по десяткам тысяч позиций за три года, а также профили 540 тысяч покупателей».

Версия запроса от Сергея Носова: «Три месяца назад в регионе появился конкурент, который стал демпинговать, а два месяца назад с разницей в неделю у нас случились два заметных сбоя оборудования — проблемы наблюдались в течение 6 и 11 часов. За время аварии мы получили несколько тысяч жалоб и обращений на линию техподдержки, о нас также много писали в СМИ и в соцсетях. В этом месяце выручка по региону оказалась ниже плановой — не все постоянные клиенты продлили подписки. Тогда мы провели короткий опрос и узнали, что часть на фоне сбоев решила уйти к конкуренту. Теперь мы хотим поднять данные по всем регионам, чтобы понять зависимость между нашими поломками и недоработками, активностью маркетинга конкурентов и поведением клиентов. Нужно понять, был ли тот случай единичным, либо это тенденция. Если тенденция — научиться ее предсказывать, чтобы наш маркетинг выделял больше времени на отработку ЧП и негатива. Возможно, есть еще другие типы аномалий и событий, которые мы не замечаем и не научились отслеживать, но которые также стоит выявлять автоматически и учитывать».

Прежде чем продолжить изучение курса, советуем пройти несложный математический тест и освежить знания.

Или пропустите его, если полностью уверены в своих силах. Перейти к следующему модулю.