Наука о данных. Финальный тест

1. Какие из этих задач типичны для машинного обучения с учителем?

1. Группировка сообщений от пользователей;
2. Оценка тона комментария: положительный или отрицательный;
3. Группировка изображений по визуальным признакам на неразмеченных данных;
4. Оценка вероятности, кликнет ли человек на рекламный баннер.

1. 1 и 2
2. 2 и 4
3. 1 и 3

Правильно!

В этих случаях вы можете заранее разметить данные, выделив в них целевую переменную, а возможно — и признаки. В случаях 1 и 3 алгоритм должен будет сам найти закономерности между объектами, данные будут не размечены, а это обучение без учителя.

Неправильно!

В этих случаях вы можете заранее разметить данные, выделив в них целевую переменную, а возможно — и признаки. В случаях 1 и 3 алгоритм должен будет сам найти закономерности между объектами, данные будут не размечены, а это обучение без учителя.

2. Выберите все задачи, которые характерны для обучения без учителя.

1. Прогноз стоимости недвижимости;
2. Предсказание пола автора комментария;
3. Рекомендация друзей, контента и пабликов в социальных сетях;
4. Сегментация пользователей интернет-магазина по неявным интересам.

1. 1 и 3
2. 1 и 2
3. 3 и 4
4. 1 и 4

Правильно!

Для задач прогноза стоимости и предсказания пола вам нужно будет предварительно разметить данные, заранее выделив целевую переменную и ключевые признаки. А вот в задачах рекомендаций и сегментации этого сделать не получится — алгоритм должен будет сам установить взаимосвязи, работая «без учителя».

Неправильно!

Для задач прогноза стоимости и предсказания пола вам нужно будет предварительно разметить данные, заранее выделив целевую переменную и ключевые признаки. А вот в задачах рекомендаций и сегментации этого сделать не получится — алгоритм должен будет сам установить взаимосвязи, работая «без учителя».

3. Вы хотите предсказать суммы, которые клиенты потратят на оплату трафика в разные месяцы, исходя из истории их предыдущего потребления. Это задача:

1. Регрессии
2. Классификации
3. Классификации и регрессии

Правильно!

Если вы предсказываете числовое значение — это регрессия.

Неправильно!

Если вы предсказываете числовое значение — это регрессия.

4. В базе данных есть следующие записи: длительность звонков, общее число звонков, общее число переданных сообщений, количество потраченных гигабайтов трафика. Вы хотите предсказывать объем трафика, который потратят клиенты. Что будет объектом модели в этой задаче?

1. Длительность звонков
2. Общее число звонков
3. Клиент
4. Количество трафика

Правильно!

Клиент — это объект (для кого мы предсказываем), объем трафика — целевая переменная (что мы предсказываем).

Неправильно!

Клиент — это объект (для кого мы предсказываем), объем трафика — целевая переменная (что мы предсказываем).

5. Вы хотите выявлять клиентов, которые, вероятно, перестанут пользоваться услугами компании в ближайшую неделю. Это задача:

1. Классификации
2. Регрессии
3. Кластеризации

Правильно!

По сути, вам надо разбивать клиентов на две группы («уйдут» и «останутся»), обучив алгоритм на исторических данных о поведении клиентов. Это задача классификации.

Неправильно!

По сути, вам надо разбивать клиентов на две группы («уйдут» и «останутся»), обучив алгоритм на исторических данных о поведении клиентов. Это задача классификации.

6. Что будет объектом в задаче поиска уходящих от компании клиентов?

1. Уход клиента
2. Количество дней, через которые клиент уйдет
3. Клиент
4. Услуга, от которой отказывается клиент

Правильно!

Объект — это то, для чего мы хотим сделать предсказание. В этом случае мы хотим сделать прогноз для дополнительной маркетинговой работы с клиентом, значит, он и есть объект.

Неправильно!

Объект — это то, для чего мы хотим сделать предсказание. В этом случае мы хотим сделать прогноз для дополнительной маркетинговой работы с клиентом, значит, он и есть объект.

7. Что будет целевой переменной (y) в задаче поиска уходящих от компании клиентов?

1. Уход клиента
2. Количество дней, через которые клиент уйдет
3. Клиент
4. Услуга, от которой отказывается клиент

Правильно!

Целевая переменная — это ответ, который мы ищем. В этом случае мы хотим прогнозировать вероятный уход клиента, значит, это и есть целевая переменная.

Неправильно!

Целевая переменная — это ответ, который мы ищем. В этом случае мы хотим прогнозировать вероятный уход клиента, значит, это и есть целевая переменная.

8. Какие метрики можно использовать, чтобы оценить, насколько качественно модель решает задачу поиска уходящих клиентов?

1. Долю правильных ответов, полноту, точность
2. RMSE, MAE, MAPE
3. Долю правильных ответов, MAPE, MSE

Правильно!

Так как перед нами задача классификации, то подойдут метрики для нее — это доля правильных ответов, точность и полнота.

Неправильно!

Так как перед нами задача классификации, то подойдут метрики для нее — это доля правильных ответов, точность и полнота.

9. Какой алгоритм не подходит для решения задачи, объекты в которой нужно разделить на классы?

1. Случайный лес
2. Дерево принятия решений
3. Линейная регрессия
4. Логистическая регрессия

Правильно!

Линейная регрессия не решает задачи классификации.

Неправильно!

Линейная регрессия не решает задачи классификации.

10. Оцените метрики и решите, какую модель стоит выбрать для пилотного внедрения.

1. Логистическая регрессия
2. Решающее дерево
3. Случайный лес

Правильно!

Случайный лес по всем метрикам превосходит остальные модели.

Неправильно!

Случайный лес по всем метрикам превосходит остальные модели.

11. Компания запускает пилотный проект, чтобы проверить, помогают ли прогнозы модели лучше находить клиентов, которых можно удержать. Какой способ проверки подойдет:

1. Предлагать скидку 15% на услуги, как в компании всегда делали в этих случаях
2. Предлагать улучшенный пакет услуг — так делает конкурент, да и вообще, давно хотели такое попробовать

Правильно!

Полностью поменяв условия задачи, вы не сможете понять, нашли ли более хороший ответ. Чтобы оценить вклад модели, вы должны сравнить результаты ее работы с историческими данными о том, какого эффекта удавалось добиться без нее. Значит, надо тестировать тот же ход со скидкой в 15%, а затем смотреть, как вели себя клиенты, выбранные моделью, и те, кого вы сами записали в уходящих.

Неправильно!

Полностью поменяв условия задачи, вы не сможете понять, нашли ли более хороший ответ. Чтобы оценить вклад модели, вы должны сравнить результаты ее работы с историческими данными о том, какого эффекта удавалось добиться без нее. Значит, надо тестировать тот же ход со скидкой в 15%, а затем смотреть, как вели себя клиенты, выбранные моделью, и те, кого вы сами записали в уходящих.

12. Компания отобрала клиентов, которых модель посчитала уходящими, в тестовую группу, а тех, кого уходящими посчитали маркетологи, — в контрольную. Тестовая группа получила предложение о скидке 15% в четверг вечером, а контрольная — в субботу. Будете ли вы доверять результатам такого эксперимента?

1. Да, ведь скидка одинакова
2. Нет, ведь они получили предложения в разное время

Правильно!

На реакцию и принятие решений влияет масса факторов, в том числе выходной был день или будний. Для чистоты эксперимента следовало послать обеим группам сообщения одновременно.

Неправильно!

На реакцию и принятие решений влияет масса факторов, в том числе выходной был день или будний. Для чистоты эксперимента следовало послать обеим группам сообщения одновременно.

13. Как можно бороться с переобучением модели?

1. С помощью кросс-валидации;
2. С помощью отложенных выборок;
3. С помощью A/B-тестирований;
4. С помощью композиции алгоритмов.

1. 1 и 2
2. 3 и 4
3. 1 и 4
4. 2 и 4

Правильно!

Кросс-валидация и отложенные выборки помогают оценить, что именно алгоритм «понял» при работе с обучающей выборкой (в частности, выявлять случаи переобучения и бороться с ними). Композиция — объединение алгоритмов, используется на этапе ранее. А вот А/B-тестирование, наоборот, более поздний шаг — с его помощью можно проверить алгоритм «в бою», когда мы уже знаем, что он не переобучен.

Неправильно!

Кросс-валидация и отложенные выборки помогают оценить, что именно алгоритм «понял» при работе с обучающей выборкой (в частности, выявлять случаи переобучения и бороться с ними). Композиция — объединение алгоритмов, используется на этапе ранее. А вот А/B-тестирование, наоборот, более поздний шаг — с его помощью можно проверить алгоритм «в бою», когда мы уже знаем, что он не переобучен.

14. Ваши клиенты активно пишут в онлайн-чаты техподдержки по любому поводу. Вы хотите в первую очередь работать с негативом, а значит, вам нужно научиться по тону сообщения отделять жалобы от стандартных вопросов, чтобы жалобы автоматически получали приоритет. Вы решаете делить сообщения на два класса. Дата-сайентист спрашивает, какая метрика будет ключевой?

Какую метрику вы выберете с учетом того, что вам важно научиться точно находить жалобы?

1. Доля правильных ответов (TP+TN)/(TP+TN+FN+FP)
2. Точность TP/(TP+FP)
3. Полнота TP/(TP+FN)

Правильно!

Вам важно научиться не пропускать жалобы, которые алгоритм по ошибке запишет в обычные вопросы, то есть, снизить количество False Negative прогнозов. Отслеживать этот показатель лучше поможет метрика полноты.

Неправильно!

Вам важно научиться не пропускать жалобы, которые алгоритм по ошибке запишет в обычные вопросы, то есть, снизить количество False Negative прогнозов. Отслеживать этот показатель лучше поможет метрика полноты.

15. Если вы хотите, чтобы каждый объект попал в обучающую выборку и алгоритм стал учитывать его особенности, надо выбрать:

1. Метод многих отложенных выборок
2. Метод кросс-валидации (k-блоки)

Правильно!

Метод кросс-валидации дает гарантию, что каждый объект побывает в обучении, если это необходимо.

Неправильно!

Метод кросс-валидации дает гарантию, что каждый объект побывает в обучении, если это необходимо.

16. К персональным данным относится:

1. Только та информация, которая непосредственно указывает физическое лицо
2. Любая информация, которая прямо либо косвенно может быть соотнесена с физическим лицом
3. Любая информация, которая прямо либо косвенно может быть соотнесена с физическим или юридическим лицом

Правильно!

Персональными данными можно назвать любую информацию, прямо или косвенно относящуюся к физическому лицу. При этом косвенная связь с лицом определяется исходя из контекста обработки и имеющихся разумных возможностей по соотнесению данных с физическим лицом.

Неправильно!

Персональными данными можно назвать любую информацию, прямо или косвенно относящуюся к физическому лицу. При этом косвенная связь с лицом определяется исходя из контекста обработки и имеющихся разумных возможностей по соотнесению данных с физическим лицом.

17. Какая информация о пациентах, находящаяся в распоряжении медицинской организации, относится к персональным данным?

1. Диагнозы конкретных пациентов
2. Количество пациентов медицинской организации
3. Данные из электронной медицинской карты без Ф.И.О.: дата рождения, адрес регистрации и пр.
4. Динамика роста случаев конкретного заболевания.

1. 2 и 4
2. 1 и 4
3. 1 и 2
4. 1 и 3

Правильно!

Для диагнозов не зря существует отдельный термин врачебной тайны — это чувствительная персональная информация. Данные карт — даже без Ф.И.О., но с информацией о прописке и другими фактами — дадут возможность установить личность по косвенным признакам, а значит, речь также идет о персональных данных.

А вот общее число пациентов (2) и динамика заболеваний (4) — это статистическая информация, которая обезличена настолько, что не позволит установить чью-либо личность. Такими данными можно пользоваться, не боясь нарушить закон.

Неправильно!

Для диагнозов не зря существует отдельный термин врачебной тайны — это чувствительная персональная информация. Данные карт — даже без Ф.И.О., но с информацией о прописке и другими фактами — дадут возможность установить личность по косвенным признакам, а значит, речь также идет о персональных данных.

А вот общее число пациентов (2) и динамика заболеваний (4) — это статистическая информация, которая обезличена настолько, что не позволит установить чью-либо личность. Такими данными можно пользоваться, не боясь нарушить закон.