Описание кейса
Проведение A/B-теста
Представьте, что вы работаете в компании, которая разрабатывает игры. Ваш
основной хит — бесплатный командный онлайн-шутер. В игре есть внутриигровая
валюта, которую вы можете выигрывать, побеждая в матчах, а можете покупать за
настоящие деньги.
На днях в игре прошёл A/B-тест — некоторые игроки могли приобрести премиумную
броню по скидке. Ваше руководство хочет узнать, как это повлияло на ARPU (средняя
прибыль на игрока), ARPPU (средняя прибыль на платящего игрока) и траты
внутриигровой валюты.
Цель работы
Выяснить, стоит ли проводить акцию в дальнейшем. Если игроки, участвовавшие в
акции, принесли больше денег, чем игроки, у которых акции не было, то стоит
повторять акцию и при этом уже на всех игроках.
Папки с данными
? Money — таблица с платежами.
? Cheaters — таблица с обнаруженными читерами.
? Platforms — таблица с игровыми платформами (PC, PS4, Xbox).
? Cash — таблица с тратами внутриигровой валюты.
? ABgroup — таблица с распределением игроков по группам теста.
Некоторые детали
? Среди игроков есть читеры — игроки, которые с помощью взлома игры
начисляют себе большие объёмы внутриигровой валюты. У вас есть список
известных вам читеров, но есть и ещё не пойманные читеры, чьи результаты
могут повлиять на выводы. Попробуйте найти их.
? Чтобы сравнить результаты тестовой и контрольной групп, вам нужно сравнить
средние по группам, а также построить доверительные интервалы от средних
значений с точностью 95%. Если доверительные интервалы пересекаются, то
это означает, что результаты случайны и акция не принесла результатов.
? Для разных платформ результаты могут быть разными.
Структура работы
Формат финальной работы — текстовый документ с подробным описанием проекта,
расчётами и выводами. Укажите ссылки на используемые материалы, приложите
графики и таблицы.
На подготовку финальной работы отводится четыре месяца.
Описание проекта и введение
Раздел 1. Цель проекта
? Какую задачу необходимо решить?
? Как вы подойдёте к её решению?
Раздел 2. Анализ источников
? Какой вариант работы с данными вы выбрали: БД (SQL) / Python? Опишите,
почему был выбран используемый вариант.
Если будете применять при решении задачи базу данных, рекомендуем
использовать MySQL. Инструкция по установке — в приложении.
? Приведите исходники кодов по загрузке данных.
Раздел 3. Очистка данных
? Опишите, как вы вычистили читеров. Каким способом пользовались, чтобы
убрать данные по тем читерам, которые не были обнаружены на момент теста.
Раздел 4. Использование статистических методов
? Расскажите о процессе построения доверительных интервалов для каждой
метрики.
? Приведите исходники кода.
Раздел 5. Формирование отчёта
В отчёт по задаче должны входить:
? сравнение метрик ARPU (средняя прибыль на игрока), ARPPU (средняя
прибыль на платящего игрока) и траты внутриигровой валюты между
различными группами игроков;
? графики сравнения метрик по дням (Power BI);
? исходники программ (Python или MySQL) для построения всех графиков
и таблиц;
? сводная таблица в Excel с ARPU по группам и платформам.
Алексей
ТГУ
Грамотный специалист. Работали по аудиту КП другого исполнителя, быстро нашла критические ...
Виктор
КАМ ГУ имени Витуса Беринга
Работа выполнена досрочно, замечания исправлены. Бывало редко выходит на связь но все хорошо
Антон
ИрНИТУ (бывш. ИрГТУ)
Прекрасный исполнитель! Работа выполнена качественно, разборчиво и с пояснениями)
Виктория
СПБГТИ(ТУ)
Работа выполнена досрочно, соответствует требованиям, пожелания были учтены. Получила 5!