Как сервис по поиску исполнителей услуг спрогнозировал отток аудитории, пересмотрел подход к раздаче промокодов и сэкономил на удержании пользователей
Специалисты Крипты разработали предиктивную модель оттока пользователей из мобильных приложений на инфраструктуре AppMetrica — платформы для аналитики и маркетинга. С помощью модели сервис по поиску исполнителей услуг точнее рассчитал количество и номинал промокодов для повторных заказов. На его примере рассказываем, как модель помогает приложениям увеличивать LTV.
Чтобы удержать аудиторию приложений, многие компании предлагают скидки по промокоду
Такой подход помогает увеличить количество заказов, но при этом снижает прибыльность. Поэтому часть бизнесов строит предиктивные модели, чтобы не выдавать промокоды пользователям, которые и так с высокой вероятностью останутся в приложении.
Предиктивная модель оттока — это модель машинного обучения, которая предсказывает вероятность того, что пользователь перестанет пользоваться сервисом. Обычно модель обучается на большом объёме исторических данных о действиях пользователей. Затем она прогнозирует отток с учётом факторов, которые могут повлиять на его интенсивность. Предсказание оттока полезно приложениям, которые отправляют пользователям пуш-уведомления или предлагают воспользоваться промокодом.
Сервис использовал свою предиктивную модель — предложили дополнить её моделью от Крипты
В сервисе по поиску исполнителей услуг прогноз оттока строили на основе прошлых трендов и данных о взаимодействии пользователей с сервисом, не только с приложением. Модель помогала рассчитать, какой номинал промокода предложить тем, кто заказывает уборку или доставку воды.
В то же время специалисты Крипты разрабатывали предиктивную модель оттока пользователей на инфраструктуре AppMetrica. Предполагали, что для одних владельцев приложений модель станет готовым коробочным решением, для других — дополнением к алгоритму, который уже работает. Во втором случае владелец приложения может дообучить свою модель с помощью решения Крипты.
В сентябре 2022 года специалисты Крипты предложили сервису сравнить, чья модель окажется эффективнее.
Крипта — технология, которая анализирует обезличенные данные о поведении пользователей в сервисах Яндекса и его партнёров. Она даёт рекламодателям возможность показывать предложения только тем, кому они больше всего подходят.
Крипта не получает личной информации о людях и никуда не может её передать. Данные каждого пользователя зашифрованы в идентификаторы, по которым можно определить, что ему потенциально было бы интересно.
Больше о Крипте читайте в Справке.
AppMetrica — платформа для аналитики и маркетинга приложений. С помощью сервиса можно настроить продуктовый или рекламный анализ, прогноз монетизации и многое другое.
Аналитика будет точной, потому что AppMetrica фиксирует около 190 млрд событий в сутки более чем в 60 тыс. приложений, которые подключились к сервису. В основе технологий — забота о безопасности данных пользователей, поэтому AppMetrica регулярно проходит сертификации на соответствие мировым стандартам.
Больше об AppMetrica можно узнать на сайте.
Чтобы построить предиктивную модель оттока, специалисты из Крипты сделали следующее:
- Выделили периоды возвращения пользователя в приложение в зависимости от тематики.
- Выявили признаки пользователей, которые были склонны к более быстрому оттоку в период, подобранный в зависимости от среднего времени возвращения.
- На основе паттернов сравнили пользовательскую базу с полученной моделью и определили сегменты аудитории, которые с высокой вероятностью перестанут быть активными в приложении.
Важно
Проверяли, можно ли построить более точный прогноз оттока, если использовать расширенные данные
Специалисты Крипты предполагали, что модель окажется эффективнее, если в её основе будут данные схожей категории. То есть сервис получит более точную аналитику, если построить предиктивную модель сервиса на более широких данных.
Чтобы проверить гипотезу, запустили двухнедельный A/B-тест, в котором сравнивали:
- Раздачу промокодов по модели сервиса
- Раздачу промокодов по модели Крипты
- Рандомную выдачу промокодов
Проверяли эти три подхода в приложении сервиса на категориях «Уборка» и «Доставка воды».
Все выборки были равны друг другу по количеству пользователей — в каждой было 30 % от всей тестовой аудитории. За две недели эксперимента рассматривали только активных пользователей приложения, которые когда-то заказывали уборку или доставку воды и у которых не было активного текущего заказа.
Эксперимент показал, что предиктивная модель на инфраструктуре AppMetrica отлично дополняла предсказание оттока от модели сервиса по поиску исполнителя услуг
Результаты A/B-теста были следующими:
Сделали следующие выводы о том, как более точное прогнозирование повлияло на прибыль сервиса:
- Модель Крипты на инфраструктуре AppMetrica в меньшем количестве случаев выдавала промокоды, при этом доля продаж без промокода не просела, а, наоборот, выросла — 15,5 % относительно 7,7 %. Это показало, что более полные данные помогают сократить количество выданных скидок, потому что модель точнее определяет потенциал оттока пользователей.
- Число продаж без промокода выросло — модель предсказания на основе данных не одного, а нескольких приложений никак не навредила общему обороту бизнеса. В обеих моделях средний номинал промокода статистически значимо не различается. В сочетании с ростом продаж без промокода это может говорить о более точечном воздействии на утекающих пользователей со стороны моделей Крипты.
И модель сервиса, и модель Крипты на инфраструктуре AppMetrica решают одну и ту же задачу с близкой эффективностью — помогают выявить признаки утекающих пользователей, которым стоит напомнить о себе.
Поэтому владельцы приложений могут пойти двумя путями:
- Не создавать свой алгоритм и использовать модель Крипты как готовое коробочное решение.
- Дообучать свои алгоритмы с помощью модели Крипты. В обоих случаях вероятность удержания пользователей повысится.
ВЛАДИСЛАВ ТИТОВ
Руководитель группы машинного обучения Крипты
Посчитаем выгоду для бизнеса на гипотетическом примере. Допустим, вы хотите удержать 1 000 пользователей приложения. Условно модель от AppMetrica предлагает выдать промокоды 756 из них вместо 863. Средний номинал промокода — 5 000 рублей, и модель предлагает его снизить на 15 %, то есть на 750 рублей.
