Хабы: Блог компании Т-Банк, Машинное обучение, Аналитика мобильных приложений
Привет! На связи Алексей, Александр и Алиса. В предыдущей статье мы рассмотрели технические аспекты обучения ML-алгоритма по предсказанию отказа пользователей от рекламы.
Модель определяет пользователей, которых сегодня не стоит беспокоить рекламными коммуникациями, это снижает динамику пользовательских отказов от маркетинга при сохранении общего уровня продуктовой активности.
В этой статье мы рассмотрим используемые метрики для мониторинга качества модели и оценки ее точности in production. Поговорим об измерении статистически значимой эффективности решения, полученной с помощью fixed horizon a/b-теста. Рассмотрим последовательное использование статистических критериев на примере ratio-метрики.
Читать далее