Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»

30.06.2026 10:38:59 | Хабр
Хабы: Блог компании ВкусВилл, Управление продуктом, Машинное обучение

Каждый новый A/B-тест у нас занимал 3–4 недели. За это время ML-команда успевала придумать ещё несколько гипотез, аналитики — устать, а продакты — начать спорить, можно ли вообще продолжать эксперимент, если метрики уже неделю летят вниз.

В какой-то момент стало понятно: такими темпами мы просто тонем в очереди гипотез.

Тогда у нас появились быстрые эксперименты — короткие тесты на маленькой аудитории, которые помогают за несколько дней понять, что гипотеза, скорее всего, плохая, и не тратить на неё ещё месяц.

Меня зовут Лера Катеринчик, я старший продакт-менеджер в команде рекомендаций. Мы делаем ML-модели, которые пытаются угадать, что пользователь захочет следующим.

Я не гуру и не «лидер мнений». Я обычный продакт, который работает с ML-инженерами, аналитиками и живёт в тех же процессах и бардаке, что и многие продуктовые команды.

Хочу рассказать, как мы используем быстрые эксперименты, где они работают, где нет и с какими проблемами мы столкнулись.

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro