Ключевые метрики для отслеживания прогресса

Курс: Быстрый старт: Многорукие бандиты в A/Б тестировании0+

Вы внедрили многоруких бандитов в свою систему. Отлично! Теперь важно не просто запустить эксперимент и забыть о нём. Эффективный мониторинг поможет вовремя выявить проблемы, понять, насколько хорошо работает алгоритм и принять решения по оптимизации.

Метрики для оценки эффективности МРБ

В классическом A/Б-тестировании вы ждёте статистической значимости. В МРБ фокус смещается на динамические показатели и общую производительность системы.

1. Доходность (Regret)

Это одна из ключевых метрик для оценки работы многорукого бандита. Regret показывает, насколько ваш алгоритм хуже идеальной стратегии, которая всегда выбирала бы лучшую "руку" с самого начала эксперимента.

Важно: В реальных условиях мы никогда не знаем истинно лучшую "руку" заранее. Поэтому regret рассчитывается как разница между накопленной наградой, которую можно было бы получить, если бы всегда выбиралась лучшая "рука" (постфактум), и накопленной наградой, полученной вашим алгоритмом.

На практике regret обычно отслеживают как кумулятивный regret (накопленный со временем) или средний regret (кумулятивный regret, делённый на количество показов). Ваша цель — минимизировать эту метрику. Чем ниже regret, тем эффективнее работает ваш бандит.

2. Распределение трафика по "рукам"

Наблюдайте, как МРБ распределяет трафик между "руками". Это даст ценную информацию:

Конвергенция: Если алгоритм работает правильно, трафик постепенно смещается к самой эффективной "руке".
Исследование: В начале эксперимента или при появлении новых "рук" алгоритм активно исследует все варианты, равномерно распределяя трафик. По мере накопления данных трафик концентрируется на лучших вариантах.
Стагнация: Если трафик застрял на неоптимальной "руке" или распределяется слишком равномерно, это может указывать на проблему с алгоритмом или данными.

Визуализируйте распределение трафика: по оси X — время, по оси Y — процент трафика для каждой "руки". Это очень наглядно.

3. Накопленная награда (Cumulative Reward)

Эта метрика показывает общую сумму наград, полученных за всё время работы алгоритма. В отличие от regret, который фокусируется на потерях, накопленная награда показывает общую выгоду.

Если вы оптимизируете клики, это будет общее количество кликов.
Если вы оптимизируете доход, это будет общая сумма дохода.

График накопленной награды должен постоянно расти, желательно с ускорением после того, как алгоритм найдёт оптимальную "руку".

4. Метрики, специфичные для вашей задачи

Помимо общих метрик, всегда отслеживайте ключевые показатели для вашего бизнеса:

Коэффициент конверсии: Если "награда" — это конверсия, отслеживайте средний коэффициент конверсии по всем "рукам" и для каждой "руки" в отдельности.
Средний чек / Доход на пользователя: Если "награда" — непрерывная величина, следите за этими показателями.
Время на сайте / Глубина просмотра: Для контентных проектов.

Совет: Настройте дашборды в вашей системе мониторинга (например, Grafana, Metabase или даже простой Google Data Studio), чтобы в реальном времени отслеживать эти метрики. Это позволит быстро реагировать на аномалии.

Мониторинг и принятие решений

Регулярно просматривайте эти метрики. Если вы видите, что:

Regret не уменьшается или даже растёт.
Трафик не сходится к одной "руке" или сходится слишком медленно.
Накопленная награда растёт медленнее ожидаемого.

Это сигнал к тому, что пора вмешаться и разобраться в причинах. Возможно, есть проблемы с данными, реализацией алгоритма или внешними факторами.

На следующей странице мы как раз рассмотрим типичные проблемы, которые могут возникнуть при работе с многорукими бандитами, и способы их решения. Готовы узнать, как справиться с трудностями?