049. Как повысить чувствительность метрик – Илья Кацев

Этот доклад — продолжение рассказа о метриках качества, который был на Яндекс.Изнутри 13 апреля . Яндекс внедряет много изменений, пытаясь улучшить жизнь пользователей. Чтобы понять, какое изменение полезно, а какое нет, нужна хорошо отлаженная система измерений. Я расскажу, какие частые ошибки можно сделать, решая задачи оценки качества, а также о том, как в Яндексе устроена система онлайн-экспериментов. Основная часть доклада — о ещё одной секретной технологии Яндекса, которая может (с помощью математики) «бесплатно» повысить чувствительность метрик определённого типа.