Метрики: посчитать руками и покрутить

1. Возьмите пресет «позитивы снизу» и поднимите оба позитива наверх стрелками. Precision@K и Recall@K не изменятся вовсе — они не видят порядка. А RR, AP и NDCG вырастут.
2. Уменьшайте \(K\): Recall падает, Precision может расти — классический компромисс.
3. Пресет «один позитив»: RR становится ровно \(1/\text{позиция}\), а NDCG — тем же числом, только с логарифмическим дисконтом вместо линейного.
4. Включите градуированную релевантность — теперь клик по строке циклит 0 → 1 → 2. Precision и Recall просто бинаризуют оценки, а NDCG действительно различает «2» и «1».
5. Следом переключите gain = 2^rel − 1. Числитель в DCG меняется, NDCG вместе с ним — при том же самом ранжировании. Единого «правильного» gain нет, это конвенция, и на собеседовании её проговаривают.
6. Обратите внимание на названия: здесь один запрос, поэтому честно писать RR и AP. Буква M в MRR и MAP — это mean по запросам, и от того, по чему усреднять, зависит результат: отдельный виджет ниже.

1. Двигайте порог: precision и recall идут в противоположные стороны, а ROC-AUC не меняется вообще — он не зависит от порога, это свойство ранжирования, а не решающего правила.
2. Двигайте долю позитивов при фиксированном качестве модели: с 5 % до 60 % ROC-AUC проходит путь 0.868 → 0.852 (шестнадцать тысячных), а AP обваливается с 0.890 до 0.341. Отсюда правило: на сильно несбалансированных задачах смотрят PR, а не ROC.
3. Вкладка «AUC как доля пар»: посчитайте зелёные клетки и убедитесь, что доля в точности равна ROC-AUC по тем же точкам.
4. Данные здесь детерминированные: ползунок выбирает точки из одного и того же зафиксированного пула, а не пересэмплирует выборку. Иначе шум оценки (при 5 % позитивов стандартное отклонение самого ROC-AUC доходит до 0.145) полностью съел бы эффект, который надо увидеть.

1. Новичков по головам половина, а запросов от них — считанные проценты. Поэтому micro почти целиком определяется активными.
2. Уроните метрику на новичках до нуля. Micro просядет на сотые доли, macro — на десятые. Релиз, который убивает онбординг, по micro выглядит нейтральным.
3. Обратное тоже верно: macro переоценивает вклад тех, кто сделал один запрос и ушёл. Поэтому смотрят обе — и отдельно режут по когортам.

Что сказать на собесе: «Усреднение по запросам меряет средний запрос, усреднение по пользователям — среднего пользователя. При тяжёлом хвосте активности это разные числа, и деградацию новичков видно только во втором».

1. Оба ползунка — монотонные преобразования скора. Порядок объектов не меняется вообще, поэтому ROC-AUC стоит намертво на одном и том же числе.
2. А ECE, LogLoss и Brier при этом гуляют в разы. Сравните «средний прогноз» и «частоту по факту»: расхождение и есть систематическая ошибка калибровки.
3. Нажмите Platt scaling. ECE падает примерно с 0.16 до 0.02, LogLoss с 0.65 до 0.48 — а AUC не меняется ни на единицу в четвёртом знаке. Калибровка чинится после обучения и ранжированию не мешает.

Что сказать на собесе: «AUC инвариантен к любому монотонному преобразованию скора, поэтому он ничего не говорит о калибровке. Там, где предсказание умножается на деньги — аукцион, бюджет, ожидаемая выручка — нужны LogLoss, ECE и калибровочная кривая».

1. Облако точек — 200 независимых прогонов. У IPS среднее лежит ровно на истинном значении (он несмещён), но облако широкое: по одному логу можно ошибиться в разы.
2. Тяните расхождение политик: ESS падает с 400 до 25 из 500 записей, разброс IPS растёт вчетверо. Вот что значит «оценка разваливается при слабом перекрытии».
3. Включите клиппинг. При \(w \le 15\) смещение −0.053, но RMSE улучшается; при \(w \le 5\) смещение −0.164 и RMSE уже хуже, чем без клиппинга. У порога есть оптимум.
4. DM смещён, но устойчив. DR обычно выигрывает по RMSE — он комбинирует модель награды с поправкой через веса.

Что сказать на собесе: «IPS несмещён при условии перекрытия политик и известных propensity. Его беда — дисперсия: вес \(1/p\) взрывается на редких действиях. Лечится самонормировкой, клиппингом или DR, и каждый способ платит смещением».

1. Кривая MDE падает как \(1/\sqrt{n}\). Чтобы различить вдвое меньший эффект, нужно вчетверо больше данных — это и есть ответ на «а давайте померим +0.1%».
2. Уменьшите базовую конверсию при том же относительном приросте: требуемая выборка вырастет, потому что абсолютная разница \(p_0 \cdot \text{lift}\) стала меньше.
3. Вкладка «подглядывание» — это A/A-тест, настоящего эффекта нет вообще. Проверка один раз в конце даёт честные ≈5%, а ежедневная за две недели — около 22%. Каждый новый взгляд это ещё один шанс случайно пересечь порог.

Что сказать на собесе: «Фиксируем горизонт заранее, считаем MDE до старта. Если надо смотреть по ходу — берём последовательный критерий или alpha spending, иначе номинальные 5% превращаются в 20+%».

1. Бирюзовые точки (с коррекцией) ложатся на диагональ «выучил = истина». Розовые — нет, и чем крупнее точка, то есть чем популярнее айтем, тем сильнее она уехала вниз.
2. Сверьте числа: без коррекции корреляция выученного скора с \(\log p - \log Q\) ≈ 0.99. Модель выучила ровно то, что предсказывает теория для sampled softmax без коррекции — просто это не то, что нам нужно.
3. Ранговая корреляция с истиной: ≈0.57 без коррекции против ≈0.96 с ней. В топ-5 модели без коррекции лезут редкие айтемы.
4. Поставьте \(\alpha = 0\) — популярность становится равномерной, \(Q\) константа, и коррекция перестаёт что-либо менять. Это проверка на понимание: коррекция лечит именно перекос \(Q\), а не «шум».