Мультизадачность, дебиасинг и дистилляция

Затем, что сигналов всегда несколько: вовлечённость (клики, время), удовлетворённость (лайки, оценки), долгосрочные метрики. Отдельная модель на каждый — в разы больше ресурсов и сложнее поддержка.

Shared bottom даёт регуляризацию, перенос знания и экономию. Беда возникает на конфликтующих задачах: градиенты голов тянут общее представление в разные стороны. В простой геометрической модели, где направления задач расходятся на угол α, каждая получает cos(α/2): при 90° это 0.71, потеря 29%, при 180° — ноль.

Лечение «в лоб» — расширить ствол, чтобы места хватило обоим направлениям. Аккуратнее — MMoE.

MoE: \(y = \sum_i g_i(x) f_i(x)\), где \(f_i\) — эксперты, \(g\) — гейт; ключевая идея — условные вычисления, на объекте работает часть экспертов.

MMoE — multi-gate: у каждой задачи свой гейт, то есть свои веса экспертов. Если задачи не связаны, под каждую выучивается своё подмножество экспертов, и конфликт не возникает.

Важное замечание для честного сравнения: гейты — это порядка полутора процентов параметров, всё остальное просто ёмкость экспертов. Поэтому MMoE надо сравнивать не с узким shared bottom, а с расширенным до той же ёмкости — иначе непонятно, что дало прирост.

Проблема — несоответствие срезов обучения и применения. Учить P(покупка | показ) напрямую мешает разреженность: при CTR 5% и CVR 3% дисбаланс 1 к 666, плюс сигнал слишком сложный. Учить P(покупка | клик) проще, но такая голова обучается на 5% данных (только клики) и применяется ко всем показам — в 20 раз большему числу объектов.

Почему это ломает ранжирование: pCVR — вероятность при условии клика. Нишевый товар с pCTR 0.01 и pCVR 0.40 по условной вероятности чемпион, а по ожидаемой покупке 0.004 против 0.0072 у популярного — потеря 44% на верхней позиции.

ESMM: моделируем цепочку показ → клик → покупка, P(покупка|показ) = P(клик|показ)·P(покупка|клик), две головы. И ключевой приём — вторую голову учат на лосс по P(покупка|показ), то есть на всём пространстве показов; градиент доходит до неё через произведение.

По двум разным причинам, и их надо различать: пользователи чаще кликают наверх, потому что видят раньше и больше доверяют (это смещение), и наверху действительно стоят более релевантные айтемы (это работа модели). Смешать их — значит вычесть вместе со смещением настоящую релевантность.

Конкретно смещение переворачивает порядок: айтем с релевантностью 0.12 на позиции 5 даёт наблюдаемый CTR 0.039, а айтем с релевантностью 0.10 на позиции 1 — 0.100. Наивная модель уверенно ставит выше худший.

Четыре лечения: учить только на первой позиции (при слейте 20 остаётся 5% данных), позиция как признак с подстановкой pos=1 на инференсе (модель может спрятать релевантность в позиционный признак), IPW (нужен случайный трафик, а разброс весов в 8 раз раздувает дисперсию) и bias-башня — продовый стандарт.

Отдельная маленькая башня, на вход которой идёт вся контекстная информация, полезная для моделирования смещения, — не только позиция, но и, например, устройство: на телефоне видно меньше позиций, чем на десктопе.

При обучении выходы складываются в логите: основная модель плюс башня. Обязательный элемент — дропаут выхода башни, иначе она объяснит позицией слишком многое, перетянет сигнал релевантности и основная модель недоучится. На инференсе башню выкидывают, остаётся чистый скор.

Красота идеи в том, что смещение моделируется явно и отделяемо: мы не вычитаем его постфактум, а даём отдельный канал, куда его удобно списать, и потом отрезаем этот канал.

Две причины. Первая: метка бинарна, предсказание — нет. «Клика не было» одинаково выглядит для объекта с вероятностью 0.40 и с вероятностью 0.02, а учитель эти случаи различает. Это dark knowledge — передаётся не ответ, а форма распределения.

Вторая: учитель — сглаженная версия данных. При истинной вероятности клика 0.05 и десяти показах стандартная ошибка оценки 0.069, то есть 138% от самой величины: метка почти ничего не говорит о конкретном объекте. Учитель усреднил шум по всей выборке, и ученик получает менее шумную цель — а шум и есть главный источник переобучения на хвосте.

Мотивация всего приёма — размен качества на задержку: учитель считается офлайн, ученик влезает в бюджет ранкера.

Потому что у учителя есть свои смещения: он обучался на логах той же системы и унаследовал её позиционное смещение, перекос к популярному и петлю обратной связи. Дистиллируя его напрямую, мы дистиллируем и это.

Решение: одна голова учится на целевые метки, вторая — на предсказания учителя, а для ранжирования используется первая. Дистилляционная голова работает как вспомогательная задача: она заставляет общее представление вобрать знание учителя, но не диктует порядок. Знание проходит через общий ствол, смещения остаются в чужой голове.

Второй мотив — калибровка: предсказания учителя её ломают, а голова на настоящих метках сохраняет. Для рекламы, где скор умножается на ставку, это решает.

Четыре места. Учитель дрейфует при переобучении, и цель ученика меняется скачком — причём мониторинг этого не покажет, обе модели по отдельности выглядят нормально. Учителя надо считать по всему обучающему потоку — дистилляция переносит стоимость из инференса в обучение, а не убирает её. Ученик наследует систематические ошибки учителя и на этом подмножестве никогда его не превзойдёт, хотя на настоящих метках мог бы. И замкнутый круг версий: учитель обучен на логах предыдущего ученика, через несколько итераций система дистиллирует саму себя.