Чему этот код учит о теории

С двух разделений, которые определяют всё остальное.

Первое: ранжирование отдельно от видимости. Порядок решает модель, право на показ — отдельный сервис с правилами. Разная цена ошибки, разная скорость изменений, разная проверяемость. И главное: понижение скора не гарантирует, что пост не покажут.

Второе: посты отдельно от не-постов. Реклама, блоки рекомендаций аккаунтов, промо не участвуют в общем ранжировании — у них нет общей единицы измерения со скором поста, а их доля есть решение бизнеса.

Дальше стандартная воронка: несколько источников с разными слепыми зонами → гидратация → дешёвые фильтры → модель → отбор с запасом → дорогие фильтры → блендинг. И побочные эффекты после ответа.

Не обучаемыми векторами. Пользователь — выход трансформера над последовательностью его действий: это работает с первого действия и обновляется в реальном времени. Айтем — код, выводимый из содержимого, например остаточное квантование мультимодального эмбеддинга: новый пост получает представление сразу после публикации, а близкие по смыслу посты делят префикс кода, поэтому знание переносится.

Общее правило: обучаемый вектор оправдан, когда объект живёт дольше периода переобучения. Если короче — он не успевает обучиться и бесполезен.

Взвешенной суммой с весами в конфигурации, а не в лоссе. Это развязывает модель и продуктовую политику: изменение приоритетов становится изменением числа и раскаткой эксперимента, а не переобучением.

Три вещи, о которых надо сказать отдельно. Веса умножаются на вероятности, а не на счётчики, поэтому из отношения весов нельзя делать вывод о влиянии. Результат стоит приводить к неотрицательной области, если дальше он умножается на поправки меньше единицы. И веса нельзя вывести теоретически — только экспериментом, что и является главной ценой схемы.

Мягким множителем с полом, а не квотой: \(m(k) = (1-\text{floor})\cdot\text{decay}^k + \text{floor}\), где \(k\) — сколько постов того же автора уже стоит выше. При значениях 0.5 и 0.25 получается 1.0 → 0.625 → 0.438 → 0.344 с полом 0.25.

Преимущество перед квотой: это цена, а не запрет. Достаточно хороший пятый пост автора пройдёт, если обгонит чужие даже с коэффициентом 0.25. Пол нужен, чтобы автор не исчезал совсем.

И отдельно стоит сказать, что это только одна ось разнообразия. Однообразие по темам решается другим механизмом — отбором через детерминантный процесс после скоринга.

Дать ровно одному их посту гарантированную позицию в середине выдачи, а не множитель ко всем. Реализация: из подходящих постов (мало показов, мало подписчиков у автора, свежий) берётся лучший по скору, и его скор приравнивается к скору позиции 15–16.

Два свойства делают это управляемым. Гарантия позиции, а не прибавки: результат предсказуем и не зависит от того, кто ещё в выдаче. Ровно один пост: цена механизма ограничена сверху одной позицией независимо от числа новичков.

По смыслу это exploration: тратим позицию, чтобы получить сигнал о посте, о котором данных нет. В коде рядом лежит и байесовский вариант выбора через сэмплирование Томпсона с априором Beta(0.75, 49.25), выключенный по умолчанию.

Начать надо с того, что запись показов почти наверняка происходит после отправки ответа, в фоне, и её результат не проверяется. Значит, показ мог не записаться: перезапуск сервиса, переполнение очереди, отказ хранилища.

Отсюда практика: несколько независимых механизмов с разными путями данных. В разобранной системе их четыре — компактный фильтр, приезжающий с запросом, два журнала показов из разных хранилищ и сессионный список. Плюс источнику постов подписок список показанного передаётся внутрь.

Диагностика соответственно: сравнить, что записалось в каждый из журналов, и искать расхождение, а не искать баг в фильтре.

Только экспериментом, наблюдением нельзя: убрав тип контента, вы освободите позиции, которые займут другие посты, и часть вовлечения перетечёт туда. Наблюдаемая доля завышает вклад.

Механизм: детерминированно скрывать заданный процент таких постов и сравнивать. Две важные детали — решение должно зависеть от хеша пары «объект и пользователь», чтобы быть стабильным между запросами, и должно быть персональным, чтобы не искажать общую статистику объекта.

Единица рандомизации здесь пара «пользователь и объект», а не пользователь. Это позволяет мерить ценность инвентаря, а не функциональности.

Признать, что метрика измеряет не то, ради чего продукт существует, и искать, какая функция продукта деградировала.

Конкретный случай из этого репозитория: усиление веса ответа для взаимных подписок дало хорошие метрики вовлечения — люди активнее общались со знакомыми. А жалобы были на другое: во время крупного спортивного события лента показывала мало обсуждения, потому что релевантные посты писали неподписанные аккаунты, и усиление одной группы автоматически ослабило остальные. Значение снизили с 20 до 15.

Общий вывод: усиление любой группы есть ослабление всех прочих, и заметно это становится там, где метрик нет. Полезно держать метрики покрытия и разнообразия рядом с метриками вовлечения — они как раз ловят такие сдвиги.

Вопрос на зрелость суждения, и отвечать «всё правильно» плохо. Три содержательных направления.

Тихая деградация. Ошибки источников проглатываются молча. Это верное решение по существу, но оно требует метрик и алертов на каждый источник — иначе отказ на паре процентов трафика не обнаружится. По открытому коду видно, что замеры есть; видно ли по ним такие отказы — из репозитория судить нельзя.

Надёжность обучающих логов. События для будущих моделей пишутся тем же ненадёжным фоновым способом, что и всё остальное. Потеря части логов смещает выборку и не диагностируется онлайн-метриками. Здесь я бы разделил логирование для продукта и логирование для обучения, дав второму гарантии доставки.

Отсутствие явного позиционного дебиасинга. Модель учится на логах собственной выдачи, где верхние позиции получают больше внимания просто из-за позиции. В открытом коде явной поправки не видно — возможно, она есть в неопубликованной части, но если нет, это заметный источник смещения.