Дополнение · X-алгоритм · страница 6 из 11

Скоринг: из вероятностей действий в одно число

Самая обсуждаемая часть системы и самая неправильно понимаемая. Здесь разбираем, что именно предсказывает модель, какими весами это сводится в один скор, что происходит со скором дальше — и почему из отношения весов нельзя делать выводы, которые из него обычно делают.

1. Что предсказывает модель

Головы модели сгруппированы по смыслу. Вот полный список из README, с пояснением, что каждое означает.

Обратите внимание на последнюю строку: «не задержался» — это отдельная предсказываемая величина с отрицательным весом. Формально это не действие пользователя, а его отсутствие. Такой ход мы обсуждали в главе «Проблемы implicit-данных», когда говорили про неявный фидбек: пролистывание мимо — тоже информация, и не использовать её расточительно.

2. Веса: реальные числа

Веса объявлены макросом param! — имя, тип, ключ в системе конфигурации, значение по умолчанию. Дефолты в репозитории синхронизируются с продовыми скриптом, так что это не выдуманные числа.

param!(FavoriteWeight, f64, "rust_home_mixer_favorite_weight", 0.5);
param!(ReplyWeight, f64, "rust_home_mixer_reply_weight", 5.0);
param!(ShareViaCopyLinkWeight, f64, "rust_home_mixer_share_via_copy_link_weight", 20.0);
param!(ReportWeight, f64, "rust_home_mixer_report_weight", -234.0);

Фрагмент из param.rs · код X, Apache 2.0, коммит 28e414f

Фрагменты home-mixer/params/param.rs.

3. Формула и что происходит с отрицательным скором

Арифметика в ranking_scorer.rs устроена прямолинейно: каждое слагаемое — вес на предсказанную вероятность, положительные и отрицательные копятся раздельно только для отчётности, а дальше берётся разность.

let mut pos = 0.0;
let mut neg = 0.0;
for t in terms {
    if t >= 0.0 { pos += t; } else { neg -= t; }
}
(pos, neg)

Фрагмент из ranking_scorer.rs · код X, Apache 2.0, коммит 28e414f

То есть сырой скор — это просто

где веса негативных действий уже отрицательные. Но напрямую это число не используется: оно пропускается через offset_score.

pub(crate) fn offset_score(combined_score: f64, w: &ScoringWeights) -> f64 {
    if w.total_sum == 0.0 {
        combined_score.max(0.0)
    } else if combined_score < 0.0 {
        (combined_score + w.negative_sum) / w.total_sum * NEGATIVE_SCORES_OFFSET
    } else {
        combined_score + NEGATIVE_SCORES_OFFSET
    }
}

Фрагмент из ranking_scorer.rs · код X, Apache 2.0, коммит 28e414f

Разберём, что это делает

Константа NEGATIVE_SCORES_OFFSET равна 0.001. Разберём обе ветки.

Скор неотрицательный. К нему просто прибавляется 0.001. Значит, любой такой пост получает итог не меньше 0.001.

Скор отрицательный. Он линейно отображается по формуле

Посмотрим на границы. Самый плохой возможный пост — тот, у которого все негативные действия имеют вероятность 1, а позитивные 0. Его сырой скор равен \(-367.22\), и формула даёт ровно 0. Скор, чуть-чуть не дотянувший до нуля, даёт почти \(\frac{367.22}{410.54} \cdot 0.001 \approx 0.000894\).

4. Главное заблуждение: «жалоба перечёркивает 468 лайков»

Вес жалобы \(-234\), вес лайка \(0.5\). Отношение — 468. Число облетело интернет с выводом: одна жалоба уничтожает эффект от 468 лайков.

Вывод неверен, и разработчики специально добавили в код комментарий об этом. Причина простая: вес умножается не на количество событий, а на предсказанную вероятность.

// Each weight multiplies the *predicted* probability of that
// ... the weights do not multiply raw engagement counts.
// One common misinterpretation is that you can read these weight
// ...
fn apply(score: Option<f64>, weight: f64) -> f64 {
    score.unwrap_or(0.0) * weight
}

Фрагмент из ranking_scorer.rs · код X, Apache 2.0, коммит 28e414f

Разберём на числах. Пусть для обычного поста модель считает, что вы лайкнете его с вероятностью 0.02, а пожалуетесь — с вероятностью 0.00005. Тогда вклады:

• лайк: \(0.5 \times 0.02 = +0.010\);
• жалоба: \(-234 \times 0.00005 = -0.0117\).

Жалоба перевешивает лайк в 1.17 раза, а не в 468. Отношение 468 достигается только в одном случае: если модель считает жалобу такой же вероятной, как лайк. Но если модель так думает, это уже не обычный пост, и его место в конце ленты — ровно то, чего и добивались.

5. Три поправки поверх скора

Сырая сумма — ещё не финальный порядок. Дальше идут три множителя, и порядок их применения в коде такой: сначала буст малоизвестного автора, потом затухание по повторному автору, потом OON-дисконт.

Затухание по повторному автору

Задача очевидная: не дать одному автору занять всю ленту. Решение в коде — множитель, зависящий от того, сколько постов этого автора уже стоит выше по скору.

fn diversity_multiplier(decay_factor: f64, floor: f64, exponent: f64) -> f64 {
    (1.0 - floor) * decay_factor.powf(exponent) + floor
}

Фрагмент из ranking_scorer.rs · код X, Apache 2.0, коммит 28e414f

Подставим:

Форма формулы стоит того, чтобы её разобрать. Это не просто \(\text{decay}^k\) — иначе множитель уходил бы в ноль, и достаточно активный автор исчезал бы из ленты полностью. Конструкция \((1-\text{floor}) \cdot \text{decay}^k + \text{floor}\) — это геометрическое затухание, приподнятое на пол: быстро падает на первых повторах и упирается в 0.25.

Дисконт за пределы подписок

Посты от тех, на кого зритель не подписан, умножаются на 0.75. Логика: такой пост должен быть заметно лучше «своего», чтобы занять его место, потому что риск промаха выше.

Но интереснее не сам множитель, а условие его применения:

let oon_applies = |c: &PostCandidate| match c.in_network {
    Some(false) => true,
    Some(true) => {
        deboost_in_network_replies_retweets
            && (c.in_reply_to_tweet_id.is_some() || c.retweeted_tweet_id.is_some())
    }
    None => false,
};

Фрагмент из ranking_scorer.rs · код X, Apache 2.0, коммит 28e414f

Дисконт получают не только чужие посты, но и ответы и репосты от тех, на кого вы подписаны (флаг включён по умолчанию). Это тонкий и правильный ход: подписавшись на человека, вы согласились читать его посты, а не всё, что он комментирует и пересылает. Без этой строки лента подписок быстро превратилась бы в поток чужих разговоров.

Есть ещё два случая:

• если запрос идёт по конкретной теме, множитель другой — 0.5: в тематической ленте подписки значат меньше, а требования к чужому посту жёстче;
• для новых пользователей с достаточным числом подписок действует отдельный, более мягкий множитель — очевидная поправка на холодный старт зрителя: подписок ещё мало, и без чужих постов ленты просто не будет.

Подъём малоизвестного автора

Здесь механика устроена совсем не так, как обычно предполагают, и это стоит разобрать внимательно.

Это не множитель и применяется не ко всем постам новичков. Из всех кандидатов отбираются подходящие: автор с числом подписчиков ниже порога (1000), пост с числом показов ниже порога (1000), достаточно свежий (не старше суток) и стоящий не слишком низко в текущем порядке. Из них берётся ровно один — лучший по скору, — и его скор приравнивается к тому, что стоит на позиции 15–16 отсортированного списка.

fn cold_start_target(query: &ScoredPostsQuery, scores: &[f64]) -> Option<f64> {
    let mut ranked = scores.to_vec();
    ranked.sort_by(|a, b| b.total_cmp(a));
    let hi = (query.params.get(ColdStartSlotMax) as usize).min(ranked.len());
    let lo = (query.params.get(ColdStartSlotMin) as usize).min(hi);
    if lo >= hi { return None; }
    Some(ranked[rand::rng().random_range(lo..hi)])
}

Фрагмент из author_cold_start.rs · код X, Apache 2.0, коммит 28e414f

Читается прозрачно: цель — не первая позиция, а середина видимой части ленты. Смысл не «сделать новичка звездой», а «дать одному его посту шанс быть увиденным», чтобы система вообще получила по нему сигнал.

6. Переранжирование: DPP по эмбеддингам

После того как скор посчитан и поправки применены, вызывается отдельный сервис. Он отбирает посты детерминантным точечным процессом — тем самым DPP, который мы разбирали в главе «Разнообразие и переранжирование» рядом с MMR.

Напомним идею. Строится ядро \(L\), в котором качество айтема стоит на диагонали, а похожесть — вне её. Максимизируется определитель подматрицы выбранного набора, а определитель — это квадрат объёма параллелепипеда на векторах набора. Длина ребра задаётся качеством, угол между рёбрами — непохожестью. Два почти одинаковых поста дают почти коллинеарные рёбра, объём схлопывается — и дубликат отсеивается сам, без отдельного штрафного слагаемого.

Параметры, с которыми это вызывается, лежат в двух местах, и это стоит различать:

Первый столбец — дефолты аргументов самого сервиса, второй — параметры, которые присылает лента. Побеждает вызывающая сторона, поэтому в проде работают 0.65 и 150. Разночтение не ошибка: сервис самостоятельный, у него свои дефолты на случай запуска отдельно.

Ограничение max_selected_rank заслуживает внимания. Переранжирование не трогает весь список — только первые 150 позиций. Дальше нет смысла: пользователь туда не дойдёт, а считать определители дорого.

Частые ошибки и подводные камни

Вопросы с собеседований

Шпаргалка одним экраном

Первоисточники

• home-mixer/params/param.rs — все веса и параметры с комментариями авторов о том, как их читать.
• home-mixer/scorers/ranking_scorer.rs — арифметика скора, offset_score, затухание, OON.
• home-mixer/scorers/author_cold_start.rs — подъём малоизвестного автора и сэмплирование Томпсона.
• vm-ranker/dpp.rs и args.rs — переранжирование и его параметры.
• Курс: глава «Мультизадачность» о мультизадачности, глава «Разнообразие и переранжирование» о MMR и DPP, глава «Thompson sampling» о сэмплировании Томпсона.