Дополнение · X-алгоритм · страница 7 из 11

Фильтрация: двадцать девять поводов не показать пост

Ранжирование решает, в каком порядке. Фильтры решают, попадёт ли пост в ленту вообще. Их двадцать девять, они идут строго по очереди, и порядок задан не вкусом, а стоимостью. Разбираем, почему одни стоят до скоринга, а другие после, зачем на одну задачу три независимых механизма и как из-за фильтров лента может не набраться.

1. Порядок и его логика

Восемнадцать фильтров работают до скоринга, три — после отбора, остальные встроены в другие стадии. Вот полный список до скоринга, в том порядке, в каком они стоят в коде.

Посмотрите на последний столбец: ни один фильтр до скоринга не ходит в другой сервис. Всё, что им нужно, либо уже лежит в кандидате после гидратации, либо считается арифметикой. Именно поэтому их можно позволить себе восемнадцать штук на тысячах кандидатов.

2. Воронка целиком

Соберём числа из конфигурации: источники отдают до 1200, 1000, 800 и 200 постов, порог скоринга — 2800, отбирается топ-50, на экран уходит 35.

3. Три механизма против одного повтора

Самое заметное дублирование в системе. Против повторного показа работают одновременно:

1. Фильтр Блума, приезжающий вместе с запросом на стадии гидратации;
2. PreviouslySeenPostsFilter — основной журнал показов;
3. PreviouslySeenPostsBackupFilter — резервный журнал;
4. плюс PreviouslyServedPostsFilter — то, что уже отдавали в этой сессии скролла.

Плюс отдельно: источнику постов подписок список уже показанного передаётся внутрь, и он их не возвращает вовсе.

4. Фильтр, который выбрасывает посты просто так

Самый необычный из двадцати девяти. InventoryHoldoutFilter удаляет заданный процент постов — не плохих, не старых, не запрещённых, а просто процент.

fn holdout_bucket(post_id: u64, viewer_id: u64) -> u64 {
    let mut z = post_id
        .wrapping_mul(0x9E37_79B9_7F4A_7C15)
        .wrapping_add(viewer_id.rotate_left(32).wrapping_mul(0xD1B5_4A32_D192_ED03))
        .wrapping_add(0x9E37_79B9_7F4A_7C15);
    z = (z ^ (z >> 30)).wrapping_mul(0xBF58_476D_1CE4_E5B9);
    z = (z ^ (z >> 27)).wrapping_mul(0x94D0_49BB_1331_11EB);
    z ^= z >> 31;
    z % 100
}

fn is_held_out(post_id: u64, viewer_id: u64, percent: u32) -> bool {
    Self::holdout_bucket(post_id, viewer_id) < percent as u64
}

Фрагмент из inventory_holdout_filter.rs · код X, Apache 2.0, коммит 28e414f

Разберём. Из пары «идентификатор поста и идентификатор зрителя» хешированием получается число от 0 до 99. Если оно меньше заданного процента — пост выбрасывается. Проценты задаются отдельно для оригинальных постов, ответов и репостов; по умолчанию все нули, то есть механизм выключен.

5. Фильтры после отбора

После сортировки и взятия топ-50 работают ещё три фильтра, и они принципиально дороже.

Первая строка — главная. Спросить сервис видимости про 2800 кандидатов и про 50 отобранных — это разница в пятьдесят раз по числу запросов. Отсюда и решение поставить его после сортировки, разобранное на странице обзора.

Третья строка тоньше. Дедупликация разговора имеет смысл только тогда, когда порядок уже определён: надо оставить лучшую ветку, а какая лучшая — известно лишь после скоринга.

Частые ошибки и подводные камни

Вопросы с собеседований

Шпаргалка одним экраном

Первоисточники

• home-mixer/filters/ — все двадцать девять фильтров.
• inventory_holdout_filter.rs — детерминированный холдаут и его хеш.
• params/config.rs — константы: возраст поста, размер отбора, размер ответа.
• phoenix_candidate_pipeline.rs — порядок фильтров в пайплайне.
• Курс: глава «Порядок фильтрации» о фильтрации и её месте в воронке, там же о фильтре Блума, глава «Exploration на практике» об экспериментах.