Кодирование объектов: обучаемые эмбеддинги против контентных

У каждого объекта \(k\) собственных, ни с чем не связанных параметров. Значит, любое расположение векторов достижимо: нет ни одного ограничения на то, где окажется айтем \(i\) относительно айтема \(j\). Взяв \(k = |\mathcal{I}|\), можно точно воспроизвести любую матрицу похожестей.

Отсюда следствие: что бы ни выдал контентный энкодер, таблица способна выдать то же самое. Выход энкодера — это одно конкретное присвоение векторов объектам, а таблица принимает любое. Обратное неверно: энкодер связан признаками и обязан дать одинаковые векторы двум айтемам с одинаковым описанием, даже если данные говорят, что ведут они себя по-разному.

То есть inductive bias у ID-эмбеддингов нулевой. Это верхняя граница мощности — и одновременно источник всех проблем ниже: модель без ограничений нечем удержать от запоминания шума.

Запоминание отдельных примеров вместо вывода общей закономерности. Измеряется через влияние примера: обучим две модели — с ним и без него — и сравним ошибку на этом примере.

• разница маленькая → модель обобщилась: в данных есть похожие, и знание пришло от них;
• разница большая → похожих нет, и модель его просто запомнила.

Теперь применим к айтему, встретившемуся один раз. Исключим — ошибка гигантская, мы про него ничего не знаем. Добавим — данных всё равно недостаточно, чтобы понять, кому он понравится. Всё, что модель может, — запомнить, что он встретился у конкретного пользователя.

Строка \(E[j]\) обновляется каждый раз, когда айтем попадает в батч, и градиенты со всех эпизодов складываются в один вектор. При обучении на перемешанных данных взаимодействия годовой давности и вчерашние вносят одинаковый вклад — получается усреднённое представление объекта за всё время.

Проблема асимметрична: голова каталога обновляется постоянно и дрейфует вместе с данными, хвост — почти никогда. Строка редкого айтема хранит состояние на момент последнего попадания в батч, а это может быть месяц назад.

Эффект связывают с архитектурой (embedding + MLP), быстро сходящимся оптимизатором и разреженностью признаков. Последнее главное: чем мельче гранулярность признака — а id айтема мельче некуда, — тем сильнее эффект.

Механизм: обозначим представление примера после слоя эмбеддингов как \(\mathrm{EMB}(x)\). Совместное распределение \(\bigl(\mathrm{EMB}(x), y\bigr)\) разное для примеров, которые модель уже видела, и для новых: у виденных эмбеддинг успел подстроиться под их метку. На второй эпохе все обучающие примеры становятся виденными, MLP быстро адаптируется именно к этому распределению — и теряет применимость к новым.

То есть модель переобучается не на примеры в обычном смысле, а на артефакт собственной таблицы эмбеддингов.

Пусть айтемы — товары с названиями. Токенизируем название, берём обучаемые эмбеддинги токенов, усредняем:

Какие предположения мы этим зашили? Первое: у товаров с похожими названиями похожие векторы. Второе: порядок слов не влияет.

Второе предположение неверно — «чехол для айфона» и «айфон для чехла» не одно и то же. Но это и есть плата за обобщение: ограничение неточно, зато редкий товар получает вектор из частых токенов.

Вместо таблицы «id → строка» берём \(h(\mathrm{id}) \bmod H\), где \(H\) фиксировано. Размер таблицы перестаёт зависеть от кардинальности признака.

Цена — коллизии: несколько id делят одну строку и становятся для модели неразличимы. Вероятность того, что конкретная пара столкнётся, равна \(1/H\); при нескольких независимых хеш-функциях полная неразличимость требует совпадения по всем, и вероятность становится произведением.

И второй, менее очевидный выигрыш: новый объект представим немедленно. Не нужно ждать, пока его id попадёт в словарь и словарь пересоберут — хеш считается сразу. Для быстро обновляющегося каталога это не оптимизация, а необходимое условие.