Взаимодействия признаков

Шесть шагов, каждый чинит поломку предыдущего. Линейная модель — взаимодействий нет вовсе. Кросс-признаки второй степени — есть, но \(O(n^2)\) параметров и никакого обобщения на невиданные комбинации. FM — факторизуем матрицу весов, память \(O(nd)\) и обобщение по транзитивности, но только вторая степень. Ранние сети (Wide & Deep, DeepFM, DLRM) — ставим MLP сверху, и выясняется, что пары он сам не находит. DCN-v2 — вписываем умножение прямо в слой. Трансформеры над признаками — пытаемся выбирать важные пары динамически.

Практический итог: по умолчанию берут DCN-v2. Всё левее — история, всё правее — исследовательский фронт.

Две вещи, и вторая серьёзнее. Размер: параметров \(O(n^2)\) по суммарной кардинальности; при n = 3 млн это 4.5 триллиона весов, 18 ТБ во float32 — и это ради взаимодействий всего второй степени.

Обобщение: вес невиданной комбинации не обучен вовсе, а невиданных подавляющее большинство. При 30 полях по 100 тысяч значений и миллиарде сэмплов даже в идеальном случае встретится не более 10% комбинаций, а с учётом степенного распределения — на порядки меньше. Это проблема представления, а не масштаба: железом её не решить.

Факторизацией матрицы весов: \(w_{ij} \approx \langle v_i, v_j \rangle\). Каждому признаку — вектор, вес пары — скалярное произведение.

Память падает с \(O(n^2)\) до \(O(nd)\): при n = 3 млн и d = 32 это 384 МБ вместо 18 ТБ, в 47 тысяч раз меньше.

Обобщение возникает по транзитивности: чтобы оценить вес пары (i, j), достаточно, чтобы \(v_i\) обучился на других парах с i, а \(v_j\) — на парах с j. Счётно это выглядит так: при 1000 признаков всего 499 500 пар, а параметров FM при d = 16 всего 16 000, то есть 3.2% — информации от такой доли пар хватает, чтобы восстановить остальные.

Потому что универсальность аппроксимации — утверждение о существовании весов, а не о том, что градиентный спуск найдёт их на конечных данных.

Произведение для MLP неудобно: он строит его кусочно-линейными сплайнами, на что уходит много нейронов и много данных. Rendle и соавторы показали прямо, что выученная MLP-похожесть проигрывает обычному скалярному произведению.

А в рекомендациях ещё хуже: признаки разреженные, конкретная комбинация встречается редко, и учить произведение просто не на чем. Отсюда вывод — вписывать умножение в архитектуру, а не надеяться на него.

\(x_{l+1} = x_0 \odot (W_l x_l + b_l) + x_l\). Три части. \(W_l x_l\) — линейная комбинация всей конкатенации, поэтому внутри можно получить скалярное произведение любых векторов признаков независимо от их размерностей: ограничение DeepFM и DLRM на единую размерность снято. Покоординатное умножение на \(x_0\) — вписанное в архитектуру произведение, каждый слой поднимает степень на единицу. Плюс остаточная связь.

L слоёв дают комбинации степени до L+1, но больше 2–3 слоёв прироста не дают: число мономов растёт быстрее, чем данные их покрывают — на четвёртой степени при сотне признаков это уже 3.9 млн комбинаций.

Слой тяжёлый: \(W_l\) размера d × d по всей конкатенации. Отсюда низкоранговый вариант \(W_l \approx U_l V_l^\top\) — при d = 1024 и r = 64 в 8 раз дешевле — и дальше смесь низкоранговых разложений.

Stacked обычно работает лучше parallel: сначала cross network, потом MLP над его выходом, с сужением широкого вектора перед MLP.

Важная и неочевидная деталь: cross network не даёт прироста поверх абстрактных векторных представлений — его надо применять именно над конкатенацией векторов признаков. Если подать уже перемешанное представление, например выход трансформера, умножать оказывается нечего: координаты больше не соответствуют признакам.

И разделение труда: cross явно моделирует низкие порядки, MLP неявно — высокие. Они дополняют друг друга, а не конкурируют.

Потому что он обрабатывает все токены одинаково. Для текста это верно — токены однородны. В рекомендациях признаки гетерогенны по природе: возраст, ID артиста, цена, эмбеддинг из другой модели. Единое преобразование навязывает однородность, которой нет.

Отсюда Hiformer с раздельными Q, K, V и своим FFN на признак — проблема настоящая, но слои требуют очень много памяти. AutoInt, применяющий обычное внимание, работает хуже DCN-v2.

Градиенты затухают: множители якобианов перемножаются. Если каждый слой умножает градиент на 0.8, то при 32 слоях остаётся 7.9e-04 — падение в 1262 раза, нижние слои практически не обучаются.

ResNet: \(y = F(x) + x\). Якобиан блока это \(I + F'\), и в произведении есть слагаемое из одних единиц — путь целиком по skip-связям, поэтому снизу градиент ограничен единицей. Заодно лишний слой можно занулить: при \(F \equiv 0\) он тождественный. Сверху произведение растёт, поэтому skip всегда идёт с нормализацией. Минус — сумма требует совпадения размерностей, слои тяжёлые.

DenseNet: вместо суммы конкатенация, размерности совпадать не обязаны, F может быть дешёвым сужающим слоем. При входе 512 и четырёх блоках с ростом 64 это 1.56e+05 параметров против 1.05e+06 у ResNet — в 6.7 раза меньше. Плата — растущая ширина.