Коротко: трансформеры выиграли над сверточными (и особенно над рекуррентными) в обработке последовательностей потому, что их архитектура обеспечивает прямое моделирование дальних зависимостей, лучшую параллелизацию, гибкую индуктивную регуляризацию и отличную масштабируемость при преобладающих современных больших данных и вычислительных ресурсах. Ниже — ключевые архитектурные причины и пояснения на примерах.
1) Ядро: самовнимание (self‑attention)
- Формула скалируемого внимания:
$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^{\top }}{\sqrt{d_k}}\right)V$.
Механизм многоголового внимания:
$\text{MultiHead}(Q,K,V)=\text{Concat}({\text{head}}_1,\dots ,{\text{head}}_h)W^O$,
где ${\text{head}}_i=\text{Attention}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$.
- Последствия: в одном слое каждая позиция может прямо учитывать любую другую — «глобальное поле зрения» без зависимости от расстояния.
2) Сравнение с сверткой по рецептивному полю
- Свертка локальна:
$(x\ast w{)}_i={\sum }_{j=-k}^k{w}_j{x}_{i+j}$.
Рецептивное поле растёт с глубиной или с диляцией; чтобы захватить дальние взаимосвязи, нужны либо много слоёв, либо большие ядра.
- Трансформер даёт глобальную связь в одном слое, что облегчает моделирование долгих зависимостей и сложных парных взаимодействий.
3) Параллелизация и эффективность обучения
- Самовнимание полностью параллельно по позициям в слое (в отличие от RNN). Свертки тоже параллельны, но для получения больших рецептивных полей требуется глубина — больше последовательных операций.
- Вычислительная сложность: внимание — $O(n^{2}d)$ по длине $n$ и размеру признаков $d$, свертка (с фиксированным ядром $k$) — $O(nkd)$. На практике внимание эффективно ускоряется на современных GPU/TPU благодаря матричным операциям и масштабируемости.
4) Гибкость и слабые индуктивные предположения
- Свертки имеют сильную индуктивную инвариантность по сдвигу и локальность (полезно при малых данных). Трансформер имеет более слабые индуктивные байесовские предположения, поэтому при большом объёме данных он лучше «учится» структурам, которые не укладываются в простую локальность (язык, семантика, длинные связи).
- Это объясняет, почему при масштабном предобучении (BERT/GPT) трансформеры превосходят модели с более жёсткой структурой.
5) Архитектурные приёмы, улучшающие обучение и стабильность
- Резидуальные связи и слой-нормализация: остаточные связи облегчают градиентный поток; слой‑норм:
$\text{LayerNorm}(x)=\frac{x-\mu }{\sigma }\odot \gamma +\beta$.
- Простейшие блочные строения (Attention → Add & Norm → FeedForward → Add & Norm) хорошо масштабируются и стабильно тренируются.
6) Масштабирование и предобучение
- Трансформеры демонстрируют выгодные «законы масштабирования»: рост параметров и данных улучшает качество предсказаний предсказуемо. Это позволило создать крупные модели (GPT, PaLM) и эффективно переносить знания на множество задач через предобучение и дообучение (fine‑tuning).
7) Практические успехи и универсальность
- Машинный перевод (Vaswani et al., «Attention is All You Need»), BERT/GPT для НЛП, трансформеры в речи, биоинформатике (AlphaFold), табличных и временных рядах — единая архитектура, показавшая превосходство во многих областях.
8) Ограничения и решения
- Минус: квадратичная память/время по длине $O(n^2)$ для длинных последовательностей. Решения: разрежённое внимание, локальное + глобальное внимание, иерархические/сублинейные алгоритмы, гибридные Conv+Attention архитектуры.
- Минус: слабая индуктивная структура требует больше данных или регуляризации; иногда свертки эффективнее при малых данных и строгой локальности.
Вывод: успех трансформеров обусловлен способностью самовнимания моделировать глобальные зависимости прямо в слое, высокой параллелизуемости, простой блоковой структуры, хорошей оптимизируемости и выгодной масштабируемости при большом объёме данных — всё это вместе сделало их доминирующей архитектурой для задач последовательностей.