Механизм внимания и трансформер
В прошлом уроке вы познакомились с RNN (рекуррентной нейросетью) — сетью, которая читает предложение по одному слову за раз и пытается удержать всё прочитанное в единой «бегущей» памяти. Она работает, но у неё есть болезненная слабость: она забывает. Этот урок посвящён идее, которая исправила эту слабость и тем самым запустила целую эпоху современного ИИ. Эта идея называется вниманием (attention), а сеть, построенная вокруг неё, называется трансформером (Transformer).
Главная идея в одном предложении: вместо того чтобы заставлять модель втискивать целое предложение в одну маленькую память, дадим ей возможность оглядываться назад на каждое слово и уделять больше внимания тем словам, которые действительно важны прямо сейчас. Каждая большая языковая модель (large language model), о которой вы слышали — ChatGPT, Claude, Gemini — это трансформер. К концу этой страницы вы поймёте, как они устроены.
- Почему вредит «узкое место единой памяти» у RNN и как внимание его устраняет.
- Как представить внимание через образ экзамена с открытой книгой.
- Как читать веса внимания (attention weights) как проценты по словам предложения.
- Что означают запрос (Query), ключ (Key) и значение (Value) простыми словами.
- Трёхшаговый рецепт внимания: сходство → softmax → взвешенная смесь — разобранный на реальных числах.
- Что делают самовнимание (self-attention) и многоголовое внимание (multi-head attention).
- Как трансформер (2017) собирает эти части вместе, зачем ему нужно позиционное кодирование (positional encoding) и почему он так быстро обучается на GPU.
- Разницу между моделями энкодерного типа (encoder) (BERT) и декодерного типа (decoder) (GPT).