Көңүл буруу (Attention) жана Трансформер
Өткөн сабакта сиз RNN менен таанышкансыз — бул сүйлөмдү бир убакта бир сөздөн окуп, баарын бир жүрүп турган эстутумда сактоого аракет кылган тармак. Ал иштейт, бирок анын оор кемчилиги бар: ал унутуп калат. Бул сабак ошол кемчиликти оңдогон идея жөнүндө, дал ушул идея заманбап жасалма интеллекттин бүтүндөй доорун баштап берген. Ал идея көңүл буруу (attention) деп аталат, ал эми анын айланасында курулган тармак Трансформер (Transformer) деп аталат.
Негизги идея бир сүйлөм менен: моделге бүтүн сүйлөмдү бир кичинекей эстутумга тыгууну жүктөбөстөн, ага ар бир сөзгө кайрылып кароого жана дал ушул учурда чындап маанилүү болгон сөздөргө көбүрөөк көңүл бурууга мүмкүнчүлүк бер. Сиз уккан бардык чоң тил моделдери — ChatGPT, Claude, Gemini — Трансформер болуп саналат. Ушул баракты аягына чыгарганда сиз алардын кантип курулганын түшүнөсүз.
- RNN’нин «бирдиктүү эстутум тар жолу» эмне үчүн зыян экенин жана көңүл буруу аны кантип жоёорун.
- Көңүл бурууну элестетүүнүн ачык китептүү экзамен ыкмасын.
- Көңүл буруу салмактарын сүйлөмдүн сөздөрү боюнча пайыз катары кантип окууну.
- Суроо-талап (Query), Ачкыч (Key) жана Маани (Value) жөнөкөй сөз менен эмнени билдирерин.
- Көңүл буруунун үч кадамдуу рецепти: окшоштук → softmax → салмактанган аралашма — чыныгы сандар менен эсептелген.
- Өзүнө көңүл буруу (self-attention) жана көп баштуу көңүл буруу (multi-head attention) эмне кыларын.
- Трансформер (2017) бул бөлүктөрдү кантип бири-биринин үстүнө коёрун, эмне үчүн ага позициялык коддоо (positional encoding) керек экенин жана эмне үчүн ал GPU’да ушунчалык тез окуй турганын.
- Энкодер тектүү (BERT) жана декодер тектүү (GPT) моделдердин ортосундагы айырманы.