Эмбеддингдер (Embeddings): маанини вектор катары туюндуруу
Нейрон тармак сандарды кошуп жана көбөйтө гана алат. Анда ал мышык деген сөздү кантип "түшүнөт" же Бишкек дегендин Астана сыяктуу шаар экенин кантип байкайт? Айла-амал ар бир сөздү сандардын тизмесине — векторго — айландырууда, мааниси окшош сөздөр бири-бирине жакын турганы менен. Эмбеддинг (embedding) деп аталган ушул бир идея издөө системаларын, сунуштоолорду, котормону жана сиз колдонгон ар бир чоң тил моделин акырын иштетип турат. Бул — байланыштыруучу сабак: ал тармактардын жөнөкөй арифметикасын адамдын маанисинин татаал дүйнөсү менен байланыштырат.
Эмнени үйрөнөсүз
- Тармак маани менен эсептешинен мурда, ал эмне үчүн санга айланышы керек.
- Эки айкын айла-амал — токен ID жана one-hot векторлор — эмне үчүн экөө тең иштебей калары, кол менен эсептелген чыныгы аралыктар менен көрсөтүлөт.
- Эмбеддинг идеясы: ар бир сөзгө тыгыз вектор берилет, окшош маани = жакын вектор болушу үчүн.
- Ал сандар кайдан келет — алар кол менен терилбейт, сөздүн айланасындагы сөздөрдөн үйрөнүлөт.
- Атактуу вектордук арифметика: king − man + woman ≈ queen, кадам-кадам менен эсептелет.
- Косинустук окшоштук (cosine similarity): эмне үчүн узундуктан көрө багыт маанилүү, кичине эсептөө менен.
- Трансформерлерден чыккан контексттик эмбеддингдер, ошондой эле сүйлөм жана документ эмбеддингдери.
- Бүткүл курсту байланыштырган чыныгы колдонмолор жана эске алышыңыз керек болгон чектөөлөр.