LLM кантип иштейт: Токендер жана кийинки сөздү болжолдоо
Бир чоң идея: Чоң тил модели (англисче "Large Language Model", кыскача "LLM" — ChatGPT сыяктуу текстти окуп, жазып берген компьютердик программа) таң калыштуу жөнөкөй бир ишти кайра-кайра аткарат. Ал ушул убакка чейинки текстти карап, кийинки кичине текст бөлүгүн болжолдойт. Андан кийин ошол бөлүктү кошуп, кайрадан болжолдойт. Бүт сырдын дээрлик баары ушул.
Сыйкырдай сезилген нерселердин баары — эссе жазуу, суроого жооп берүү, кыргызчадан англисчеге которуу — ушул бир кайталанган болжолдоодон куралат. Бул сабакта биз машинаны ачып, ар бир тишти карайбыз: текст кантип токендерге бөлүнөт, модель аларды кантип сандарга айландырат, ар бир мүмкүн болгон кийинки токен үчүн ыктымалдыкты кантип чыгарат, температура жоопторду кантип ар түрдүү кылат, контексттик терезе эмнени эстеп, эмнени эстей албайт, жана бул моделдерди чоңойтуу эмне үчүн күтүлбөгөн жаңы жөндөмдөрдү ачат.
Сиз эмнеге жөндөмдүү болосуз
- Токен деген эмне экенин түшүндүрүп, чыныгы сүйлөмдү өз колуңуз менен токендерге бөлө аласыз.
- Сөздүк деген эмне экенин жана ар бир токен кантип сандык токен ID'ге айланарын сүрөттөй аласыз.
- Кийинки токенди болжолдоо циклин ыктымалдыктарды кошо кадам-кадам менен түшүндүрө аласыз.
- Температура менен тандап алуу (sampling) эмне үчүн бир эле суроого ар башка жооп берерин түшүндүрө аласыз.
- Контексттик терезе деген эмне, ага эмне батат жана эмне унутулуп калат экенин айта аласыз.
- Масштаб (параметрлер + дайындар + эсептөө кубаттуулугу) эмне үчүн пайда болуучу жөндөмдөргө (emergent abilities) алып келерин жөнөкөй сөз менен түшүндүрө аласыз.
- Эмне үчүн жатык текст түшүнүү менен барабар эмес экенин түшүндүрө аласыз.