Негизги идея: кийинки сөздү болжолдогон машина
ChatGPT, Claude же Gemini менен баарлашканда, өтө көп окуган адам менен сүйлөшүп жаткандай сезилиши мүмкүн. Бирок анын ичинде эч кандай кичинекей адам да, даяр жооптордун базасы да, чыныгы түшүнүү да жок. Ал жерде Чоң тил модели (LLM) бар: тизмектеги кийинки токенди (сөздү же сөздүн бөлүгүн) болжолдоо деген жөнөкөй көрүнгөн бир гана ишти аткарууга эбегейсиз көлөмдөгү текстте окутулган алп нейрон тармагы. Ошол болжолдоону миңдеген жолу кайталаңыз — так жазылган абзацтар, ырлар, котормолор жана түшүндүрмөлөр пайда болот.
Бул сабактын аягында сиз төмөнкүлөрдү аткара аласыз:
- Чоң тил модели деген эмне экенин жана «чоң» деген сөз эмнени билдирерин түшүндүрөсүз.
- Токендерди сүрөттөп, сүйлөм аларга кантип бөлүнөрүн көрсөтөсүз.
- Кайталанган кийинки токенди болжолдоо кантип толук жоопторду жаратарын жана температура эмне кыларын түшүндүрөсүз.
- LLM кандай маалыматтарда окутуларын жана анын билими эмне үчүн чектик датага ээ экенин айтып бересиз.
- Контекст терезесин жана чат-бот эски маектерди эмне үчүн «унутуп» каларын түшүндүрөсүз.
- LLM чындап түшүнбөстөн жана максатсыз эле эмне үчүн адамча угуларын түшүндүрөсүз.
1. Чоң тил модели деген так эмне?
Чоң тил модели — бул нейрон тармагы: сиз бул курста мурда тааныган катмарлуу, жөндөлүүчү байланыштардан турган ошол эле система, бирок укмуштуудай чоң өлчөмгө чейин кеңейтилип, эбегейсиз көп текстте окутулган. Аталышындагы үч сөздү чечмелеп көрөлү:
- Чоң (Large) — тармакта миллиарддаган ички жөндөлүүчү сандар бар, алар параметрлер деп аталат. Булар — окутуу акырындык менен буроочу «тетиктер». Параметр канчалык көп болсо, модель тилдин ошончолук көп үлгүлөрүн кармай алат.