Чоң тил моделдери кантип окутулат: алдын ала окутуу, тактоо жана RLHF

Заманбап ЖИ жардамчысы менен маектешкенде, сиз чоң тил модели (Large Language Model, LLM) менен сүйлөшүп жатасыз — бул текстти болжолдоочу абдан чоң компьютердик программа. Бирок ал жагымдуу, жардамчыл жардамчы даяр бойдон пайда болгон эмес. Ал бири-биринин үстүнө курулган үч чоң этапта, көп айлар бою жана эбегейсиз чыгым менен курулган.

Бул сабакта биз завод эшиктерин ачып, LLM нөлдөн кантип жасалып жатканын карайбыз. Адегенде "негизги модель" дээрлик бүт ачык интернетти окуп, тилдин баштапкы үлгүлөрүн үйрөнөт. Андан кийин ага нускамаларды аткарууну үйрөтүшөт. Акырында ал адамдын пикири менен жагымдуу жана сылык болгонго чейин такталат. Сабактын аягында сиз ЖИ жардамчылары эмне үчүн ушунчалык көп нерсени билерин, эмне үчүн кээде жаңылышарын, эмне үчүн кечээки жаңылыктарды билбесин жана эмне үчүн эки башка ЖИ модели менен сүйлөшкөндө ушунчалык башкача сезилерин так түшүнөсүз.

• "Окутуу" деген чын эле эмнени билдирерин жана эмне үчүн ал үч өзүнчө этапта жүрөрүн.
• 1-этап — Алдын ала окутуу: модель эч кандай адам белгилерисиз, алп "кийинки сөздү тап" оюнун ойноп, тилди кантип үйрөнөрүн.
• 2-этап — Нускама боюнча тактоо: тандалып алынган үлгү маектешүүлөр негизги моделди чын эле суроолорго жооп берүүгө кантип үйрөтөрүн.
• 3-этап — RLHF: адамдар жоопторду иреттеп чыгуусу жана "сыйлык модели" жардамчыны кантип жардамчыл жана сылык кыларын.
• Система нускамасы деген эмне жана ал жайылтылган жардамчынын мүнөзүн кантип калыптандырарын.
• Эмне үчүн моделдерде билим чеги бар жана алар жакынкы окуяларды билбейт.
• Эмне үчүн ар башка ЖИ моделдери бири-биринен ушунчалык башкача жүрүм-турум кылат.