Күчөтүп окутуунун негиздери
Машиналар үйрөнүүнүн үчүнчү улуу жолу: туура жооптор жазылган китептен эмес, ар кандай нерселерди сынап көрүп, эмне болорун байкап, сыйлыктарды кубалап үйрөнүү — так ушундай эле жол менен сиз велосипед тебүүнү үйрөнгөнсүз же күчүк отурууну үйрөнөт.
Негизги идея
Бул курста ушул убакка чейин сиз машиналык окутуунун эки үй-бүлөсү менен таанышкансыз:
- Мугалим менен окутуу (supervised learning) — сиз моделге туура жооп менен алдын ала белгиленген миңдеген мисалдарды көрсөтөсүз (бул сүрөт мышык, тигил үй 90 000 сомго сатылды), ал болсо ошол жоопторду көчүрүп үйрөнөт.
- Мугалимсиз окутуу (unsupervised learning) — сиз моделге эч кандай белгиси жок маалыматтарды бересиз, ал болсо жашырын топторду же схемаларды өз алдынча табат (сатып алуучуларды түрлөргө топтоо).
Күчөтүп окутуу (reinforcement learning, RL) — бул үчүнчү үй-бүлө жана ал экөөнөн тең айырмаланат. Мында туура жооптордун маалымат топтому жок. Анын ордуна агент бир чөйрөнүн ичинде жашайт, аракеттерди жасайт жана убакыт өткөн сайын өзүнүн канчалык жакшы иштеп жатканын билдирген сандык сыйлык (упай) алат. Агенттин бүт максаты — ушул сыйлыктардын өзүнөн гана улам кайсы аракеттер убакыттын өтүшү менен эң көп сыйлыкка алып барарын аныктоо. Ал сынап-жаңылып үйрөнөт.
- Эмне үчүн RL мугалим менен жана мугалимсиз окутуудан таптакыр башка түрдөгү окутуу экенин.
- RLдин жети негизги сөзүн — агент, чөйрө, абал, аракет, сыйлык, стратегия, эпизод — ар бири бир өтмө мисал менен түшүндүрүлөт: лабиринттеги робот.
- RL циклин: абалды байкоо, аракетти тандоо, сыйлык менен жаңы абалды алуу, андан кийин жүрүм-турумду жаңылоо — кайра кайталоо.
- Изилдөө менен пайдалануунун (exploration vs exploitation) талашын жана аны чечүүчү жөнөкөй эпсилон-ачкөз (epsilon-greedy) ыкмасын.
- Сыйлыктарды кантип долбоорлоону жана сыйлыкты бузуунун (reward hacking) коркунучун.
- Q-окутуунун (Q-learning) түшүнүгүн — "бул жерде бул аракет канчалык жакшы" деген сандардын таблицасын — реалдуу сандар менен кадам-кадам менен.
- RL кайда жаркырап көрүнөрүн (оюндар, роботтор, сунуштар жана чатботторду тегиздеген RLHF) жана эмне үчүн ал татаал экенин.