Тескери тарату (Backpropagation): интуиция
Нейрондук тармакта миллиондогон салмак болушу мүмкүн, бирок ал ката кетиргенде сизге кайра бир гана сан кайтат — жоготуу (loss), бул “жалпысынан канчалык жаңылдың” дегенди айткан жалгыз балл. Мына ушул табышмак изилдөөчүлөрдү жылдар бою кыйнаган: эгер бир миллион кичинекей бурагыч чогуусу менен бир жаман жооп чыгарса, кайсы бурагычтар күнөөлүү жана канчалык деңгээлде? Тескери тарату (backpropagation) — бул таң калычтуу жөнөкөй жооп. Ал катаны тармак аркылуу артка, катмар-катмар менен жиберип, ар бир жеке салмакка анын так жоопкерчилик үлүшүн тапшырат — жана муну бардык салмактар үчүн бир эле жүрүштө жасайт. Бул сабак ошол идеяны негизинен баштап, өз колуңуз менен текшере ала турган чыныгы сандар менен курат.
Бул сабактан кийин сиз эмнени жасай аласыз
- Жоопкерчиликти бөлүштүрүү маселесин (credit assignment problem) түшүндүрүү: бир жоготуу санын миллиондогон салмак боюнча оңдоолорго айландыруу эмне үчүн кыйын.
- Чынжыр эрежесин (chain rule) жөнөкөй сөз менен айтуу — эгер A B'ге таасир этсе жана B C'ге таасир этсе, анда A C'ге эки жергиликтүү таасирдин көбөйтүндүсү менен таасир этет.
- Кичинекей тармак аркылуу толук түз өтүү (forward pass) менен тескери өтүүнү (backward pass) из менен басып, чыныгы градиент сандары жана салмакты жаңылоо менен аяктоо.
- Тескери тарату эмне үчүн натыйжалуу экенин айтуу: ар бир салмакты өзүнчө кыймылдаткандын ордуна, бир түз өтүү жана бир тескери өтүү бардык градиенттерди берет.
- Жоголуп бараткан жана жарылып кеткен градиенттерди (vanishing and exploding gradients), алар эмне үчүн алгачкы терең тармактарды бузганын жана оңдоолордун артындагы интуицияны таануу.
- Тескери тарату эмне эмес экенин ачык билүү — бул мээ окугандай эмес, жана бул жаттоо эмес.