Тармактар кантип үйрөнөт: Жоготуу функциялары жана градиенттик түшүү
Нейрон тармак башында эч нерсе билбейт. Анын салмактары кокустук менен коюлгандыктан, алгачкы божомолдору дээрлик маанисиз. «Үйрөтүү» — ошол кокустук аралашманы пайдалуу нерсеге айландырган процесс. Бул сабакта сиз үйрөнүүнү жүзөгө ашырган бүткүл механизмди көрөсүз: тармак канчалык жаңылып жатканын так бир сан менен өлчөгөн жоготуу функциясы (loss function) жана ошол санды кичирейтчү багытта ар бир салмакты акырындык менен жылдырган кадам-кадам ыкма — градиенттик түшүү (gradient descent). Эч кандай татаал математикалык символдор жок — тек гана айкын сүрөттөр жана өзүңүз колуңуз менен текшере ала турган чыныгы арифметика.
Бир чоң идея
Үйрөнүү = божомолдор азыраак жаңылчудай кылып салмактарды тууралоо. Бүткүл окуя ушул. Калгандардын баары — жоготуу функциялары, градиенттер, окуу темптери, Adam — эки суроого кайра-кайра жооп берген механизм гана: «Мен азыр канчалык жаңылып жатам?» жана «Азыраак жаңылыш үчүн ар бир салмакты кайсы багытка жылдырышым керек?». Тармак ушул эки суроону миллиондогон жолу берип, ар жолу кичинекей кадам таштоо менен үйрөнөт.
- Жоготуу функциясы деген эмне экенин жана тармакка үйрөнүү үчүн эмне үчүн керек экенин түшүндүрө аласыз.
- Божомолдордун топтому үчүн орточо квадраттык катаны (Mean Squared Error, MSE) колуңуз менен эсептей аласыз.
- Кайчылаш энтропия (cross-entropy) эмне үчүн ишенимдүү берилген туура эмес жоопторду ушунчалык катуу жазалаарын жөнөкөй сөз менен түшүндүрүп, эки учурду сан жүзүндө салыштыра аласыз.
- Жоготуу ландшафтын элестетип, үйрөнүү эмне үчүн эң терең өрөөндү табуу дегенди билдирээрин сүрөттөй аласыз.
- Градиенттик түшүүнү түшүндүрүп,
w = w - lr × gradientжаңыртуу эрежесин мүчө-мүчө окуй аласыз. - Толук түшүүнү колуңуз менен таржымалдап, салмактын туура жоопко жыйналышын (convergence) байкай аласыз.
- Окуу темпи (learning rate) эмне үчүн эң маанилүү жөндөгүч экенин түшүндүрүп, ал өтө кичине же өтө чоң болгондо эмне болоорун сан жүзүндө көрсөтө аласыз.
- Локалдык минимум, платo (plateau) жана ээр чекиттери (saddle point) тууралуу — жана алп тармактар эмне үчүн ошентсе да жакшы үйрөнөрүн сүрөттөй аласыз.
- Кеңири таралган варианттарды таанып биле аласыз: топтомдук (batch), стохастикалык (stochastic), мини-топтом (mini-batch), инерция (momentum) жана Adam.