Көп катмарлуу тармактар жана алдыга жайылтуу
Бир нейрон маалыматыңыз аркылуу болгону бир түз сызык гана тарта алат. Терең үйрөнүүнүн (deep learning) сыйкыры биз көп нейрондорду катмарларга топтоп, сигналды кириштерден баштап, жашыруун катмарлар аркылуу акыркы жоопко чейин алдыга агызганда башталат. Бул сабакта сиз кичинекей тармакты өз колуңуз менен курасыз жана ага чыныгы сандарды кадам-кадам менен өткөрүп, ал ыктымалдуулукту чыгарганга чейин алып барасыз.
Жалгыз нейрон бир нече санды алат, ар бирин салмакка көбөйтөт, кошот, жылыштыруу (bias) кошот жана натыйжаны кысат. Бул күчтүү, бирок чектелген. Чыныгы маселелер — кол менен жазылган цифраны таануу, мышыкты иттен айырмалоо, үйдүн баасын болжолдоо — бир түз чечим сызыгы үчүн өтө чырмалышкан.
Чечими анын жөнөкөйлүгү менен дээрлик күлкүлүү: көп нейрондорду колдонуп, аларды катмарлар деп аталган саптарга жайгаштырып, бир саптын чыгуусун кийинки сапка бериңиз. Ар бир катмар маалыматты бир аз өзгөртөт, ал эми сигнал аягына жетээрде тармак чырмалышкан маселени оңой маселеге айландырат. Сандарды тармак аркылуу кириштен чыгууга чейин жылдыруу алдыга жайылтуу (forward propagation) (же "алдыга өтүү") деп аталат жана бул бүгүн үйрөнө турган эң маанилүү процесс.
- Катмардын үч түрүн (кириш, жашыруун, чыгаруу) атап, алардын ар бири эмнени камтыганын айтуу.
- Жашыруун катмарлар чындыгында эмнени үйрөнөрүн жана эмне үчүн тереңдик көбүнчө кеңдиктен артыкчылык кыларын жөнөкөй сөз менен түшүндүрүү.
- Кичинекей тармактагы ар бир салмак менен жылыштырууну санап, аны "миллиарддаган параметри бар моделдер" менен байланыштыруу.
- 2-3-2 тармакта толук алдыга өтүүнү кол менен аткаруу: салмактанган суммалар, ReLU, softmax, акыркы ыктымалдуулуктар.
- Бүткүл процесс чындыгында бир чоң матрицалык көбөйтүү экенин көрүү — GPU буга ушунчалык жакшы болушунун себеби.
- Регрессия, бинардык классификация же көп класстуу классификация үчүн туура чыгаруу катмарын тандоо.