Рекурренттик тармактар жана ырааттуулуктар
Кээ бир маалыматтар ырааттуулук түрүндө келет — сүйлөмдөгү сөздөр, ырдагы ноталар, Ош базарындагы нандын күн сайынкы баасы. Тартип маани алып жүрөт. Кадимки нейрондук тармактар тартипти көрбөйт. Бул сабак акылдуу чечимди көрсөтөт: маалыматты бир кадам сайын окуп, кичинекей эс тутумун алдыга алып жүргөн тармак — Рекурренттик нейрондук тармак (Recurrent Neural Network, RNN).
Бул сабактан кийин сиз эмнелерди жасай аласыз
- Ырааттуу маалыматта тартип эмне үчүн маанилүү экенин жана жөнөкөй түз таралуучу тармак (feedforward network) аны эмне үчүн көрө албай турганын түшүндүрүп бере аласыз.
- RNNдин негизги идеясын сүрөттөп бере аласыз: жашырын абалды (hidden state) (жүрүп жаткан жыйынтык) алып жүрүп, ар бир кадамда бир эле салмактарды кайра колдонуп, элементтерди бирден иштетүү.
- Жайып чыгарылган (unrolled) RNN схемасын окуп, жашырын абалдын солдон оңго карай агылышын кузата аласыз.
- Кичинекей RNNди чыныгы сандар менен үч кадам боюнча кол менен эсептеп чыга аласыз.
- Узак эстутум көйгөйүн (жоголуучу градиенттер, vanishing gradients) жана алгачкы контекст эмне үчүн жоголуп кетерин түшүндүрө аласыз.
- LSTM жана GRU дарбазаларын жөнөкөй интуиция аркылуу, ошондой эле эки багыттуу жана катмарлаштырылган RNNдерди сүрөттөп бере аласыз.
- RNNдер эч качан чечпеген тардыкты (bottleneck) атай аласыз — жана ал эмне үчүн трансформерге алып келгенин айта аласыз.