Рекуррентные сети и последовательности
Некоторые данные приходят в виде последовательности (sequence) — слова в предложении, ноты в песне, ежедневная цена хлеба на Ошском базаре. Порядок несёт смысл. Обычные нейронные сети не видят порядка. В этом уроке показано остроумное решение: сеть, которая читает по одному шагу за раз и переносит вперёд немного памяти — рекуррентная нейронная сеть (Recurrent Neural Network, RNN).
Что вы сможете делать после этого урока
- Объяснять, почему порядок важен в последовательных данных и почему обычная сеть прямого распространения (feedforward) его не видит.
- Описывать основную идею RNN: обрабатывать по одному элементу за раз, перенося скрытое состояние (hidden state) — текущую сводку — и повторно используя одни и те же веса на каждом шаге.
- Читать развёрнутую (unrolled) диаграмму RNN и следить за скрытым состоянием, пока оно течёт слева направо.
- Проследить работу крошечной RNN вручную на трёх шагах с реальными числами.
- Объяснять проблему долгой памяти (затухающие градиенты) и почему ранний контекст угасает.
- Описывать вентили LSTM и GRU на уровне простой интуиции, а также двунаправленные и многослойные RNN.
- Называть узкое место, которое RNN так и не преодолели, и почему это привело к трансформеру.