Многослойные сети и прямое распространение
Один нейрон способен провести через ваши данные лишь одну прямую линию. Магия глубокого обучения начинается тогда, когда мы объединяем множество нейронов в слои и позволяем сигналу течь вперёд — от входов через скрытые слои к итоговому ответу. В этом уроке вы вручную построите крошечную сеть и шаг за шагом пропустите через неё настоящие числа, пока она не выдаст на выходе вероятность.
Отдельный нейрон берёт несколько чисел, умножает каждое на вес, складывает их, добавляет смещение (bias) и «сжимает» результат. Это мощно, но ограниченно. Реальные задачи — распознать рукописную цифру, отличить кошку от собаки, предсказать цену дома — слишком запутанны для одной прямой разделяющей линии.
Решение почти до смешного простое: возьмите много нейронов, расставьте их рядами, которые называются слоями, и подавайте выход одного ряда на вход следующего. Каждый слой немного преобразует данные, и к тому моменту, когда сигнал доходит до конца, сеть превращает запутанную задачу в лёгкую. Движение чисел по сети от входа к выходу называется прямым распространением (forward propagation) (или «прямым проходом»), и это самый важный процесс, который вы изучите сегодня.
- Назвать три вида слоёв (входной, скрытый, выходной) и объяснить, что хранит каждый из них.
- Простыми словами объяснить, что именно изучают скрытые слои и почему глубина часто выигрывает у ширины.
- Пересчитать каждый вес и каждое смещение в небольшой сети и связать это с «моделями, у которых миллиарды параметров».
- Выполнить полный прямой проход вручную на сети 2-3-2: взвешенные суммы, ReLU, softmax, итоговые вероятности.
- Увидеть, что всё это на самом деле одно большое матричное умножение — причина, по которой графические процессоры (GPU) так хороши в этой задаче.
- Выбрать правильный выходной слой для регрессии, бинарной классификации или многоклассовой классификации.