Как обучаются нейросети: функции потерь и градиентный спуск
Только что созданная нейросеть не знает ничего. Её веса случайны, поэтому первые догадки — это по сути бессмыслица. «Обучение» — это процесс, который превращает эту случайную мешанину во что-то полезное. В этом уроке вы увидите весь механизм, благодаря которому происходит обучение: функцию потерь (loss function), которая одним-единственным числом измеряет, насколько сильно ошибается сеть, и градиентный спуск (gradient descent) — пошаговый метод, который сдвигает каждый вес в ту сторону, где это число становится меньше. Без символов математического анализа — только наглядные картинки и настоящая арифметика, которую можно проверить вручную.
Одна главная идея
Обучение = подстройка весов так, чтобы предсказания становились менее ошибочными. Вот и вся суть. Всё остальное — функции потерь, градиенты, скорость обучения, Adam — это лишь механизм, который снова и снова отвечает на два вопроса: «Насколько сильно я сейчас ошибаюсь?» и «В какую сторону подтолкнуть каждый вес, чтобы ошибаться чуть меньше?» Сеть обучается, задавая эти два вопроса миллионы раз и делая крошечный шаг после каждого.
- Объяснять, что такое функция потерь и зачем она нужна сети для обучения.
- Вычислять среднеквадратичную ошибку (Mean Squared Error, MSE) для набора предсказаний вручную.
- Простыми словами объяснять, почему перекрёстная энтропия (cross-entropy) так сурово наказывает уверенные неправильные ответы, и сравнивать два случая численно.
- Представлять ландшафт потерь (loss landscape) и описывать, почему обучение — это поиск самой низкой долины.
- Объяснять градиентный спуск и разбирать правило обновления
w = w - lr × gradientпо частям. - Вручную проследить полный спуск и увидеть, как вес сходится к правильному ответу.
- Объяснять, почему скорость обучения (learning rate) — самая важная настройка, и численно показывать, что происходит, когда она слишком мала или слишком велика.
- Описывать локальные минимумы, плато и седловые точки — и почему огромные сети всё равно нормально обучаются.
- Узнавать распространённые разновидности: пакетный, стохастический, мини-пакетный спуск, момент инерции (momentum) и Adam.