Перцептрон и функции активации
Любая огромная нейронная сеть, о которой вы слышали, — та, что распознаёт лица, та, что приводит в действие чат-бота, — построена из миллионов копий одной крошечной идеи, изобретённой в 1958 году: перцептрона (perceptron), единственного искусственного нейрона, способного учиться.
В этом уроке мы построим перцептрон вручную, посмотрим, как он шаг за шагом учится логическому элементу AND, откроем для себя знаменитую задачу, которая чуть не погубила всю область (XOR), а затем познакомимся с функциями активации — теми маленькими «кривыми принятия решений», которые дают нейронным сетям их настоящую силу.
- Объяснять, что такое перцептрон: входы, веса, смещение и активация.
- Вычислять выход перцептрона вручную и заполнять полную таблицу истинности.
- Строить логический элемент AND и превращать его в логический элемент OR, изменив всего одно число.
- Следить за правилом обучения перцептрона, когда оно подталкивает веса к правильному ответу.
- Объяснять, почему XOR не может быть решён одним перцептроном («не является линейно разделимым»).
- Объяснять, почему функции активации должны быть нелинейными, и описывать step, сигмоиду (sigmoid), гиперболический тангенс (tanh), ReLU, leaky ReLU и softmax — и когда применять каждую из них.
В 1958 году американский психолог по имени Фрэнк Розенблатт (Frank Rosenblatt) построил перцептрон. Он был вдохновлён клеткой мозга (нейроном), но на самом деле это просто небольшой кусочек арифметики. Перцептрон принимает несколько чисел, присваивает каждому оценку важности, всё складывает, а затем принимает решение «да/нет». Вот и вся машина.