Основы обучения с подкреплением
Третий великий способ, которым учатся машины: не по книге с правильными ответами, а пробуя разное, наблюдая, что из этого выходит, и стремясь к вознаграждениям — ровно так же, как вы научились ездить на велосипеде или щенок учится команде «сидеть».
Главная идея
До сих пор в этом курсе вы познакомились с двумя семействами машинного обучения:
- Обучение с учителем (supervised learning) — вы показываете модели тысячи примеров, уже размеченных правильным ответом (это фото — кошка, вот тот дом продан за 90 000 сомов), и она учится воспроизводить эти ответы.
- Обучение без учителя (unsupervised learning) — вы даёте модели данные вообще без меток, и она сама находит скрытые группы или закономерности (разбивает покупателей на типы).
Обучение с подкреплением (reinforcement learning, RL) — это третье семейство, и оно отличается от обоих. Здесь нет набора данных с правильными ответами. Вместо этого агент (agent) живёт внутри среды (environment), совершает действия (actions) и время от времени получает числовое вознаграждение (reward) (количество очков), которое говорит ему, насколько хорошо он справляется. Вся задача агента — понять, опираясь только на эти вознаграждения, какие действия приносят больше всего награды со временем. Он учится методом проб и ошибок.
- Почему RL — это совершенно другой вид обучения по сравнению с обучением с учителем и без учителя.
- Семь ключевых слов RL — агент, среда, состояние, действие, вознаграждение, политика, эпизод — каждое объяснено на одном сквозном примере: робот в лабиринте.
- Цикл RL: наблюдать состояние, выбрать действие, получить вознаграждение и новое состояние, затем скорректировать поведение — и повторять.
- Дилемма исследование против использования (exploration vs exploitation) и простой приём эпсилон-жадной стратегии (epsilon-greedy), который её решает.
- Как задавать вознаграждения и в чём опасность взлома вознаграждения (reward hacking).
- Интуиция, стоящая за Q-обучением (Q-learning) — таблица чисел «насколько хорошо это действие здесь» — разобранная на реальных числах.
- Где RL блистает (игры, роботы, рекомендации и тот самый RLHF, который отшлифовал чат-ботов) и почему оно трудное.