Как обучают LLM: предобучение, дообучение, RLHF
Когда вы общаетесь с современным ИИ-ассистентом, вы разговариваете с большой языковой моделью (LLM, от англ. Large Language Model) — очень большой компьютерной программой, которая предсказывает текст. Но этот дружелюбный и полезный ассистент не появился готовым. Его построили в три больших этапа, один поверх другого, за много месяцев и с огромными затратами.
На этом уроке мы открываем двери фабрики и наблюдаем, как LLM создаётся с нуля. Сначала «базовая модель» учит сырые закономерности языка, читая почти весь публичный интернет. Затем её учат следовать инструкциям. Наконец, её шлифуют с помощью обратной связи от человека, пока она не станет полезной и вежливой. К концу вы точно поймёте, почему ИИ-ассистенты так много знают, почему они иногда ошибаются, почему они не знают вчерашних новостей и почему две разные модели ИИ могут ощущаться настолько по-разному в разговоре.
Что вы узнаете
- Что на самом деле означает «обучение» и почему оно происходит в три отдельных этапа.
- Этап 1 — Предобучение: как модель учит язык, играя в гигантскую игру «угадай следующее слово», без каких-либо человеческих меток.
- Этап 2 — Инструкционное дообучение: как тщательно отобранные примеры диалогов учат базовую модель действительно отвечать на вопросы.
- Этап 3 — RLHF: как люди, ранжирующие ответы, и «модель вознаграждения» делают ассистента полезным и вежливым.
- Что такое системный промпт и как он формирует характер развёрнутого ассистента.
- Почему у моделей есть дата отсечения знаний и они не знают недавних событий.
- Почему разные модели ИИ ведут себя так по-разному.