Как работают большие языковые модели (LLM): токены и предсказание следующего слова
Одна главная идея: большая языковая модель (по-английски «LLM», Large Language Model — компьютерная программа вроде ChatGPT, которая читает и пишет текст) снова и снова делает одно на удивление простое действие. Она смотрит на уже написанный текст и угадывает следующий маленький кусочек текста. Затем добавляет этот кусочек и угадывает снова. В этом почти весь секрет.
Всё, что кажется волшебством — написание сочинения, ответ на вопрос, перевод с кыргызского на английский, — строится из этой одной повторяющейся догадки. В этом уроке мы открываем машину и рассматриваем каждую шестерёнку: как текст разрезается на токены, как модель превращает их в числа, как она вычисляет вероятность для каждого возможного следующего токена, как температура заставляет ответы различаться, что контекстное окно может и чего не может запомнить, и почему увеличение размера этих моделей открывает удивительные новые навыки.
Что вы научитесь делать
- Объяснять, что такое токен, и вручную разбивать реальное предложение на токены.
- Описывать словарь и то, как каждый токен становится числовым идентификатором токена (token ID).
- Пошагово проходить цикл предсказания следующего токена, включая вероятности.
- Объяснять, почему температура и сэмплирование приводят к тому, что один и тот же запрос даёт разные ответы.
- Рассказывать, что такое контекстное окно, что в него помещается и что забывается.
- Объяснять простыми словами, почему масштаб (параметры + данные + вычислительные ресурсы) приводит к эмерджентным способностям.
- Объяснять, почему беглый текст — это не то же самое, что понимание или наличие целей.