Главная идея: машина, которая предсказывает следующее слово
Когда вы общаетесь с ChatGPT, Claude или Gemini, может показаться, что вы разговариваете с очень начитанным человеком. Но внутри нет ни маленького человечка, ни базы готовых ответов, ни настоящего понимания. Там работает большая языковая модель (LLM): гигантская нейронная сеть, обученная на огромных объёмах текста выполнять одну обманчиво простую задачу — предсказывать следующий токен (слово или часть слова) в последовательности. Повторите это предсказание тысячи раз — и получатся связные абзацы, стихи, переводы и объяснения.
К концу этого урока вы сможете:
- Объяснить, что такое большая языковая модель и что означает слово «большая».
- Рассказать, что такое токены, и показать, как предложение разбивается на них.
- Объяснить, как многократное предсказание следующего токена порождает целые ответы и что делает температура.
- Описать, на каких данных обучаются LLM и почему их знания имеют дату отсечения.
- Объяснить, что такое контекстное окно и почему чат-бот «забывает» старые разговоры.
- Объяснить, почему LLM звучат по-человечески, не обладая настоящим пониманием и собственными целями.
1. Что же такое большая языковая модель?
Большая языковая модель — это нейронная сеть, та же система из слоёв с настраиваемыми связями, с которой вы уже познакомились в этом курсе, но увеличенная до невероятных размеров и обученная на колоссальном количестве текста. Разберём три слова в названии:
- Большая — сеть содержит миллиарды внутренних настраиваемых чисел, называемых параметрами. Это «ручки», которые обучение постепенно подкручивает. Чем больше параметров, тем больше языковых закономерностей модель обычно способна уловить.