Эмбеддинги (embeddings): представление смысла в виде векторов
Нейронная сеть умеет только складывать и умножать числа. Как же она «понимает» слово cat (кошка) или замечает, что Bishkek — это такой же город, как Astana? Хитрость в том, чтобы превратить каждое слово в список чисел — в вектор — расположенный так, чтобы слова с близким смыслом оказывались рядом друг с другом. Именно эта идея, называемая эмбеддингом (embedding), незаметно приводит в действие поисковые системы, рекомендации, перевод и каждую большую языковую модель, которой вы когда-либо пользовались. Это урок-мост: он связывает голую арифметику сетей с запутанным миром человеческого смысла.
Что вы узнаете
- Почему смысл должен стать числами, прежде чем сеть сможет с ним что-либо вычислять.
- Почему два очевидных приёма — идентификаторы токенов (token IDs) и one-hot векторы — оба терпят неудачу, показано на реальных расстояниях, посчитанных вручную.
- Идею эмбеддинга: плотный вектор для каждого слова, чтобы близкий смысл = близкий вектор.
- Откуда берутся эти числа — они выучиваются из окружения слова, а не вписываются вручную.
- Знаменитую векторную арифметику: king − man + woman ≈ queen, посчитанную шаг за шагом.
- Косинусную близость (cosine similarity): почему направление важнее длины, с маленьким расчётом.
- Контекстные эмбеддинги из трансформеров, а также эмбеддинги предложений и документов.
- Реальные применения, связывающие весь курс воедино, и ограничения, которые нужно уважать.