Обработка естественного языка: как ИИ читает и пишет
Главная идея: компьютеры не понимают слова так, как люди, — они работают только с числами. Обработка естественного языка (NLP) — это раздел ИИ, который превращает человеческий язык в числа, с которыми машина может вычислять, позволяет модели находить закономерности в этих числах, а затем превращает числовой ответ модели обратно в полезный язык: перевод, краткое изложение, ответ чат-бота или пометку «этот отзыв положительный».
Каждый раз, когда вы используете Google Translate для кыргызского меню, диктуете сообщение вместо того, чтобы печатать, или просите чат-бота помочь с домашним заданием, вы пользуетесь NLP. В этом уроке вы увидите, почему человеческий язык удивительно сложен для машин, и узнаете хитрый приём — превращение слов в векторы, — который наконец-то заставил языковой ИИ работать хорошо.
К концу этого урока вы сможете:
- Объяснить, почему язык сложен для компьютеров: многозначность, контекст, идиомы, сарказм и огромное количество языков.
- Описать, как NLP превращает слова в числа (токены и векторы слов) и почему похожие слова оказываются рядом.
- Назвать основные задачи NLP: перевод, анализ тональности, реферирование, ответы на вопросы, чат-боты и распознавание речи.
- Объяснить, почему нейросетевой машинный перевод стал таким большим скачком в качестве по сравнению со старыми методами.
- Проследить весь конвейер NLP: текст токены числа модель результат.
1. Почему язык так сложен для компьютеров?
Для компьютера арифметика проста, а язык сложен — прямо противоположно тому, как это ощущают люди. Калькулятор 1970-х годов мог мгновенно перемножать большие числа, но до недавнего времени ни одна машина не могла надёжно определить, является ли фраза «Отлично, снова понедельник...» радостной. Вот пять главных препятствий: