Галлюцинации: почему LLM выдумывают факты
Главная мысль: большая языковая модель (LLM, large language model) может выдать вам предложение, которое звучит гладко, уверенно, грамматически безупречно — и при этом полностью ложно. В ИИ мы называем это галлюцинацией: модель утверждает что-то неправдивое так, будто это твёрдо установленный факт. Она не лжёт нарочно и не сломана. Она делает ровно то, для чего создана — порождает текст, который звучит правильно. А правдив ли этот текст на самом деле — это отдельный вопрос, который модель по-настоящему никогда не проверяла.
Этот урок учит вас ожидать галлюцинации, распознавать их и защищаться от них с помощью простой привычки: доверяй, но проверяй.
- Что такое галлюцинация простыми словами: уверенно, гладко и неверно.
- Коренная причина: LLM предсказывает правдоподобный текст; она не ищет факты в базе данных истины.
- Классические зоны риска, где галлюцинации случаются чаще всего (ссылки на источники, статистика, законы, медицинские и финансовые советы, биографии, недавние события).
- Реальные поучительные истории — включая юристов, наказанных за ссылки на судебные дела, которые ИИ выдумал.
- Как распознать вероятную галлюцинацию, прежде чем она вам навредит.
- Повторяемый алгоритм проверки, чтобы вы никогда не публиковали непроверенные утверждения ИИ.
- Почему заземление (grounding — режимы RAG и подключения к вебу) снижает число галлюцинаций, но никогда не устраняет их полностью.
Галлюцинация — это любой вывод языковой модели, который подаётся как факт, но является ложным, ничем не подкреплённым или выдуманным. Хитрость в том, как именно он ошибочен. Модель не запинается, не оговаривается и не оставляет пропуск. Она заполняет пробел чем-то, что выглядит совершенно разумно — правдоподобным именем, правдоподобной датой, правдоподобной цитатой, правдоподобной веб-ссылкой, которая ведёт в никуда.