Безопасность и согласование ИИ

Главная мысль: современная система ИИ делает ровно то, что велит ей её цель — а не то, на что вы втайне надеялись. Безопасность ИИ (AI safety) — это вся инженерная работа по тому, чтобы системы вели себя так, как мы задумали, без вредных сюрпризов. Согласование (alignment) — это более трудная внутренняя задача: сделать правильной саму цель, чтобы «делай то, что говорит цель» и «делай то, чего мы на самом деле хотели» стали одним и тем же.

Это не научная фантастика и не пророчество о гибели. Это практическая инженерная дисциплина, уже заметная в продуктах ИИ, которыми вы пользуетесь каждый день. К концу этого урока вы поймёте, почему умные люди беспокоятся о целях, как выглядит настоящая работа по безопасности внутри чат-бота и как отличить реальный ближайший риск от умозрительного долгосрочного — спокойно, с опорой на факты и без шумихи.

• Дать определение безопасности и согласования и объяснить, чем они различаются.
• Объяснить гейминг спецификации (specification gaming): почему оптимизатор делает то, что вы сказали, а не то, что вы имели в виду — на реальных задокументированных примерах.
• Показать, почему подход «просто напиши правила получше» проваливается, попытавшись полностью описать задачу «убери комнату безопасно».
• Сформулировать закон Гудхарта (Goodhart's law) и привести как бытовой, так и связанный с ИИ пример.
• Описать инструментальные цели (instrumental goals) (ресурсы, самосохранение) и объяснить, почему они беспокоят исследователей — без всякой истории про «злой ИИ».
• Назвать современные инструменты безопасности внутри реальных продуктов (RLHF, работа красной команды, обучение отказам, фильтры контента, интерпретируемость, оценки) и ограничения каждого из них.
• Отделить конкретные ближайшие риски от умозрительных долгосрочных опасений и описать честное состояние этой дискуссии.
• Объяснить, почему безопасность — это трудная инженерия, и как выглядит ответственная практика (поэтапные выпуски, аудиты, отчётность об инцидентах).