Предвзятость в системах ИИ
Система машинного обучения может быть точной в среднем и при этом несправедливой к конкретной группе людей. Именно этот разрыв мы называем предвзятостью (bias), и это одна из важнейших идей в этике ИИ.
В этом уроке вы узнаете, что именно означает предвзятость (и чего она не означает), где она прокрадывается в систему стадия за стадией, самые известные реальные случаи, почему «справедливость» — это не что-то одно, а выбор, который должны сделать люди, и каковы честные ограничения любого способа устранения. Мы будем использовать реальные цифры, реальные задокументированные случаи и близкие нам примеры из Центральной Азии.
Чему вы научитесь
- Различию между предвзятостью (систематической несправедливостью) и случайной ошибкой (шумом), показанному на цифрах.
- Пяти местам, где предвзятость входит в систему машинного обучения, каждое с конкретной историей.
- Почему удаление столбца «раса» или «пол» не устраняет предвзятость (прокси-переменные).
- Как петли обратной связи со временем усиливают небольшую предвзятость.
- Трём известным задокументированным случаям: COMPAS, инструмент найма Amazon и Gender Shades.
- Трём конкурирующим определениям «справедливости» и почему они могут сталкиваться.
- Как обнаруживать предвзятость (дезагрегированная оценка) и как её снижать, с честными ограничениями каждого способа.
- Почему модели, обученные на англоязычных/западных данных, хуже работают с кыргызскими именами, лицами и языками.
Главная идея: предвзятость — это не то же самое, что «иногда ошибаться»
Любая система ИИ совершает ошибки. Само по себе это не предвзятость. Ошибка становится предвзятостью, когда ошибки ложатся тяжелее на одну группу людей, чем на другую, повторяющимся, закономерным образом.
Два ключевых понятия:
- Случайная ошибка (шум): ошибки, разбросанные равномерно. Иногда модель ошибается насчёт мужчины, иногда насчёт женщины, иногда насчёт горожанина, иногда насчёт сельского жителя — без каких-либо предпочтений. Если нельзя предсказать, кому достанется, то это просто шум.