Признаки, которые важны: инженерия признаков
Модель машинного обучения ровно настолько умна, насколько хороши числа, которые вы ей подаёте. В этом уроке вы научитесь превращать сырые, неопрятные данные в мощные признаки — это тот единственный навык, который отличает посредственную модель от превосходной.
Главная идея
Новички думают, что секрет хорошей модели — в более навороченном алгоритме. Опытные практики знают правду: большая часть победы достигается ещё до того, как модель вообще запустится — в том, как вы подготовите входные данные. Эти входные данные называют признаками. Признак (feature) — это просто один столбец чисел, который описывает каждый пример.
Если ваши признаки прячут закономерность, ни один алгоритм не сможет её найти. Если ваши признаки раскрывают закономерность, засияет даже простая модель. Умение строить более удачные признаки называется инженерией признаков (feature engineering), и это один из самых ценных навыков во всём машинном обучении.
- Объяснить простыми словами, что такое признак и почему признаки важнее, чем выбор алгоритма.
- Создавать новые, более умные признаки из сырых данных: из дат, адресов, цен и текста.
- Использовать предметные знания (domain knowledge) — то, что вы знаете о реальном мире, — чтобы придумывать признаки, до которых компьютер никогда бы не додумался.
- Выполнять отбор признаков (feature selection): убирать бесполезные или повторяющиеся столбцы и понимать, почему «больше признаков» не всегда лучше.
- Описать проклятие размерности (curse of dimensionality) и интуицию, стоящую за снижением размерности методом PCA.
- Добавлять сконструированный столбец в pandas и читать
feature_importances_у модели.