Оценка моделей: аккуратность, точность, полнота
Главная идея: обучить модель — это лишь половина работы. Вторая половина — честно задать вопрос: а эта модель вообще хороша? Чтобы ответить, нам нужны измерения — числа, которые говорят, как часто модель права, как часто ошибается и какого рода эта ошибка. Этот урок даёт полный набор инструментов, которым профессиональные инженеры машинного обучения оценивают модель.
Вы узнаете, что одна-единственная «оценка» может сильно вас обмануть, и как заглянуть глубже с помощью матрицы ошибок (confusion matrix) и четырёх чисел, которые из неё вытекают.
Что вы научитесь делать
- Объяснять, почему одного числа аккуратности недостаточно, особенно когда данные несбалансированы.
- Строить матрицу ошибок с нуля и давать определения TP, FP, FN, TN.
- Вычислять аккуратность, точность, полноту и F1 вручную по этой матрице.
- Решать, какая метрика важнее всего для конкретной задачи (спам против рака против мошенничества).
- Понимать компромисс между точностью и полнотой и ручку порога.
- Измерять модели регрессии с помощью MAE и RMSE и знать, когда какую предпочесть.
- Всегда сравнивать модель с простой базовой моделью (baseline).
- Читать вывод sklearn:
classification_reportиconfusion_matrix.
Почему одного числа недостаточно
Представьте, что друг говорит вам: «Моя модель точна на 99%!» Звучит потрясающе. Но это может быть одна из самых бесполезных моделей, когда-либо созданных. Как такое возможно?