Моделдерди баалоо: тууралык (accuracy), тактык (precision), толуктук (recall)
Негизги ой: Моделди үйрөтүү — иштин болгону жарымы. Экинчи жарымы — чынчыл суроо берүү: бул модель чын эле жакшыбы? Ага жооп берүү үчүн бизге өлчөөлөр керек — модель канчалык көп туура, канчалык көп ката кетирерин жана кандай түрдөгү ката экенин айтып берген сандар. Бул сабак сизге кесипкөй машина үйрөнүү (machine learning) инженерлери моделди баалоо үчүн колдонгон толук аспаптар топтомун берет.
Жалгыз "упай" сизди катуу адаштырышы мүмкүн экенин, ошондой эле чаташуу матрицасы (confusion matrix) жана андан чыккан төрт сандын жардамы менен тереңирээк кароону үйрөнөсүз.
Сиз эмнени жасай алат болосуз
- Эмне үчүн бир гана тууралык саны жетишсиз экенин, айрыкча маалымат тең салмаксыз болгондо, түшүндүрүү.
- Чаташуу матрицасын нөлдөн баштап куруу жана TP, FP, FN, TN түшүнүктөрүн аныктоо.
- Ошол матрицадан тууралыкты, тактыкты, толуктукту жана F1 кол менен эсептөө.
- Тигил же бул маселе үчүн кайсы метрика эң маанилүү экенин чечүү (спам, рак, алдамчылык).
- Тактык-толуктук соодалашуусун жана босого (threshold) дөңгөлөгүн түшүнүү.
- Регрессия моделдерин MAE жана RMSE менен өлчөө жана кайсынысын качан тандоону билүү.
- Моделди дайыма жөнөкөй базалык деңгээл (baseline) менен салыштыруу.
- sklearn'дин
classification_reportжанаconfusion_matrixчыгарган натыйжаларын окуй билүү.
Эмне үчүн бир сан жетишсиз
Досуңуз сизге: "Менин моделим 99% так!" деп айтты дейли. Бул укмуштай угулат. Бирок ал эң пайдасыз моделдердин бири болушу мүмкүн. Бул кантип болушу мүмкүн?