Ашыкча ыңгайлашуу жана жетишсиз ыңгайлашуу: машиналык үйрөнүүнүн борбордук маселеси
Ар бир машиналык үйрөнүү (machine learning) моделинин чыныгы бир гана милдети бар: ал мурда эч көрбөгөн маалыматтарда жакшы иштеши керек. Бул жөндөмдүн аты бар — жалпылоо (generalization). Машыгуу суроолорунан 100% алып, бирок чыныгы экзаменден жыгылган модель пайдалуу эч нерсени үйрөнбөгөн болот. Бул сабакта моделдин жалпылай албай калуусунун эки жолу менен таанышабыз, аларды болгону эки сандан таанып билүүнү үйрөнөбүз жана экөө үчүн тең оңдоо каражаттарынын топтомун чогултабыз.
Бул, балким, бүткүл тармактагы эң маанилүү идея. Сиз бул курстагы бардык алгоритмдерди өздөштүрүшүңүз мүмкүн, бирок моделиңиз ашыкча ыңгайлашып жатабы же жетишсиз ыңгайлашып жатабы деп айырмалай албасаңыз, аны оңдой албайсыз. Бул сабактын аягында сиз кагаз бетиндеги диаграмманы окуган дарыгердей ар кандай моделге диагноз коё аласыз.
- Жалпылоо (generalization) эмнени билдирерин жана эмне үчүн маалыматты үйрөтүү топтому менен тест топтомуна бөлөрүбүздү.
- Жетишсиз ыңгайлашуу (underfitting) — чыныгы мыйзам ченемди кармай алгыдай эмес, өтө жөнөкөй модель.
- Ашыкча ыңгайлашуу (overfitting) — мыйзам ченемдин ордуна шумду (шуулду) жаттап алгыдай өтө ийкемдүү модель.
- Ажыратуучу белги: кайсы маселе бар экенин аныктоо үчүн үйрөтүү катасын тест катасына салыштыруу.
- Жылыш (bias) жана дисперсия (variance) жөнөкөй сөз менен, жана дартс тактасы аналогиясы.
- Моделдин татаалдык ийри сызыгы жана алтын орто (sweet spot).
- Эки маселе үчүн тең конкреттүү оңдоо каражаттары, анын ичинде регуляризация (regularization), эрте токтотуу (early stopping) жана кайчылаш текшерүү (cross-validation).