Маалыматты даярдоо: тазалоо, масштабдоо жана бөлүштүрүү
Машина үйрөнүү (machine learning) модели сиз берген маалымат канчалык жакшы болсо, ошончолук жакшы болот. Чыныгы маалымат баш-аламан келет: боштуктары, каталары, кайталанган саптары, бири-биринен алда канча айырмаланган сан диапазондору жана модель сан күткөн жерде текст менен келет. Кайсы бир алгоритм үйрөнө электе, сиз ошол чийки баш-аламандыкты таза, сандык, адилет ченелген таблицаларга айландырып, анан анын бир бөлүгүн адал текшерүү үчүн жашырып коюшуңуз керек.
Кээде муну кызыксыз бөлүк деп аташат. Андай эмес. Чыныгы долбоорлордо маалыматты даярдоо, адатта, бүт иштин 60–80%ын түзөт, жана бул моделиңиздин канчалык жакшы иштээрине эң чоң таасир этүүчү фактор. Начар маалыматтагы гениалдуу алгоритм жакшы даярдалган маалыматтагы жөнөкөй алгоритмге дээрлик ар дайым утулат. Бул сабак ошол даярдоо боюнча сиздин толук колдонмоңуз.
Сиз эмнелерди жасай аласыз
- Эмне үчүн чийки маалымат эч качан модель үчүн даяр эместигин түшүндүрүү.
- Жетишпеген маанилерди (missing values) ташташуу же орточо маани, медиана же мода менен толтуруу аркылуу иштетүү — жана алардын ар биринин артыкчылык-кемчиликтерин билүү.
- Кайталанган саптарды (duplicates) алып салуу, туура эмес маалымат түрлөрүн оңдоо жана четтеп кеткен маанилерди (outliers) башкаруу.
- Категорияларды (текстти) белги коддоо (label encoding) жана one-hot коддоо (one-hot encoding) менен сандарга айландыруу.
- Ар бир санды мин–макс нормалдаштыруу (min–max normalisation) жана стандартташтыруу (standardisation) аркылуу адилет масштабга коюу, сандарды кол менен эсептеп.
- Маалыматты окутуу жана тесттик топтомдорго бөлүштүрүү жана моделди өзү үйрөнгөн маалыматта эч качан баалабоо керектигин ачык айтуу.
- Маалыматтын агып чыгуусун (data leakage) байкоо жана болтурбоо — сизди начар моделге ишенүүгө алдаган унчукпас ката.