Данные: топливо машинного обучения
Модель машинного обучения похожа на двигатель. Даже очень умный двигатель никуда не поедет без топлива — а в машинном обучении топливо — это данные. В этом уроке вы узнаете, как на самом деле выглядят данные для компьютера, как отличить хорошие данные от плохих и почему знаменитое правило «мусор на входе — мусор на выходе» определяет, добьётся ли ваша модель успеха или опозорит вас.
В прошлом уроке вы узнали, что модель учится на примерах, а не получает готовые точные правила. Этот урок — как раз об этих примерах. Каждый пример — это небольшой набор фактов, а множество примеров, сохранённых организованным образом, называется набором данных (dataset). Модель снова и снова читает набор данных, замечает закономерности и превращает их в способность делать прогнозы. Если примеры верные, их много и они справедливы, модель может выучить что-то истинное о мире. Если же примеры ошибочны, их слишком мало или они перекошены, модель послушно выучит неправильное. Качество данных — это не скучная мелочь, а самый главный фактор того, сработает ли проект машинного обучения.
Цели обучения — после этого урока вы сможете:
- Описать набор данных как таблицу из строк (примеров) и столбцов (признаков) и указать на столбец с меткой.
- Назвать основные типы признаков — числовые, категориальные, порядковые, текстовые и даты — и привести пример каждого.
- Перечислить, что делает данные хорошими, и пять типичных проблем, которые ломают модели.
- Объяснить принцип «мусор на входе — мусор на выходе» на реальном разобранном примере.
- Сказать, откуда берутся данные и какая ответственность связана с их сбором.
- Прочитать и осмотреть CSV-файл на Python с помощью нескольких строк библиотеки pandas.