Классификация: учим компьютер раскладывать объекты по группам
До сих пор в этом курсе вы в основном встречали регрессию — предсказание числа, например цены квартиры в Бишкеке. Классификация — вторая огромная половина обучения с учителем: вместо числа вы предсказываете категорию — метку из заранее заданного списка вариантов.
Это письмо — спам или не спам? На этой фотографии — кошка, собака или лошадь? Этот студент сдаст или не сдаст экзамен? У каждого из этих вопросов ответ — это имя (класс), а не измерение. На этом уроке вы познакомитесь с двумя из самых важных начальных классификаторов, когда-либо придуманных: метод k ближайших соседей (k-NN) и логистическая регрессия. Они достаточно просты, чтобы посчитать их вручную, и при этом объясняют идеи, лежащие в основе почти любого классификатора, которым вы когда-либо будете пользоваться.
Что вы сможете делать после этого урока
- Объяснять, что такое классификация, и отличать бинарные задачи от многоклассовых.
- Классифицировать совершенно новую точку вручную с помощью k-NN, используя таблицу расстояний, которую вы посчитаете сами.
- Говорить, на что влияет число k и почему k-NN нужны масштабированные признаки.
- Превращать линейную оценку в вероятность с помощью функции сигмоиды (sigmoid) и использовать порог 0,5 (а также знать, когда его сдвигать).
- Представлять оба метода как решающую границу (decision boundary), проведённую по диаграмме рассеяния.
- Отличать ленивые алгоритмы от энергичных и запускать оба классификатора в
scikit-learn.