Работа с данными — Очистка, нормализация и фичевая инженерия

Качественная работа с данными — это фундамент для успешного построения моделей машинного обучения. Данные из реального мира могут содержать ошибки, пропуски, быть в несоответствующем масштабе или формате. Для улучшения производительности модели и получения более точных предсказаний необходимо выполнить очистку данных, нормализацию и фичевую инженерию. Эти шаги помогают выявить важные зависимости в данных и устранить шум, который может влиять на обучение моделей.

---

Очистка данных

Проблемы с исходными данными

Данные, собранные из реальных источников, часто содержат ошибки, пропущенные значения, выбросы и дублирующиеся записи. Неправильно обработанные данные могут существенно ухудшить результаты модели, поэтому первым шагом является их очистка.

Основные проблемы, с которыми можно столкнуться:

• Пропущенные значения.
• Выбросы (аномальные значения).
• Дублирующиеся записи.
• Шум в данных (непредсказуемые или нерелевантные данные).

Обработка пропущенных значений

Пропущенные значения часто встречаются в данных и могут быть вызваны различными причинами: ошибками в сборе данных, техническими сбоями или отсутствием данных по определенным признакам.

Основные подходы к обработке пропусков:

1. Удаление строк или столбцов с пропущенными значениями: Этот метод применим, если пропусков мало и их удаление не повлияет на общую структуру данных.
2. Заполнение пропущенных значений: Заполнение пропусков средним, медианой или модой для числовых признаков и наиболее частым значением для категориальных признаков.
3. Предсказание пропущенных значений: Можно использовать алгоритмы машинного обучения для предсказания пропущенных значений на основе других признаков.

Обработка выбросов

Выбросы — это аномальные значения, которые значительно отклоняются от остальных данных и могут искажать результаты модели. Выбросы могут быть результатом ошибок сбора данных или просто редких, но значимых событий.

Методы работы с выбросами:

1. Удаление выбросов: Один из самых распространенных методов — удаление значений, которые сильно отклоняются от других данных. Часто используется метод межквартильного размаха (IQR).
2. Масштабирование выбросов: Выбросы можно не удалять, а уменьшить их влияние на модель, применив логарифмическую трансформацию или нормализацию.

Визуализация данных для выявления проблем

Перед тем как начать обработку данных, полезно визуализировать их, чтобы увидеть пропуски, выбросы и дисбаланс. Несколько полезных визуализаций:

• Box plot (ящик с усами) — для выявления выбросов.
• Heatmap — для отображения корреляции между признаками.
• Гистограмма — для оценки распределения данных.

import seaborn as sns
import matplotlib.pyplot as plt

# Визуализация выбросов
sns.boxplot(x=df['column_name'])
plt.show()

# Визуализация корреляции между признаками
sns.heatmap(df.corr(), annot=True)
plt.show()

---

Нормализация и стандартизация данных

Многие модели машинного обучения чувствительны к масштабу данных. Если признаки находятся в разных диапазонах (например, один в пределах 0-1, а другой — в пределах 0-1000), это может нарушить работу модели. Нормализация и стандартизация данных помогают устранить эту проблему.

Нормализация

Нормализация заключается в преобразовании данных таким образом, чтобы они находились в одном диапазоне, чаще всего от 0 до 1. Нормализация особенно полезна, когда данные имеют разный масштаб, и модель должна учитывать их пропорционально.

Формула нормализации:

Пример нормализации:

from sklearn.preprocessing import MinMaxScaler

# Нормализация данных
scaler = MinMaxScaler()
df_normalized = scaler.fit_transform(df)

Стандартизация

Стандартизация приводит данные к нулевому среднему и единичному стандартному отклонению. Этот метод полезен, если алгоритм предполагает нормальное распределение данных, как, например, линейные модели и SVM.

Формула стандартизации:

Пример стандартизации:

from sklearn.preprocessing import StandardScaler

# Стандартизация данных
scaler = StandardScaler()
df_standardized = scaler.fit_transform(df)

2.3 Когда использовать нормализацию или стандартизацию?

• Нормализация полезна для моделей, которые основаны на расстояниях, например, k-ближайших соседей (kNN) или нейронных сетей.
• Стандартизация применяется, когда данные должны быть нормально распределены или если модель использует такие методы, как линейная регрессия или SVM.

---

Фичевая инженерия

Фичевая инженерия — это процесс создания новых признаков, которые помогают улучшить качество модели. Новые признаки могут быть созданы из существующих данных, включая такие операции, как трансформации признаков, их комбинации или извлечение полезной информации из сырых данных.

Создание новых признаков

Примеры создания новых признаков:

1. Признаки на основе дат: Временные данные часто содержат скрытую информацию, которую можно извлечь, разделив временные метки на составляющие (день, месяц, час и т.д.).
2. Комбинирование признаков: Полезно создавать новые признаки, комбинируя существующие. Это может быть произведение или деление признаков, создание отношений.
3. Бинаризация признаков: Иногда полезно перевести числовые признаки в бинарный формат (например, 0 и 1), основываясь на пороговом значении.

Работа с категориальными признаками

Категориальные признаки необходимо преобразовать в числовую форму, чтобы их можно было использовать в моделях машинного обучения.

1. One-Hot Encoding: Этот метод создает отдельный бинарный признак для каждого уникального значения в категориальном признаке.
2. Label Encoding: Категориальные значения преобразуются в числовые индексы. Этот метод подходит для деревьев решений и случайных лесов.

Преобразование признаков

Иногда полезно применить математические преобразования к признакам, чтобы улучшить их вклад в модель.

1. Логарифмирование: Логарифмическая трансформация помогает уменьшить влияние больших значений и делает данные более «нормальными».
2. Квадратный корень: Применение квадратного корня к данным уменьшает влияние крупных значений, сохраняя их порядок.

Работа с корреляцией признаков

Избыточные или высоко коррелированные признаки могут ухудшить работу модели и увеличить ее сложность. Анализ корреляций помогает выявить такие признаки и, при необходимости, удалить их.

Пример анализа корреляции:

import seaborn as sns

# Визуализация корреляции между признаками
sns.heatmap(df.corr(), annot=True, cmap='coolwarm')
plt.show()

---

Работа с большими данными

При работе с большими объемами данных традиционные методы могут быть слишком медленными. Для таких случаев существуют библиотеки и инструменты, которые помогают обрабатывать данные эффективно:

• Dask: Библиотека для параллельной обработки данных, поддерживающая работу с большими объемами.
• PySpark: Фреймворк для распределенной обработки данных, который позволяет масштабировать обработку на кластерах.

Пример использования Dask:

import dask.dataframe as dd

# Загрузка данных с использованием Dask
df = dd.read_csv('large_dataset.csv')

# Применение операций
df = df.dropna().compute()

---

Заключение

Подготовка данных — это основополагающий этап для успешного применения моделей машинного обучения. Очистка данных от ошибок, нормализация или стандартизация признаков, а также фичевая инженерия могут значительно улучшить качество модели. Эти шаги позволяют раскрыть скрытые зависимости в данных и повысить эффективность обучения моделей. Грамотная работа с данными помогает не только улучшить качество моделей, но и сократить их вычислительную сложность.

---

Рекомендации для самостоятельного изучения:

• Книга «Feature Engineering for Machine Learning: Principles and Techniques for Data Scientists» от Alice Zheng и Amanda Casari.
• Онлайн-курсы по фичевой инженерии на Coursera и Kaggle.
• Практические задачи на Kaggle для работы с данными.