Инженерия признаков

Представьте, что вы шеф-повар, готовящий вкусное блюдо. Модель машинного обучения похожа на ваш "алгоритм приготовления", а исходные данные — это различные ингредиенты, купленные на рынке: овощи, мясо, приправы, но некоторые могут быть в грязи, некоторые — целыми кусками, а некоторые имеют сильный запах.Инженерия признаков— это процесс очистки, нарезки, маринования и объединения этих исходных "ингредиентов" в "полуфабрикаты", которые можно сразу готовить. Это мост, соединяющий исходные данные и модели машинного обучения, и ключевой шаг, определяющий верхний предел эффективности модели.

Проще говоря,инженерия признаков— это процесс использования знаний предметной области, посредством ряда технических приёмов, для извлечения, конструирования и выбора признаков (переменных), которые более ценны и легче изучаются моделями машинного обучения из исходных данных.


I. Почему инженерия признаков так важна?

В проектах машинного обучения качество данных и признаков напрямую определяет верхний предел эффективности модели, тогда как модели и алгоритмы лишь приближаются к этому пределу. Отличная инженерия признаков может:

  1. Улучшить эффективность модели: Хорошие признаки позволяют модели легче обнаруживать закономерности в данных.
  2. Ускорить обучение модели: Сокращение нерелевантных или избыточных признаков может снизить вычислительную сложность.
  3. Повысить обобщающую способность модели: предотвратить переобучение модели на шуме в обучающих данных.
  4. Адаптироваться к требованиям модели: Разные модели имеют разные предположения о данных (например, линейные модели предполагают линейные зависимости); инженерия признаков может заставить данные удовлетворять этим предположениям.

С помощью следующей блок-схемы можно наглядно понять место инженерии признаков во всём конвейере машинного обучения:


II. Основные операции инженерии признаков

Инженерия признаков в основном включает три основные категории операций:обработка признаков,、конструирование признаковиотбор признаков。

1. Обработка признаков

Это самый базовый этап, направленный на "очистку" исходных данных и приведение их к чистому и хорошо организованному формату.

a) Обработка пропущенных значений

Пропущенные значения часто встречаются в данных (например,NaN, NULL), и их нужно обрабатывать надлежащим образом.

Способ обработки Описание Сценарий применения
Delete Непосредственно удалить строки или столбцы, содержащие пропущенные значения Когда пропущенных данных очень мало или признак неважен
Импутация Заполнение определённым значением, например средним, медианой, модой или специальным значением (например, -1) Наиболее часто используемый метод, применимый в различных ситуациях
Интерполяция Использование временных рядов или соседних точек данных для расчёта интерполяции Данные временных рядов

Пример кода (с использованием библиотеки pandas для Python):

Пример

import pandas as pd
import numpy as np

# Создать пример DataFrame с пропущенными значениями
data = {'age': [25, np.nan, 30, 35, np.nan],
        'salary': [50000, 54000, np.nan, 62000, 58000],
        'city': ['Пекин', 'Шанхай', 'Гуанчжоу', np.nan, 'Beijing']}
df = pd.DataFrame(data)
print(“Исходные данные:”)
print(df)

# 1. 删除缺失值 (删除任何包含 NaN 的行)
df_dropped = df.dropna()
print("\n删除缺失值后:")
print(df_dropped)

# 2. 填充缺失值
# 用均值填充数值列
df_filled = df.copy()
df_filled['age'].fillna(df_filled['age'].mean(), inplace=True)
df_filled['salary'⟦⟧fillna].fillna(df_filled['salary'].mean(), inplace=True)
# 用众数填充分类列
df_filled['city'].fillna(df_filled['city'].mode()[0], inplace=True)
print("\n填充缺失值后:")
print(df_filled)

б) Обработка выбросов

Выбросы — это значения, которые значительно отличаются от большинства данных и могут мешать модели. Распространённые методы обнаружения включают:

  • Метод стандартного отклонения: значения, выходящие за пределы диапазона среднего значения ± 3 стандартных отклонения, считаются выбросами.
  • Метод ящика с усами: значения меньшеQ1 - 1.5*IQRили большеQ3 + 1.5*IQRсчитаются выбросами (IQR = Q3 - Q1)。

Методы обработки могут включать удаление, замену граничными значениями или обработку их как пропущенных значений.

в) Стандартизация/нормализация данных

Многие модели (такие как SVM, KNN, нейронные сети) чувствительны к масштабам признаков. Нам нужно привести признаки разных масштабов к одному масштабу.

Метод Формула Описание Сценарий применения
Стандартизация (x - 均值) / 标准差 После обработки данные имеют среднее 0 и стандартное отклонение 1 Когда распределение данных приблизительно нормальное
Нормализация (x - min) / (max - min) Масштабируйте данные к интервалу [0, 1] Когда границы данных чёткие и требуется быстрый расчёт

Пример кода (с использованием библиотеки scikit-learn):

Пример

from sklearn.preprocessing import StandardScaler, MinMaxScaler
import numpy as np

# Пример данных
data = np.array([[1000, 25],
                 [1500, 30],
                 [800, 20],
                 [1200, 28]])

# Стандартизация
scaler_standard = StandardScaler()
data_standardized = scaler_standard.fit_transform(data)
print("Стандартизированные данные (среднее ~ 0, стандартное отклонение ~ 1):")
print(data_standardized)
print(f"Среднее: {data_standardized.mean(axis=0)}")
print(f"Стандартное отклонение: {data_standardized.std(axis=0)}")

# Нормализация
scaler_minmax = MinMaxScaler()
data_normalized = scaler_minmax.fit_transform(data)
print("\nНормализованные данные (диапазон [0,1]): ")
print(data_normalized)

2. Конструирование признаков

Создавайте новые, более предсказательные признаки, комбинируя или преобразуя существующие признаки.

a) Преобразование числовых признаков

  • Полиномиальные признаки: создавайте квадраты, кубы и т. д. признаков, чтобы помочь линейным моделям улавливать нелинейные зависимости.
  • Биннинг: разделите непрерывный возраст на интервалы, такие как "молодой", "средний возраст", "пожилой", дискретизируя непрерывные данные.
  • Математическое преобразование: используйте такие преобразования, как логарифм, экспонента и т. д., чтобы изменить распределение данных.

b) Кодирование категориальных признаков

Модели машинного обучения не могут напрямую обрабатывать текст, такой как "Пекин", "Шанхай". Его необходимо преобразовать в числа.

Метод Описание Характеристики
Кодирование меток Присвойте каждой категории уникальное целое число, например,北京:0, 上海:1 Просто, но может привести к неправильным отношениям порядка (модель может подумать, что 1>0)
One-hot-кодирование Создать новый бинарный признак (0 или 1) для каждой категории Может устранить непонимание порядка, но если категорий много, это приведёт к взрыву размерности признаков

Пример кода:

Пример

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# Пример данных
df_cat = pd.DataFrame({'city': ['Beijing', 'Shanghai', 'Guangzhou', 'Beijing', 'Shenzhen']})

# Кодирование меток
le = LabelEncoder()
df_cat['city_label_encoding'] = le.fit_transform(df_cat['city'])
print("Результат кодирования метками:")
print(df_cat)

# Одноразрядное кодирование
# Способ 1: использовать pandas get_dummies
df_onehot_pd = pd.get_dummies(df_cat['city'], prefix='city')
print("\nИспользуйте pandas для one-hot кодирования: ")
print(df_onehot_pd)

# Метод 2: Использование OneHotEncoder из sklearn (чаще используется в конвейерах)
ohe = OneHotEncoder(sparse_output=False) # sparse_output=False возвращает массив вместо разреженной матрицы
encoded_array = ohe.fit_transform(df_cat[['city']]) # Обратите внимание, что входные данные должны быть 2D
print("\nOne-hot кодирование с использованием sklearn (в виде массива):")
print(encoded_array)
print("Название нового признака:", ohe.get_feature_names_out())

3. Отбор признаков

Выберите наиболее важное подмножество из всех признаков, чтобы уменьшить размерность и снизить риск переобучения.

Метод Описание
Метод фильтрации Ранжирование и фильтрация на основе статистической корреляции между признаками и целевой переменной (например, дисперсия, критерий хи-квадрат, взаимная информация). Не зависит от модели.
Метод обертки Рассматривает отбор признаков как задачу поиска, используя производительность модели в качестве критерия оценки (например, рекурсивное исключение признаков, RFE). Лучшие результаты, но высокие вычислительные затраты.
Встроенный метод Выполняет отбор признаков автоматически во время обучения модели (например, L1-регуляризация, LASSO-регрессия, важность признаков в древовидной модели).

Пример кода (отбор на основе важности признаков):

Пример

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import matplotlib.pyplot as plt

# Загрузить набор данных
data = load_breast_cancer()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# Обучите модель случайного леса, которая вычислит важность признаков
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X, y)

# Получите важность признаков
importances = model.feature_importances_
feature_importance_df = pd.DataFrame({
    'Feature': data.feature_names,
    'Importance': importances
}).sort_values('Importance', ascending=False)

print("Рейтинг важности признаков:")
print(feature_importance_df.head(10)) # Просмотр 10 наиболее важных признаков

# Визуализация
plt.figure(figsize=(10, 6))
plt.barh(feature_importance_df['Feature'][:10], feature_importance_df['Importance'][:10])
plt.xlabel('Важность признаков')
plt.title('Топ-10 важных признаков')
plt.gca().invert_yaxis() # Расположить самые важные сверху
plt.show()

# Предположим, мы выбираем признаки с важностью больше 0.03
selected_features = feature_importance_df[feature_importance_df['Importance'] > 0.03]['Feature'].tolist()
print(f"\n" Отфильтрованные признаки: {selected_features}")

III. Практическое упражнение: Обработка простого набора данных вручную

Задача: Выполните базовое конструирование признаков на знаменитом наборе данных о пассажирах «Титаник», чтобы подготовиться к прогнозированию выживаемости пассажиров.

Подсказки по шагам:

  1. Загрузите данные (можно использоватьseabornиз библиотекиload_dataset('titanic'))。
  2. Изучите данные: проверьте типы признаков и пропущенные значения.
  3. Обработка признаков:
    • Обработайте пропущенные значения (например, заполните медианойage, заполните модойembarked)。
    • будетsexПризнак (Sex) с использованиемlabel encodingилиone-hot encoding。
    • Параage(Age) с использованиембиннинга, создайте новый признак возрастной группы.
  4. Конструирование признаков:
    • Объединитеsibsp(количество братьев/сестер и супругов) иparch(количество родителей/детей), чтобы создать новыйfamily_sizeпризнак (размер семьи).
  5. Отбор признаков:
    • Удалите признаки, которые, по вашему мнению, явно нерелевантны (например,passenger_id, name, ticket)。
    • Попробуйте вычислить корреляцию между числовыми признаками и целевой переменной выживания и отфильтровать признаки.

С помощью этого упражнения вы на собственном опыте увидите, как сырые данные становятся более «дружелюбными» для моделей машинного обучения благодаря пошаговому конструированию признаков.

Итог

Конструирование признаков — это ремесло в машинном обучении, которое сочетаетискусство(знания предметной области, опыт, интуицию) инауку(статистические методы, алгоритмы). У него нет фиксированных правил; оно требует повторных проб и итераций с учётом конкретных данных, задачи и модели. Новичкам освоение базовых методов, представленных в этой статье, и усердная практика заложат прочнейшую основу для создания эффективных моделей машинного обучения. Запомните,отличные модели часто получаются из отличных признаков。

Другие расширения