Ingeniería de características

Imagina que eres un chef y quieres preparar un delicioso plato. El modelo de aprendizaje automático es como tu 'algoritmo de cocina', y los datos brutos son los diversos ingredientes que compras en el mercado: verduras, carne, condimentos, pero algunos pueden estar sucios, otros enteros, y algunos con un sabor fuerte.Ingeniería de característicasEs el proceso de limpiar, cortar, marinar y combinar estos 'ingredientes' brutos, transformándolos en 'productos semielaborados' listos para cocinar. Es el puente que conecta los datos brutos con el modelo de aprendizaje automático y el paso clave que determina el límite superior del rendimiento del modelo.

En pocas palabras,Ingeniería de característicases el proceso de utilizar conocimiento del dominio, mediante una serie de técnicas, para extraer, construir y seleccionar características (variables) que sean más valiosas y más fáciles de aprender para el modelo de aprendizaje automático.


1. ¿Por qué es tan importante la ingeniería de características?

En un proyecto de aprendizaje automático, la calidad de los datos y las características determina directamente el límite superior del rendimiento del modelo, mientras que el modelo y los algoritmos solo se acercan a ese límite. Una buena ingeniería de características puede:

  1. Mejorar el rendimiento del modelo: Las buenas características facilitan que el modelo descubra patrones en los datos.
  2. Acelerar el entrenamiento del modelo: Reducir características irrelevantes o redundantes puede disminuir la complejidad computacional.
  3. Mejorar la capacidad de generalización del modelo: Evitar que el modelo se sobreajuste al ruido en los datos de entrenamiento.
  4. Adaptarse a los requisitos del modelo: Diferentes modelos tienen diferentes supuestos sobre los datos (por ejemplo, los modelos lineales asumen relaciones lineales); la ingeniería de características puede hacer que los datos cumplan estos supuestos.

Podemos utilizar el siguiente diagrama de flujo para comprender intuitivamente la posición de la ingeniería de características en todo el proceso de aprendizaje automático:


2. Operaciones principales de la ingeniería de características

La ingeniería de características incluye principalmente tres tipos de operaciones:Procesamiento de características、Construcción de característicasySelección de características。

1. Procesamiento de características

Este es el paso más básico, cuyo objetivo es 'limpiar' los datos brutos en un formato limpio y ordenado.

a) Manejo de valores faltantes

Los datos a menudo contienen valores faltantes (por ejemplo,NaN, NULL), que deben procesarse adecuadamente.

Método de procesamiento Descripción Escenario de aplicación
Eliminar Eliminar directamente las filas o columnas que contienen valores faltantes Cuando los datos faltantes son muy pocos, o cuando la característica no es importante
Rellenar Rellenar con un valor, como la media, la mediana, la moda o un valor especial (por ejemplo, -1) El método más común, aplicable a diversas situaciones
Interpolación Realizar interpolación mediante series temporales o puntos de datos adyacentes Datos de series temporales

Ejemplo de código (usando la biblioteca pandas de Python):

Ejemplo

import pandas as pd
import numpy as np

# Crear un DataFrame de ejemplo con valores faltantes
data = {'Edad': [25, np.nan, 30, 35, np.nan],
        'Salario': [50000, 54000, np.nan, 62000, 58000],
        'Ciudad': ['Pekín', Shanghái, 'Guangzhou', np.nan, 'Pekín']}
df = pd.DataFrame(data)
print("datos originales:")
print(df)

# 1. Eliminar los valores faltantes (eliminar cualquier fila que contenga NaN)
df_dropped = df.dropna()
print("\nDespués de eliminar los valores faltantes:")
print(df_dropped)

# 2. Rellenar valores faltantes
# Rellenar columnas numéricas con la media
df_filled = df.copy()
df_filled['Edad'].fillna(df_filled['Edad'].mean(), inplace=True)
df_filled['Salario'].fillna(df_filled['Salario'].mean(), inplace=True)
# Rellenar columnas categóricas con la moda
df_filled['Ciudad'].fillna(df_filled['Ciudad'].mode()[0], inplace=True)
print("\nDespués de imputar los valores faltantes:")
print(df_filled)

b) Manejo de valores atípicos

Los valores atípicos son valores que difieren notablemente de la mayoría de los datos y pueden interferir con el modelo. Los métodos de detección comunes incluyen:

  • Método de desviación estándar: considera que los valores fuera del rango de la media ± 3 veces la desviación estándar son atípicos.
  • Método de diagrama de caja: considera que los valores menores queQ1 - 1.5*IQRo mayores queQ3 + 1.5*IQRes un valor atípico (IQR = Q3 - Q1)。

El manejo puede ser eliminar, reemplazar con el valor límite o tratar como valor faltante.

c) Estandarización/Normalización de datos

Muchos modelos (como SVM, KNN, redes neuronales) son sensibles a la escala de las características. Necesitamos transformar características de diferentes escalas a una misma escala.

Método Fórmula Descripción Escenario de aplicación
Estandarización (x - 均值) / 标准差 Después del procesamiento, la media de los datos es 0 y la desviación estándar es 1 Cuando la distribución de los datos se aproxima a una distribución normal
Normalización (x - min) / (max - min) Escalar los datos al intervalo [0, 1] Cuando los límites de los datos son claros y se necesita un cálculo rápido

Ejemplo de código (usando la biblioteca scikit-learn):

Ejemplo

from sklearn.preprocessing import StandardScaler, MinMaxScaler
import numpy as np

# Datos de ejemplo
data = np.array([[1000, 25],
                 [1500, 30],
                 [800, 20],
                 [1200, 28]])

# Estandarización
scaler_standard = StandardScaler()
data_standardized = scaler_standard.fit_transform(data)
print("Datos estandarizados (media ~0, desviación estándar ~1):")
print(data_standardized)
print(fMedia: {data_standardized.mean(axis=0)})
print(fDesviación estándar: {data_standardized.std(axis=0)})

# normalización
scaler_minmax = MinMaxScaler()
data_normalized = scaler_minmax.fit_transform(data)
print("\nDatos normalizados (rango [0,1]):)
print(data_normalized)

2. Construcción de características

Al combinar o transformar características existentes, se crean características nuevas con mayor poder predictivo.

a) Transformación de características numéricas

  • Características polinómicas: crear cuadrados, cubos, etc., de características para ayudar a los modelos lineales a aprender relaciones no lineales.
  • Discretización: dividir la edad continua en intervalos como 'joven', 'mediana edad', 'anciano', discretizando datos continuos.
  • Transformación matemática: utilizar transformaciones como logaritmos, exponenciales, etc., para cambiar la distribución de los datos.

b) Codificación de características categóricas

Los modelos de aprendizaje automático no pueden procesar directamente texto como 'Beijing', 'Shanghái'. Es necesario convertirlos a números.

Método Descripción Particularidad
Codificación de etiquetas Asigna un entero único a cada categoría, por ejemplo,北京:0, 上海:1 Simple, pero puede introducir una relación de orden errónea (el modelo podría pensar que 1>0)
Codificación one-hot Crea una nueva característica binaria (0 o 1) para cada categoría Puede eliminar la confusión de orden, pero si hay muchas categorías, puede provocar una explosión de dimensionalidad.

Ejemplo de código:

Ejemplo

import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder

# Datos de ejemplo
df_cat = pd.DataFrame({'Ciudad': ['Pekín', Shanghái, 'Guangzhou', 'Pekín', 'Shenzhen']})

# Codificación de etiquetas
le = LabelEncoder()
df_cat['codificación_etiqueta_ciudad'] = le.fit_transform(df_cat['Ciudad'])
print("Resultado de codificación de etiquetas:")
print(df_cat)

# Codificación one-hot
# Método 1: Usar get_dummies de pandas
df_onehot_pd = pd.get_dummies(df_cat['Ciudad'], prefix='Ciudad')
print("\nCodificación one-hot con pandas:)
print(df_onehot_pd)

# Método 2: usar OneHotEncoder de sklearn (más común en pipelines)
ohe = OneHotEncoder(sparse_output=False) # sparse_output=False devuelve un array en lugar de una matriz dispersa
encoded_array = ohe.fit_transform(df_cat[['Ciudad']]) # Nota: la entrada es bidimensional
print("\nCodificación one-hot con sklearn (en forma de array):)
print(encoded_array)
print("Nombre de la nueva característica:", ohe.get_feature_names_out())

3. Selección de características

Seleccionar el subconjunto más importante de todas las características para reducir la dimensionalidad y disminuir el riesgo de sobreajuste.

Método Descripción
Método de filtrado Clasificar y filtrar según la correlación estadística entre las características y la variable objetivo (como varianza, prueba de chi-cuadrado, información mutua). Independiente de cualquier modelo.
Método envolvente Considera la selección de características como un problema de búsqueda, utilizando el rendimiento del modelo como criterio de evaluación (por ejemplo, eliminación recursiva de características RFE). Produce buenos resultados, pero con un alto costo computacional.
Método embebido Realiza la selección de características automáticamente durante el entrenamiento del modelo (por ejemplo, regularización L1 en regresión LASSO, importancia de características en modelos de árboles).

Ejemplo de código (selección basada en la importancia de las características):

Ejemplo

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import matplotlib.pyplot as plt

# cargar el conjunto de datos
data = load_breast_cancer()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# Entrenar un modelo de bosque aleatorio, que calculará la importancia de las características
model = RandomForestClassifier(n_estimators=100, random_state=42)
model.fit(X, y)

# Obtener importancia de características
importances = model.feature_importances_
feature_importance_df = pd.DataFrame({
    'Característica': data.feature_names,
    'Importancia': importances
}).sort_values('Importancia', ascending=False)

print("Orden de importancia de características:")
print(feature_importance_df.head(10)) # Ver las 10 características más importantes

# Visualización
plt.figure(figsize=(10, 6))
plt.barh(feature_importance_df['Característica'][:10], feature_importance_df['Importancia'][:10])
plt.xlabel('Importancia de características')
plt.title('Top 10 Importancia de características')
plt.gca().invert_yaxis() # Poner las más importantes en la parte superior
plt.show()

# Supongamos que seleccionamos características con importancia mayor a 0.03
selected_features = feature_importance_df[feature_importance_df['Importancia'] > 0.03]['Característica'].tolist()
print(f"\nCaracterísticas seleccionadas: {selected_features}")

3. Práctica: Procesar manualmente un conjunto de datos simple

Tarea: Realizar una ingeniería de características básica sobre el famoso conjunto de datos de pasajeros del Titanic, para preparar la predicción de si los pasajeros sobreviven.

Sugerencias de pasos:

  1. Cargar los datos (puedes usarseabornde la bibliotecaload_dataset('titanic'))。
  2. Observar los datos: revisar los tipos de características y la situación de los valores faltantes.
  3. Procesamiento de características:
    • Manejar valores faltantes (por ejemplo, rellenar con la medianaage, rellenar con la modaembarked)。
    • va asexcaracterística (Sexo) medianteCodificación de etiquetasoCodificación one-hot。
    • Sobreage(Edad) realizarBinningy crear una nueva característica de rango de edad.
  4. Construcción de características:
    • Combinarsibsp(número de hermanos/cónyuge) yparch(número de padres/hijos), para construir una nuevafamily_sizecaracterística de (tamaño familiar).
  5. Selección de características:
    • Eliminar características que consideres claramente irrelevantes (por ejemplo,passenger_id, name, ticket)。
    • Intenta calcular la correlación entre las características numéricas y la variable objetivo de supervivencia, y filtra las características.

Con este ejercicio, experimentarás de primera mano cómo los datos brutos se vuelven más "amigables" para los modelos de aprendizaje automático mediante la ingeniería de características paso a paso.

Resumen

La ingeniería de características es un oficio en el aprendizaje automático que combinaarte(conocimiento del dominio, experiencia, intuición) conciencia(métodos estadísticos, algoritmos). No tiene reglas fijas; requiere intentos e iteraciones constantes según los datos, el problema y el modelo específicos. Para principiantes, dominar los métodos básicos presentados en este artículo y practicar con frecuencia ya te permite sentar la base más sólida para construir modelos de aprendizaje automático eficaces. Recuerda,Los buenos modelos a menudo provienen de buenas características.。

Otras extensiones