Preprocesamiento de Datos en Sklearn

El preprocesamiento de datos es un paso clave en un proyecto de aprendizaje automático, ya que afecta directamente el efecto de entrenamiento y el rendimiento final del modelo.

Al realizar el modelado de aprendizaje automático, el preprocesamiento de datos es un paso crucial; nos ayuda a limpiar y transformar los datos brutos para proporcionar la mejor entrada al modelo de aprendizaje automático.

El preprocesamiento de datos involucra varios pasos, incluyendo el manejo de valores faltantes, la transformación de datos, la estandarización, la codificación, etc.

Un preprocesamiento adecuado no solo mejora la precisión del modelo, sino que también ayuda al modelo a generalizar mejor.


1. Manejo de valores faltantes

Los valores faltantes se refieren a la ausencia de valores en algunas características del conjunto de datos.

Los algoritmos de aprendizaje automático generalmente no pueden manejar directamente los valores faltantes, por lo que necesitamos tratarlos.

Comprobar valores faltantes

Primero, comprobar si hay valores faltantes en el conjunto de datos.

Normalmente se puede usar pandas para ver los valores faltantes en el conjunto de datos:

Ejemplo

import pandas as pd

# Supongamos que tenemos un DataFrame df
print(df.isnull().sum())  # Ver el número de valores faltantes en cada columna

Rellenar valores faltantes

Para el manejo de valores faltantes, el método más común es el relleno.

Las estrategias comunes de relleno incluyen:

  • Relleno con la media (Mean): adecuado para datos numéricos.
  • Relleno con la mediana (Median): para conjuntos de datos con valores atípicos, usar la mediana puede ser más eficaz.
  • Relleno con el valor más frecuente (Mode): adecuado para datos categóricos.

En scikit-learn, SimpleImputer puede implementar fácilmente el relleno de valores faltantes:

Ejemplo

from sklearn.impute import SimpleImputer

# Para datos numéricos, rellenar con la media
imputer = SimpleImputer(strategy='mean')  # Opciones: 'mean', 'median', 'most_frequent'
df_imputed = imputer.fit_transform(df)  # Rellenar valores faltantes

Eliminar valores faltantes

Si la cantidad de valores faltantes es pequeña y eliminar estos datos no afecta significativamente los resultados del análisis, otra opción es eliminar directamente los valores faltantes.

df_cleaned = df.dropna()  # 删除包含缺失值的行
Para más contenido, se puede consultar:Limpieza de datos con Pandas

2. Escalado de datos

Los algoritmos de aprendizaje automático son sensibles a la escala de los datos, por lo que es necesario escalar los datos para que las características tengan la misma escala.

Los métodos comunes de escalado son:

  • Estandarización: convierte los datos a una distribución con media 0 y desviación estándar 1. Adecuado para la mayoría de los algoritmos de aprendizaje automático.
  • Normalización: escala los datos a un rango específico (generalmente [0, 1]).

Estandarización

La estandarización se puede implementar con StandardScaler, que convierte cada característica a media cero y varianza unitaria:

Ejemplo

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # Estandarizar X

Normalización

La normalización escala cada característica a un rango especificado (generalmente [0, 1]).

MinMaxScaler se utiliza para normalizar los datos:

Ejemplo

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(X)  # Normalizar X

¿Por qué se necesitan la estandarización y la normalización?

  • Estandarización: es muy importante para métricas de distancia (como K vecinos más cercanos, máquinas de vectores de soporte, etc.), porque la escala inconsistente de las características puede hacer que algunas características influyan demasiado en el modelo. La estandarización asegura que cada característica contribuya por igual al modelo.

  • Normalización: algunos algoritmos (como redes neuronales, algoritmos de optimización por descenso de gradiente, etc.) son muy sensibles al rango de los datos de entrada; la normalización ayuda a acelerar la convergencia.


3. Codificación de variables categóricas

Los modelos de aprendizaje automático generalmente no pueden procesar directamente variables categóricas de tipo cadena, por lo que es necesario convertir las variables categóricas en datos numéricos.

Los métodos comunes de codificación son:

Codificación de etiquetas

La codificación de etiquetas asigna a cada categoría un entero único.

Es adecuada para casos donde hay una relación de orden entre las categorías (por ejemplo, bajo, medio, alto).

Ejemplo

from sklearn.preprocessing import LabelEncoder

# Supongamos que tenemos una variable categórica y
label_encoder = LabelEncoder()
y_encoded = label_encoder.fit_transform(y)  # Convertir la variable categórica en enteros

Codificación one-hot

La codificación one-hot convierte cada categoría en un vector binario; es adecuada para casos donde no hay relación de orden entre las categorías (por ejemplo, colores, países, etc.).

OneHotEncoder puede convertir variables categóricas en codificación one-hot.

Ejemplo

from sklearn.preprocessing import OneHotEncoder

# Supongamos que tenemos una variable categórica X
encoder = OneHotEncoder(sparse=False)  # sparse=False devuelve una matriz densa
X_encoded = encoder.fit_transform(X)  # Convertir la variable categórica en codificación one-hot

En pandas, también se puede usar la función get_dummies() para realizar la codificación one-hot:

X_encoded = pd.get_dummies(X)

4. Selección de características

La selección de características consiste en elegir las características más importantes para mejorar el rendimiento del modelo y reducir el costo computacional.

Los métodos comunes de selección de características incluyen:

Selección de características basada en modelos

Utilizar algunos modelos de aprendizaje automático (comoárboles de decisiónobosques aleatorios) para evaluar la importancia de las características y así realizar la selección de características.

Ejemplo

from sklearn.ensemble import RandomForestClassifier

# Entrenar un modelo de bosque aleatorio
clf = RandomForestClassifier()
clf.fit(X_train, y_train)

# Obtener la importancia de las características
importances = clf.feature_importances_
print(importances)

Eliminación recursiva de características (Recursive Feature Elimination, RFE)

RFE es un método que, de manera recursiva, va eliminando gradualmente las características menos importantes para seleccionar las características óptimas.

RFE puede ayudarnos a seleccionar automáticamente las características importantes.

Ejemplo

from sklearn.feature_selection import RFE

# Usar un modelo lineal para la eliminación recursiva de características
rfe = RFE(clf, n_features_to_select=3)  # Conservar las 3 características más importantes
X_rfe = rfe.fit_transform(X_train, y_train)

5. Ingeniería de características

La ingeniería de características consiste en procesar, combinar o construir nuevas características a partir de las existentes para mejorar el rendimiento del modelo.

Las formas comunes de ingeniería de características incluyen:

  • Combinación de características: combinar dos o más características en una nueva característica.
  • Transformación de características: aplicar transformaciones logarítmicas, de raíz cuadrada, etc., a las características para resolver problemas de no linealidad en los datos.
  • Creación de características: crear nuevas características a partir de los datos existentes, por ejemplo, extraer la fecha, el mes, el día de la semana, etc., de una marca de tiempo.

Ejemplo

# Por ejemplo, combinar dos características numéricas en una nueva característica
df['new_feature'] = df['feature1'] * df['feature2']

6. Extracción de características

La extracción de características tiene como objetivo extraer características nuevas y más expresivas a partir de las características originales.

Los métodos comunes de extracción de características incluyen:Análisis de componentes principales (PCA)yAnálisis discriminante lineal (LDA)。

Análisis de componentes principales (PCA)

PCA es una técnica de reducción de dimensionalidad comúnmente utilizada que, mediante una transformación lineal, mapea los datos de un espacio de alta dimensión a un espacio de baja dimensión, de modo que las nuevas características (componentes principales) conserven la mayor varianza posible de los datos.

PCA es especialmente adecuado cuando hay demasiadas características, ya que puede reducir eficazmente la complejidad computacional.

Ejemplo

from sklearn.decomposition import PCA

# Supongamos que X es la matriz de características
pca = PCA(n_components=2)  # Reducir la dimensionalidad a 2 componentes principales
X_pca = pca.fit_transform(X)

PCA se utiliza principalmente en dos escenarios:

  • Reducción de dimensionalidad: cuando hay demasiadas características, usar PCA para reducir la dimensionalidad puede disminuir el costo computacional y, al mismo tiempo, conservar la información principal de los datos.
  • Visualización: mapear datos de alta dimensión a un espacio 2D o 3D, lo que nos ayuda a visualizar la estructura de los datos.

Análisis discriminante lineal (LDA)

LDA es un método de reducción de dimensionalidad de aprendizaje supervisado que tiene como objetivo encontrar una combinación lineal que maximice la distancia entre diferentes clases y minimice la distancia dentro de las clases.

LDA se utiliza generalmente en tareas de clasificación.

Ejemplo

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis

# Supongamos que X es la matriz de características y y es la variable objetivo
lda = LinearDiscriminantAnalysis(n_components=2)  # Reducir la dimensionalidad a 2 componentes de discriminante lineal
X_lda = lda.fit_transform(X, y)

7. Manejo de datos desbalanceados

En problemas de clasificación, si el número de muestras en cada clase del conjunto de datos difiere significativamente, el modelo puede tender a predecir la clase mayoritaria, afectando así el rendimiento del modelo.

Los métodos de tratamiento comunes incluyen:

Sobremuestreo (Over-sampling)

Al aumentar el número de muestras de la clase minoritaria, el conjunto de datos se vuelve más equilibrado.

Un método común es utilizar el algoritmo SMOTE (Synthetic Minority Over-sampling Technique).

Ejemplo

from imblearn.over_sampling import SMOTE

smote = SMOTE()
X_resampled, y_resampled = smote.fit_resample(X_train, y_train)

Submuestreo (Under-sampling)

Al reducir el número de muestras de la clase mayoritaria, el conjunto de datos se vuelve más equilibrado.

Ejemplo

from imblearn.under_sampling import RandomUnderSampler

undersampler = RandomUnderSampler()
X_resampled, y_resampled = undersampler.fit_resample(X_train, y_train)
Otras extensiones