Comprensión de datos

Antes de comenzar cualquier proyecto de aprendizaje automático, como predecir precios de viviendas, identificar perros y gatos en imágenes o recomendar películas que te gusten, primero debemos enfrentar el paso más básico y crucial:la comprensión de datos。

Podemos imaginar la comprensión de datos como el proceso de un detective que, antes de investigar un caso, estudia cuidadosamente todas las pistas y archivos. Si no comprendemos el origen, la autenticidad y el significado de las pistas (datos), cualquier razonamiento posterior (modelado) podría basarse en fundamentos erróneos.

La comprensión de datos es la piedra angular de todo el proceso de aprendizaje automático; determina cómo limpiaremos los datos, cómo elegiremos los modelos y, en última instancia, influye en el éxito o fracaso del modelo.


¿Qué es la comprensión de datos?

La comprensión de datos, como su nombre lo indica, consiste en conocer en profundidad el conjunto de datos que tienes. Su objetivo principal es responder las siguientes preguntas:

  • ¿Qué datos tengo?(Estructura y tipos de datos)
  • ¿Cuál es la calidad de los datos?(¿Los datos están limpios, completos y son confiables?)
  • ¿Qué dicen los datos?(¿Qué patrones, relaciones y distribuciones se esconden en los datos?)

Este proceso no involucra código ni algoritmos complejos; se trata más de obtener una comprensión de los datos mediante la observación, la estadística y la visualización.


Pasos y herramientas clave de la comprensión de datos

Usaremos las bibliotecas de análisis de datos más populares de PythonPandasy bibliotecas de visualizaciónMatplotlib/Seabornpara la demostración.

Antes de comenzar, instala las siguientes bibliotecas dependientes:

pip install pandas matplotlib seaborn

Descripción de las tres principales bibliotecas de análisis de datos de Python:

  • pandas
    Biblioteca principal de procesamiento de datos, especializada en lectura/escritura, limpieza, filtrado y cálculo estadístico de datos tabulares. Admite lectura de Excel/CSV y proporciona la estructura de tabla DataFrame.
  • matplotlib
    Biblioteca de trazado básico de bajo nivel, la base de la visualización en Python. Puede dibujar varios gráficos básicos como líneas, barras y dispersión; tiene alta libertad pero su código es algo tedioso.
  • seaborn
    Biblioteca de trazado avanzado basada en matplotlib, diseñada específicamente para gráficos estadísticos. Incluye buenas combinaciones de colores y con una sola línea de código puedes dibujar gráficos de distribución, mapas de calor y diagramas de caja.

Paso 1: Primer encuentro: carga y vista general

Primero, necesitamos cargar los datos en el programa y revisar rápidamente su aspecto general.

Para empezar, primero descargamos los datos de prueba en el mismo directorio que el código de prueba de Python:

Dirección de descarga de los datos de prueba:https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv

Si la descarga desde githubusercontent falla por la red, puedes hacer clic directamente en el enlace para descargar:/static.jyshare.com/download/iris.csv。

Ejemplo

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 1. Cargar datos (aquí se usa el clásico conjunto de datos Iris como ejemplo; también puedes cargar tu propio archivo CSV)
# Cargar desde un archivo local
df = pd.read_csv('iris.csv')

# Cargar desde la red
# url = "https://raw.githubusercontent.com/uiuc-cse/data-fa14/gh-pages/data/iris.csv"
# df = pd.read_csv(url)

# 2. Ver las primeras filas de datos: primera impresión
print("Primeras 5 filas de los datos:")
print(df.head())
print("\n" + "="*50 + "\n")

# 3. Ver la información general de los datos: número de filas, columnas, tipos de datos, uso de memoria
print("Información básica del conjunto de datos:")
print(df.info())
print("\n" + "="*50 + "\n")

# 4. Ver la forma de los datos (cuántas filas, cuántas columnas)
print(f"Forma del conjunto de datos: {df.shape}") # Salida (filas, columnas)
print(f"Hay {df.shape)

Análisis del código:

  • df.head(): como hojear el índice de un libro, ver rápidamente las primeras filas de los datos para conocer su apariencia.
  • df.info(): este es el "informe de revisión médica" de los datos. Te dirá:
    • el nombre de cada columna (Column)
    • el número de valores no nulos (Non-Null Count), puedes detectar de inmediato si hay datos faltantes
    • tipo de datos (Dtype), comoint64(entero),float64(decimal),object(texto o tipo mixto)
  • df.shape: obtener directamente las dimensiones de la tabla de datos.

Al ejecutar el código anterior, la salida es similar a la siguiente:

数据的前5行:
   sepal_length  sepal_width  petal_length  petal_width species
0           5.1          3.5           1.4          0.2  setosa
1           4.9          3.0           1.4          0.2  setosa
2           4.7          3.2           1.3          0.2  setosa
3           4.6          3.1           1.5          0.2  setosa
4           5.0          3.6           1.4          0.2  setosa

==================================================

数据集的基本信息:
<class 'pandas.DataFrame'>

Paso 2: Control de calidad: detectar valores faltantes y anomalías

Los datos rara vez son perfectos. Las "enfermedades de datos" más comunes incluyenvalores faltantes(algunas posiciones están vacías) yvalores atípicos(algunos números son increíblemente grandes o increíblemente pequeños).

Ejemplo

# 1. Verificar valores faltantes
print("Número de valores faltantes por característica:")
print(df.isnull().sum())
print("\n" + "="*50 + "\n")

# Si hay muchos valores faltantes, se puede calcular la proporción de faltantes
missing_ratio = df.isnull().sum() / len(df) * 100
print("Proporción de valores faltantes por característica (%):")
print(missing_ratio)
print("\n" + "="*50 + "\n")

# 2. Ver el resumen estadístico de las características numéricas: puede revelar pistas de valores atípicos
print("Descripción estadística de las características numéricas:")
print(df.describe())

Análisis del código:

  • df.isnull().sum(): calcula el total de valores nulos (NaN) en cada columna.
  • df.describe(): genera un resumen estadístico de las columnas numéricas, que incluye:
    • count: cantidad (se puede usar para confirmar nuevamente los faltantes)
    • mean: media
    • std: desviación estándar (magnitud de variación de los datos)
    • min: mínimo
    • 25%, 50%(mediana),75%: cuartiles
    • max: máximo
    • Observandominymax, puedes determinar preliminarmente si hay valores atípicos(por ejemplo, si en la columna de edad aparece 200 años).

Paso 3: Información profunda: visualización de distribuciones y relaciones

Las palabras y los números son abstractos, pero los gráficos nos permiten "ver" los datos de forma intuitiva. Esta es la parte más interesante de la comprensión de datos.

Ejemplo

# Establecer el estilo del gráfico
sns.set(style="whitegrid")

# 1. Distribución univariante: conocer la distribución de cada característica
fig, axes = plt.subplots(2, 2, figsize=(12, 8)) # Crear un lienzo de 2x2
features = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width']
colors = ['skyblue', 'lightgreen', 'salmon', 'gold']

for i, (ax, feature, color) in enumerate(zip(axes.flat, features, colors)):
    # Dibujar histograma (distribución) y curva de estimación de densidad kernel
    sns.histplot(df[feature], kde=True, ax=ax, color=color, bins=20)
    ax.set_title(f'Distribución de {feature}', fontsize=14)
    ax.set_xlabel(feature)
    ax.set_ylabel('Frecuencia')

plt.tight_layout()
plt.show()

# 2. Diagrama de caja: ver la distribución de los datos y los valores atípicos (más intuitivo)
plt.figure(figsize=(10, 6))
# Seleccionar columnas numéricas para dibujar el diagrama de caja
df_box = df.drop(columns=['species']) # Supongamos que 'species' es la columna de etiquetas de texto, primero se elimina
sns.boxplot(data=df_box)
plt.title('Diagrama de caja de cada característica numérica (ver distribución y valores atípicos)', fontsize=14)
plt.xticks(rotation=45)
plt.show()

# 3. Relaciones entre variables: matriz de dispersión
print("\n"Dibujando la matriz de dispersión de las relaciones entre características... (esto nos ayuda a descubrir asociaciones entre características).")
# Usar pairplot de Seaborn; el parámetro hue permite colorear según la categoría (como la especie de iris)
sns.pairplot(df, hue='species', height=2.5)
plt.suptitle('Matriz de dispersión de relaciones entre características (coloreada por especie)', y=1.02, fontsize=16)
plt.show()

# 4. Mapa de calor de correlación: cuantificar las relaciones lineales entre características
plt.figure(figsize=(8, 6))
# Calcular el coeficiente de correlación entre características numéricas
numeric_df = df.select_dtypes(include=['float64', 'int64'])
correlation_matrix = numeric_df.corr()
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0, square=True)
plt.title('Mapa de calor de correlación de características', fontsize=14)
plt.show()

Análisis de los gráficos:

  • Histograma: muestra cómo se distribuyen los valores de una característica (como el largo del pétalo). ¿Se concentran en un intervalo o están dispersos?
  • Diagrama de caja:
    • la línea en el medio de la caja representa lamediana。
    • los bordes superior e inferior de la caja representanlos percentiles 25% (Q1) y 75% (Q3)。
    • los "bigotes" que se extienden hacia arriba y hacia abajo suelen representar el rango razonable (Q1 - 1.5*IQR a Q3 + 1.5*IQR).
    • Los puntos individualesprobablemente seanvalores atípicos!
  • Matriz de dispersión: permite ver la relación entre dos características a la vez. Si los puntos forman una banda, indica que podrían estar correlacionados.
  • Mapa de calor de correlación: utiliza colores y números (-1 a 1) para representar con precisión el grado de correlación lineal entre dos características.
    • 1: correlación positiva perfecta (cuando una aumenta, la otra también aumenta)
    • -1: correlación negativa perfecta (cuando una aumenta, la otra disminuye)
    • 0: sin relación lineal

Resultado de la comprensión de datos: un informe de investigación de datos

Después de completar los pasos anteriores, deberías poder resumir un informe claro sobre el conjunto de datos actual, por ejemplo:

Informe de investigación sobre el conjunto de datos Iris

Resumen de datos: 150 muestras en total, 5 características (4 características numéricas: largo/ancho del sépalo y del pétalo; 1 etiqueta de clase: especie).

Calidad de los datos: sin valores faltantes, todas las características numéricas están dentro de rangos biológicos razonables y no se encontraron valores atípicos evidentes.

Perspectivas de los datos:

  • El largo del pétalo (petal_length) y el ancho del pétalo (petal_width) tienen una correlación muy alta (>0.96), podría haber redundancia de información.
  • Las diferentes especies de iris se distinguen claramente por el tamaño de sus pétalos; el diagrama de dispersión muestra agrupaciones nítidas.
  • El ancho del sépalo (sepal_width) tiene una distribución aproximadamente normal.
Otras extensiones