Predicción de precios de vivienda con Sklearn

A continuación, usaremos sklearn para predecir los precios de la vivienda en Pekín.

Avanzaremos paso a paso desde la carga de datos, el análisis exploratorio, la ingeniería de características hasta el entrenamiento y la optimización del modelo, demostrando cómo usar las herramientas y bibliotecas de sklearn para completar la tarea de predicción.

Resumen del contenido:

1. Generación y visualización de datos

  • Se usó un diccionario para crear datos simulados y se convirtió enpandas DataFrame。
  • Los datos incluyen el área de la vivienda, el número de habitaciones, el piso, el año de construcción, la ubicación (variable categórica) y el precio de la vivienda (variable objetivo).
  • Mediantedf.head()ydf.describe()se revisa la estructura básica y la información estadística de los datos.

2. Preprocesamiento de datos

  • Selección de características: Se seleccionaron del conjunto de datos original las características relacionadas con el precio de la vivienda (área, número de habitaciones, piso, año de construcción, ubicación).
  • División de datos: Usandotrain_test_splitse divide el conjunto de datos en 80% para entrenamiento y 20% para prueba.
  • Estandarización de características numéricas: UsandoStandardScalerse estandarizan las características numéricas.
  • Codificación de características categóricas: UsandoOneHotEncoderpara las características categóricas (location) se aplica codificación One-Hot.
  • ColumnTransformerSe integra el procesamiento de las características numéricas y categóricas en un solo paso.

3. Entrenamiento del modelo

  • UsandoPipelinese combinan el preprocesamiento de datos y el entrenamiento del modelo para asegurar que todo el proceso esté canalizado.
  • Se usa el modelo de regresión lineal (LinearRegression) para el entrenamiento.

4. Evaluación del modelo

  • Mediantemean_squared_errorse calcula el error cuadrático medio (MSE), y medianter2_scorese calcula el coeficiente de determinación (R²).
  • Se muestran los resultados de la evaluación para comprobar la precisión predictiva del modelo.

5. Optimización del modelo

  • UsandoGridSearchCVse ajustan los hiperparámetros de la regresión lineal, principalmente se ajustafit_intercept(si se ajusta la intersección).
  • Se encuentran los mejores hiperparámetros mediante búsqueda en cuadrícula y se usa el mejor modelo para predecir sobre el conjunto de prueba.
  • Se recalculan las métricas de evaluación del modelo optimizado (MSE y R²).

1. Generación y visualización de datos

Primero construimos un DataFrame simulado que contiene algunas características comunes para la predicción del precio de la vivienda, como el área de la vivienda, el número de habitaciones, el piso, el año de construcción y la ubicación geográfica (variable categórica).

Ejemplo

import pandas as pd
import numpy as np

# Datos simulados: área de la vivienda (metros cuadrados), número de habitaciones, piso, año de construcción, ubicación (variable categórica)
data = {
    'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
    'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
    'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
    'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
    'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
    'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000]  # Precio de la vivienda (variable objetivo)
}

# Crear DataFrame
df = pd.DataFrame(data)

# Ver los datos
print("Vista previa de los datos:")
print(df.head())

Salida:

数据预览:
   area  rooms  floor  year_built location    price
0    70      2      5        2005   Chaoyang  5000000
1    85      3      2        2010   Haidian  6000000
2   100      3      8        2012   Chaoyang  6500000
3   120      4     10        2015  Dongcheng  7000000
4    60      2      3        2000   Fengtai  4500000

2. Preprocesamiento de datos

El preprocesamiento de datos suele incluir selección de características, transformación de características, manejo de valores faltantes, estandarización de datos, etc. Estandarizaremos las características numéricas y aplicaremos codificación one-hot a las características categóricas.

Ejemplo

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

# Selección de características
X = df[['area', 'rooms', 'floor', 'year_built', 'location']]  # Características
y = df['price']  # Variable objetivo

# Dividir el conjunto de entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Construir los pasos de preprocesamiento
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']

numeric_transformer = Pipeline(steps=[
    ('scaler', StandardScaler())  # Estandarización de características numéricas
])

categorical_transformer = Pipeline(steps=[
    ('onehot', OneHotEncoder(handle_unknown='ignore'))  # Manejar nuevas categorías en el conjunto de prueba
])

# Combinar en ColumnTransformer
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ]
)

# Ver la estructura después del preprocesamiento
X_train_transformed = preprocessor.fit_transform(X_train)
print("Datos de entrenamiento preprocesados:")
print(X_train_transformed)

El resultado de la salida es:

tianqixin@Mac-mini ejemplo-test % python3 test.py
预处理后的训练数据:
[[ 0.89826776  1.0440738   1.14636101  0.96800387  0.          0.
   0.          1.        ]
 [-0.95622052 -1.23390539 -0.98640366 -1.04544418  1.          0.
   0.          0.        ]
 [-0.72440948 -0.474579   -0.55985073 -0.58080232  0.          0.
   1.          0.        ]
 [-0.26078741 -0.474579   -0.34657426  0.03872015  1.          0.
   0.          0.        ]
 [-0.02897638  0.2847474   0.29325514  0.65824263  0.          0.
   0.          1.        ]
 [-1.18803155 -1.23390539 -1.4129566  -1.81984727  0.          0.
   1.          0.        ]
 [ 0.20283466  0.2847474   0.07997868  0.50336201  0.          1.
   0.          0.        ]
 [ 2.05732294  1.80340019  1.78619041  1.2777651   1.          0.
   0.          0.        ]]

3. Creación del modelo

A continuación, usamos un modelo de regresión lineal para predecir el precio de la vivienda. Usamos un Pipeline para integrar los pasos de preprocesamiento y entrenamiento del modelo.

Ejemplo

from sklearn.linear_model import LinearRegression

# Construir un Pipeline que incluya el preprocesamiento y el modelo de regresión
model_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),  # Paso de preprocesamiento de datos
    ('regressor', LinearRegression())  # Modelo de regresión
])

# Entrenar el modelo
model_pipeline.fit(X_train, y_train)

# Realizar predicciones
y_pred = model_pipeline.predict(X_test)

# Mostrar los resultados de la predicción
print("\n"Resultado de la predicción:")
print(y_pred)

El resultado de la salida es:

预测结果:
[6375000.00000001 4874999.99999998]

4. Evaluación del modelo

En la evaluación del modelo, normalmente usamos el error cuadrático medio (MSE) y el coeficiente de determinación (R²) para evaluar el rendimiento del modelo de regresión.

Ejemplo

from sklearn.metrics import mean_squared_error, r2_score

# Calcular el error cuadrático medio (MSE) y el coeficiente de determinación (R²)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

# Mostrar los resultados de la evaluación
print("\n"Evaluación del modelo:")
print(f"Error cuadrático medio (MSE): {mse:.2f}")
print(f"Coeficiente de determinación (R²): {r2:.2f}")

El resultado de la salida es:

预测结果:
[6375000.00000001 4874999.99999998]
tianqixin@Mac-mini ejemplo-test % python3 test.py

模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81

5. Optimización del modelo (búsqueda en cuadrícula)

Para mejorar el rendimiento del modelo, podemos usar GridSearchCV para ajustar los hiperparámetros del modelo. En este ejemplo, no ajustamos los parámetros de la regresión lineal porque no tiene demasiados hiperparámetros que ajustar. Para modelos más complejos (por ejemplo, Random Forest, XGBoost, etc.), podemos encontrar los mejores parámetros mediante búsqueda en cuadrícula.

Ejemplo

from sklearn.model_selection import GridSearchCV

# 5. Optimización del modelo: ajustar hiperparámetros mediante búsqueda en cuadrícula
# Ajustar los hiperparámetros de la regresión lineal (solo se ajusta 'fit_intercept')
param_grid = {
    'regressor__fit_intercept': [True, False],  # Si se ajusta la intersección
}

grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)

# Mostrar los mejores parámetros y resultados
print("\n"Mejores parámetros:")
print(grid_search.best_params_)

# Predecir usando el mejor modelo
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)

# Mostrar los resultados de evaluación optimizados
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)

print("\n"Evaluación del modelo optimizado:")
print(f"Error cuadrático medio (MSE): {mse_opt:.2f}")
print(f"Coeficiente de determinación (R²): {r2_opt:.2f}")

El resultado de la salida es:

Fitting 5 folds for each of 2 candidates, totalling 10 fits

最佳参数:
{'regressor__fit_intercept': True}

优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81

Código completo

Código completo para la predicción del precio de la vivienda en Pekín:

Ejemplo

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# Datos simulados: incluyen el área de la vivienda, el número de habitaciones, el piso, el año de construcción, la ubicación (variable categórica) y el precio de la vivienda (variable objetivo)
data = {
    'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
    'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
    'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
    'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
    'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
    'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000]  # Precio de la vivienda (variable objetivo)
}

# Crear DataFrame
df = pd.DataFrame(data)

# Ver los datos
print("Vista previa de los datos:")
print(df.head())

# Selección de características
X = df[['area', 'rooms', 'floor', 'year_built', 'location']]  # Datos de características
y = df['price']  # Variable objetivo

# Dividir el conjunto de entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Preprocesamiento de datos: estandarización de características numéricas, codificación One-Hot de características categóricas
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']

# Preprocesamiento de características numéricas: estandarización
numeric_transformer = Pipeline(steps=[
    ('scaler', StandardScaler())
])

# Preprocesamiento de características categóricas: codificación One-Hot, con handle_unknown='ignore'
categorical_transformer = Pipeline(steps=[
    ('onehot', OneHotEncoder(handle_unknown='ignore'))  # Manejar nuevas categorías en el conjunto de prueba
])

# Combinar los pasos de procesamiento de características numéricas y categóricas
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ]
)

# 3. Crear el modelo
# Usar el modelo de regresión lineal, combinado con los pasos de preprocesamiento de datos
model_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('regressor', LinearRegression())
])

# Entrenar el modelo
model_pipeline.fit(X_train, y_train)

# Realizar predicciones
y_pred = model_pipeline.predict(X_test)

# Mostrar los resultados de la predicción
print("\n"Resultado de la predicción:")
print(y_pred)

# 4. Evaluación del modelo: calcular el error cuadrático medio (MSE) y el coeficiente de determinación R²
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print("\n"Evaluación del modelo:")
print(f"Error cuadrático medio (MSE): {mse:.2f}")
print(f"Coeficiente de determinación (R²): {r2:.2f}")

# 5. Optimización del modelo: ajustar hiperparámetros mediante búsqueda en cuadrícula
# Ajustar los hiperparámetros de la regresión lineal (solo se ajusta 'fit_intercept')
param_grid = {
    'regressor__fit_intercept': [True, False],  # Si se ajusta la intersección
}

grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)

# Mostrar los mejores parámetros y resultados
print("\n"Mejores parámetros:")
print(grid_search.best_params_)

# Predecir usando el mejor modelo
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)

# Mostrar los resultados de evaluación optimizados
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)

print("\n"Evaluación del modelo optimizado:")
print(f"Error cuadrático medio (MSE): {mse_opt:.2f}")
print(f"Coeficiente de determinación (R²): {r2_opt:.2f}")

Al ejecutar este código, la salida es:

数据预览:
   area  rooms  floor  year_built   location    price
0    70      2      5        2005   Chaoyang  5000000
1    85      3      2        2010    Haidian  6000000
2   100      3      8        2012   Chaoyang  6500000
3   120      4     10        2015  Dongcheng  7000000
4    60      2      3        2000    Fengtai  4500000

预测结果:
[6375000.00000001 4874999.99999998]

模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Fitting 5 folds for each of 2 candidates, totalling 10 fits

最佳参数:
{'regressor__fit_intercept': True}

优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Otras extensiones