Predicción de precios de vivienda con Sklearn
A continuación, usaremos sklearn para predecir los precios de la vivienda en Pekín.
Avanzaremos paso a paso desde la carga de datos, el análisis exploratorio, la ingeniería de características hasta el entrenamiento y la optimización del modelo, demostrando cómo usar las herramientas y bibliotecas de sklearn para completar la tarea de predicción.
Resumen del contenido:
1. Generación y visualización de datos
- Se usó un diccionario para crear datos simulados y se convirtió en
pandas DataFrame。 - Los datos incluyen el área de la vivienda, el número de habitaciones, el piso, el año de construcción, la ubicación (variable categórica) y el precio de la vivienda (variable objetivo).
- Mediante
df.head()ydf.describe()se revisa la estructura básica y la información estadística de los datos.
2. Preprocesamiento de datos
- Selección de características: Se seleccionaron del conjunto de datos original las características relacionadas con el precio de la vivienda (área, número de habitaciones, piso, año de construcción, ubicación).
- División de datos: Usando
train_test_splitse divide el conjunto de datos en 80% para entrenamiento y 20% para prueba. - Estandarización de características numéricas: Usando
StandardScalerse estandarizan las características numéricas. - Codificación de características categóricas: Usando
OneHotEncoderpara las características categóricas (location) se aplica codificación One-Hot. ColumnTransformerSe integra el procesamiento de las características numéricas y categóricas en un solo paso.
3. Entrenamiento del modelo
- Usando
Pipelinese combinan el preprocesamiento de datos y el entrenamiento del modelo para asegurar que todo el proceso esté canalizado. - Se usa el modelo de regresión lineal (
LinearRegression) para el entrenamiento.
4. Evaluación del modelo
- Mediante
mean_squared_errorse calcula el error cuadrático medio (MSE), y medianter2_scorese calcula el coeficiente de determinación (R²). - Se muestran los resultados de la evaluación para comprobar la precisión predictiva del modelo.
5. Optimización del modelo
- Usando
GridSearchCVse ajustan los hiperparámetros de la regresión lineal, principalmente se ajustafit_intercept(si se ajusta la intersección). - Se encuentran los mejores hiperparámetros mediante búsqueda en cuadrícula y se usa el mejor modelo para predecir sobre el conjunto de prueba.
- Se recalculan las métricas de evaluación del modelo optimizado (MSE y R²).
1. Generación y visualización de datos
Primero construimos un DataFrame simulado que contiene algunas características comunes para la predicción del precio de la vivienda, como el área de la vivienda, el número de habitaciones, el piso, el año de construcción y la ubicación geográfica (variable categórica).
Ejemplo
import numpy as np
# Datos simulados: área de la vivienda (metros cuadrados), número de habitaciones, piso, año de construcción, ubicación (variable categórica)
data = {
'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000] # Precio de la vivienda (variable objetivo)
}
# Crear DataFrame
df = pd.DataFrame(data)
# Ver los datos
print("Vista previa de los datos:")
print(df.head())
Salida:
数据预览: area rooms floor year_built location price 0 70 2 5 2005 Chaoyang 5000000 1 85 3 2 2010 Haidian 6000000 2 100 3 8 2012 Chaoyang 6500000 3 120 4 10 2015 Dongcheng 7000000 4 60 2 3 2000 Fengtai 4500000
2. Preprocesamiento de datos
El preprocesamiento de datos suele incluir selección de características, transformación de características, manejo de valores faltantes, estandarización de datos, etc. Estandarizaremos las características numéricas y aplicaremos codificación one-hot a las características categóricas.
Ejemplo
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
# Selección de características
X = df[['area', 'rooms', 'floor', 'year_built', 'location']] # Características
y = df['price'] # Variable objetivo
# Dividir el conjunto de entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Construir los pasos de preprocesamiento
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']
numeric_transformer = Pipeline(steps=[
('scaler', StandardScaler()) # Estandarización de características numéricas
])
categorical_transformer = Pipeline(steps=[
('onehot', OneHotEncoder(handle_unknown='ignore')) # Manejar nuevas categorías en el conjunto de prueba
])
# Combinar en ColumnTransformer
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
]
)
# Ver la estructura después del preprocesamiento
X_train_transformed = preprocessor.fit_transform(X_train)
print("Datos de entrenamiento preprocesados:")
print(X_train_transformed)
El resultado de la salida es:
tianqixin@Mac-mini ejemplo-test % python3 test.py 预处理后的训练数据: [[ 0.89826776 1.0440738 1.14636101 0.96800387 0. 0. 0. 1. ] [-0.95622052 -1.23390539 -0.98640366 -1.04544418 1. 0. 0. 0. ] [-0.72440948 -0.474579 -0.55985073 -0.58080232 0. 0. 1. 0. ] [-0.26078741 -0.474579 -0.34657426 0.03872015 1. 0. 0. 0. ] [-0.02897638 0.2847474 0.29325514 0.65824263 0. 0. 0. 1. ] [-1.18803155 -1.23390539 -1.4129566 -1.81984727 0. 0. 1. 0. ] [ 0.20283466 0.2847474 0.07997868 0.50336201 0. 1. 0. 0. ] [ 2.05732294 1.80340019 1.78619041 1.2777651 1. 0. 0. 0. ]]
3. Creación del modelo
A continuación, usamos un modelo de regresión lineal para predecir el precio de la vivienda. Usamos un Pipeline para integrar los pasos de preprocesamiento y entrenamiento del modelo.
Ejemplo
# Construir un Pipeline que incluya el preprocesamiento y el modelo de regresión
model_pipeline = Pipeline(steps=[
('preprocessor', preprocessor), # Paso de preprocesamiento de datos
('regressor', LinearRegression()) # Modelo de regresión
])
# Entrenar el modelo
model_pipeline.fit(X_train, y_train)
# Realizar predicciones
y_pred = model_pipeline.predict(X_test)
# Mostrar los resultados de la predicción
print("\n"Resultado de la predicción:")
print(y_pred)
El resultado de la salida es:
预测结果: [6375000.00000001 4874999.99999998]
4. Evaluación del modelo
En la evaluación del modelo, normalmente usamos el error cuadrático medio (MSE) y el coeficiente de determinación (R²) para evaluar el rendimiento del modelo de regresión.
Ejemplo
# Calcular el error cuadrático medio (MSE) y el coeficiente de determinación (R²)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
# Mostrar los resultados de la evaluación
print("\n"Evaluación del modelo:")
print(f"Error cuadrático medio (MSE): {mse:.2f}")
print(f"Coeficiente de determinación (R²): {r2:.2f}")
El resultado de la salida es:
预测结果: [6375000.00000001 4874999.99999998] tianqixin@Mac-mini ejemplo-test % python3 test.py 模型评估: 均方误差 (MSE): 648125000000.03 决定系数 (R²): -63.81
5. Optimización del modelo (búsqueda en cuadrícula)
Para mejorar el rendimiento del modelo, podemos usar GridSearchCV para ajustar los hiperparámetros del modelo. En este ejemplo, no ajustamos los parámetros de la regresión lineal porque no tiene demasiados hiperparámetros que ajustar. Para modelos más complejos (por ejemplo, Random Forest, XGBoost, etc.), podemos encontrar los mejores parámetros mediante búsqueda en cuadrícula.
Ejemplo
# 5. Optimización del modelo: ajustar hiperparámetros mediante búsqueda en cuadrícula
# Ajustar los hiperparámetros de la regresión lineal (solo se ajusta 'fit_intercept')
param_grid = {
'regressor__fit_intercept': [True, False], # Si se ajusta la intersección
}
grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)
# Mostrar los mejores parámetros y resultados
print("\n"Mejores parámetros:")
print(grid_search.best_params_)
# Predecir usando el mejor modelo
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)
# Mostrar los resultados de evaluación optimizados
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)
print("\n"Evaluación del modelo optimizado:")
print(f"Error cuadrático medio (MSE): {mse_opt:.2f}")
print(f"Coeficiente de determinación (R²): {r2_opt:.2f}")
El resultado de la salida es:
Fitting 5 folds for each of 2 candidates, totalling 10 fits
最佳参数:
{'regressor__fit_intercept': True}
优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Código completo
Código completo para la predicción del precio de la vivienda en Pekín:
Ejemplo
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
# Datos simulados: incluyen el área de la vivienda, el número de habitaciones, el piso, el año de construcción, la ubicación (variable categórica) y el precio de la vivienda (variable objetivo)
data = {
'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000] # Precio de la vivienda (variable objetivo)
}
# Crear DataFrame
df = pd.DataFrame(data)
# Ver los datos
print("Vista previa de los datos:")
print(df.head())
# Selección de características
X = df[['area', 'rooms', 'floor', 'year_built', 'location']] # Datos de características
y = df['price'] # Variable objetivo
# Dividir el conjunto de entrenamiento y prueba
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Preprocesamiento de datos: estandarización de características numéricas, codificación One-Hot de características categóricas
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']
# Preprocesamiento de características numéricas: estandarización
numeric_transformer = Pipeline(steps=[
('scaler', StandardScaler())
])
# Preprocesamiento de características categóricas: codificación One-Hot, con handle_unknown='ignore'
categorical_transformer = Pipeline(steps=[
('onehot', OneHotEncoder(handle_unknown='ignore')) # Manejar nuevas categorías en el conjunto de prueba
])
# Combinar los pasos de procesamiento de características numéricas y categóricas
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
]
)
# 3. Crear el modelo
# Usar el modelo de regresión lineal, combinado con los pasos de preprocesamiento de datos
model_pipeline = Pipeline(steps=[
('preprocessor', preprocessor),
('regressor', LinearRegression())
])
# Entrenar el modelo
model_pipeline.fit(X_train, y_train)
# Realizar predicciones
y_pred = model_pipeline.predict(X_test)
# Mostrar los resultados de la predicción
print("\n"Resultado de la predicción:")
print(y_pred)
# 4. Evaluación del modelo: calcular el error cuadrático medio (MSE) y el coeficiente de determinación R²
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print("\n"Evaluación del modelo:")
print(f"Error cuadrático medio (MSE): {mse:.2f}")
print(f"Coeficiente de determinación (R²): {r2:.2f}")
# 5. Optimización del modelo: ajustar hiperparámetros mediante búsqueda en cuadrícula
# Ajustar los hiperparámetros de la regresión lineal (solo se ajusta 'fit_intercept')
param_grid = {
'regressor__fit_intercept': [True, False], # Si se ajusta la intersección
}
grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)
# Mostrar los mejores parámetros y resultados
print("\n"Mejores parámetros:")
print(grid_search.best_params_)
# Predecir usando el mejor modelo
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)
# Mostrar los resultados de evaluación optimizados
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)
print("\n"Evaluación del modelo optimizado:")
print(f"Error cuadrático medio (MSE): {mse_opt:.2f}")
print(f"Coeficiente de determinación (R²): {r2_opt:.2f}")
Al ejecutar este código, la salida es:
数据预览:
area rooms floor year_built location price
0 70 2 5 2005 Chaoyang 5000000
1 85 3 2 2010 Haidian 6000000
2 100 3 8 2012 Chaoyang 6500000
3 120 4 10 2015 Dongcheng 7000000
4 60 2 3 2000 Fengtai 4500000
预测结果:
[6375000.00000001 4874999.99999998]
模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Fitting 5 folds for each of 2 candidates, totalling 10 fits
最佳参数:
{'regressor__fit_intercept': True}
优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Otras extensiones