Прогнозирование цен на дома с помощью Sklearn

Далее мы используем sklearn для прогнозирования цен на жилье в Пекине.

Мы шаг за шагом пройдем от загрузки данных, исследовательского анализа и конструирования признаков до обучения и оптимизации модели, демонстрируя, как использовать инструменты и библиотеки sklearn для выполнения задачи прогнозирования.

Обзор:

1. Генерация и проверка данных

  • Словарь используется для создания имитированных данных, после чего они преобразуются вpandas DataFrame。
  • Данные содержат площадь дома, количество комнат, этаж, год постройки, местоположение (категориальную переменную) и цену дома (целевую переменную).
  • Черезdf.head()иdf.describe()чтобы проверить базовую структуру и статистическую информацию о данных.

2. Предварительная обработка данных

  • Отбор признаков: Из исходных данных выбираются признаки, связанные с ценой дома (площадь, количество комнат, этаж, год постройки, местоположение).
  • Разделение данных: Используйтеtrain_test_splitчтобы разделить набор данных на 80% обучающей выборки и 20% тестовой выборки.
  • Стандартизация числовых признаков: ИспользуйтеStandardScalerдля стандартизации числовых признаков.
  • Кодирование категориальных признаков: ИспользуйтеOneHotEncoderдля категориальных признаков (location) выполните One-Hot-кодирование.
  • ColumnTransformerОбъедините обработку числовых и категориальных признаков в один шаг.

3. Обучение модели

  • ИспользуйтеPipelineчтобы объединить предварительную обработку данных с этапами обучения модели, сделав весь процесс конвейерным.
  • Используйте модель линейной регрессии (LinearRegression) для обучения.

4. Оценка модели

  • С помощьюmean_squared_errorвычисляя среднеквадратичную ошибку (MSE), и путёмr2_scoreвычисления коэффициента детерминации (R²).
  • Выведите результаты оценки, чтобы увидеть точность предсказания модели.

5. Оптимизация модели

  • ИспользуйтеGridSearchCVдля настройки гиперпараметров линейной регрессии. Основной настройкой являетсяfit_intercept(подгонять ли свободный член).
  • Найдите лучшие гиперпараметры с помощью поиска по сетке и используйте лучшую модель для предсказания на тестовой выборке.
  • Пересчитайте метрики оценки (MSE и R²) оптимизированной модели.

1. Генерация и проверка данных

Сначала мы создаём смоделированный DataFrame, содержащий некоторые распространённые признаки для предсказания цен на дома, такие как площадь дома, количество комнат, этаж, год постройки и географическое расположение (категориальная переменная).

Пример

import pandas as pd
import numpy as np

# Смоделированные данные: площадь дома (квадратные метры), количество комнат, этаж, год постройки, местоположение (категориальная переменная)
data = {
    'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
    'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
    'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
    'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
    'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
    'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000]  # Цена дома (целевая переменная)
}

# Создать DataFrame
df = pd.DataFrame(data)

# Просмотр данных
print("Предварительный просмотр данных:")
print(df.head())

Вывод:

数据预览:
   area  rooms  floor  year_built location    price
0    70      2      5        2005   Chaoyang  5000000
1    85      3      2        2010   Haidian  6000000
2   100      3      8        2012   Chaoyang  6500000
3   120      4     10        2015  Dongcheng  7000000
4    60      2      3        2000   Fengtai  4500000

2. Предварительная обработка данных

Предварительная обработка данных обычно включает отбор признаков, преобразование признаков, обработку пропущенных значений, стандартизацию данных и так далее. Мы стандартизируем числовые признаки и выполним one-hot-кодирование категориальных признаков.

Пример

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline

# Отбор признаков
X = df[['area', 'rooms', 'floor', 'year_built', 'location']]  # Признаки
y = df['price']  # Целевая переменная

# Разделение обучающей и тестовой выборок
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Построение шагов предобработки
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']

numeric_transformer = Pipeline(steps=[
    ('scaler', StandardScaler())  # Стандартизация числовых признаков
])

categorical_transformer = Pipeline(steps=[
    ('onehot', OneHotEncoder(handle_unknown='ignore'))  # Обработка новых категорий в тестовой выборке
])

# Объединение в ColumnTransformer
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ]
)

# Просмотр структуры после предварительной обработки данных
X_train_transformed = preprocessor.fit_transform(X_train)
print("Предварительно обработанные обучающие данные:")
print(X_train_transformed)

Результат вывода:

tianqixin@Mac-mini example-test % python3 test.py
预处理后的训练数据:
[[ 0.89826776  1.0440738   1.14636101  0.96800387  0.          0.
   0.          1.        ]
 [-0.95622052 -1.23390539 -0.98640366 -1.04544418  1.          0.
   0.          0.        ]
 [-0.72440948 -0.474579   -0.55985073 -0.58080232  0.          0.
   1.          0.        ]
 [-0.26078741 -0.474579   -0.34657426  0.03872015  1.          0.
   0.          0.        ]
 [-0.02897638  0.2847474   0.29325514  0.65824263  0.          0.
   0.          1.        ]
 [-1.18803155 -1.23390539 -1.4129566  -1.81984727  0.          0.
   1.          0.        ]
 [ 0.20283466  0.2847474   0.07997868  0.50336201  0.          1.
   0.          0.        ]
 [ 2.05732294  1.80340019  1.78619041  1.2777651   1.          0.
   0.          0.        ]]

3. Построение модели

Далее мы используем модель линейной регрессии для прогнозирования цен на дома. Мы используем Pipeline, чтобы объединить этапы предварительной обработки и обучения модели.

Пример

from sklearn.linear_model import LinearRegression

# Создание Pipeline, содержащего предварительную обработку и модель регрессии
model_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),  # Этапы предварительной обработки данных
    ('regressor', LinearRegression())  # Модель регрессии
])

# Обучаем модель
model_pipeline.fit(X_train, y_train)

# Сделать предсказания
y_pred = model_pipeline.predict(X_test)

# Вывод результатов прогнозирования
print("\nРезультаты прогнозирования:")
print(y_pred)

Результат вывода:

预测结果:
[6375000.00000001 4874999.99999998]

4. Оценка модели

При оценке модели мы обычно используем среднеквадратичную ошибку (MSE) и коэффициент детерминации (R²) для оценки качества регрессионной модели.

Пример

from sklearn.metrics import mean_squared_error, r2_score

# Вычислить среднеквадратичную ошибку (MSE) и коэффициент детерминации (R²)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

# Вывод результатов оценки
print("\nОценка модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse:.2f}")
print(f"Коэффициент детерминации (R²): {r2:.2f}")

Результат вывода:

预测结果:
[6375000.00000001 4874999.99999998]
tianqixin@Mac-mini example-test % python3 test.py

模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81

5. Оптимизация модели (поиск по сетке)

Чтобы улучшить производительность модели, мы можем использовать GridSearchCV для настройки гиперпараметров модели. В этом примере мы не настраиваем параметры линейной регрессии, поскольку у нее не так много гиперпараметров для настройки. Для более сложных моделей (например, Random Forest, XGBoost и т. д.) мы можем найти лучшие параметры с помощью поиска по сетке.

Пример

from sklearn.model_selection import GridSearchCV

# 5. Оптимизация модели: используйте поиск по сетке для настройки гиперпараметров
# Настройка гиперпараметров линейной регрессии (настраивается только 'fit_intercept')
param_grid = {
    'regressor__fit_intercept': [True, False],  # Подбирать ли свободный член
}

grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)

# Вывод лучших параметров и результатов
print("\nЛучшие параметры:")
print(grid_search.best_params_)

# Использовать лучшую модель для предсказаний
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)

# Вывод оптимизированных результатов оценки
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)

print("\nОценка оптимизированной модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse_opt:.2f}")
print(f"Коэффициент детерминации (R²): {r2_opt:.2f}")

Результат вывода:

Fitting 5 folds for each of 2 candidates, totalling 10 fits

最佳参数:
{'regressor__fit_intercept': True}

优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81

Полный код

Полный код для прогнозирования цен на дома в Пекине:

Пример

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score

# Имитированные данные: содержит площадь дома, количество комнат, этаж, год постройки, местоположение (категориальная переменная) и цену дома (целевая переменная)
data = {
    'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
    'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
    'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
    'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
    'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
    'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000]  # Цена дома (целевая переменная)
}

# Создать DataFrame
df = pd.DataFrame(data)

# Просмотр данных
print("Предварительный просмотр данных:")
print(df.head())

# Отбор признаков
X = df[['area', 'rooms', 'floor', 'year_built', 'location']]  # Данные признаков
y = df['price']  # Целевая переменная

# Разделение обучающей и тестовой выборок
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Предобработка данных: стандартизация числовых признаков, One-Hot кодирование категориальных признаков
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']

# Предобработка числовых признаков: стандартизация
numeric_transformer = Pipeline(steps=[
    ('scaler', StandardScaler())
])

# Предобработка категориальных признаков: One-Hot кодирование, установить handle_unknown='ignore'
categorical_transformer = Pipeline(steps=[
    ('onehot', OneHotEncoder(handle_unknown='ignore'))  # Обработка новых категорий в тестовой выборке
])

# Объединить этапы обработки для числовых и категориальных признаков
preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)
    ]
)

# 3. Построение модели
# Использовать модель линейной регрессии в сочетании с этапами предварительной обработки данных
model_pipeline = Pipeline(steps=[
    ('preprocessor', preprocessor),
    ('regressor', LinearRegression())
])

# Обучаем модель
model_pipeline.fit(X_train, y_train)

# Сделать предсказания
y_pred = model_pipeline.predict(X_test)

# Вывод результатов прогнозирования
print("\nРезультаты прогнозирования:")
print(y_pred)

# 4. Оценка модели: вычисление среднеквадратичной ошибки (MSE) и коэффициента детерминации R²
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print("\nОценка модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse:.2f}")
print(f"Коэффициент детерминации (R²): {r2:.2f}")

# 5. Оптимизация модели: используйте поиск по сетке для настройки гиперпараметров
# Настройка гиперпараметров линейной регрессии (настраивается только 'fit_intercept')
param_grid = {
    'regressor__fit_intercept': [True, False],  # Подбирать ли свободный член
}

grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)

# Вывод лучших параметров и результатов
print("\nЛучшие параметры:")
print(grid_search.best_params_)

# Использовать лучшую модель для предсказаний
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)

# Вывод оптимизированных результатов оценки
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)

print("\nОценка оптимизированной модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse_opt:.2f}")
print(f"Коэффициент детерминации (R²): {r2_opt:.2f}")

После запуска этого кода вывод будет следующим:

数据预览:
   area  rooms  floor  year_built   location    price
0    70      2      5        2005   Chaoyang  5000000
1    85      3      2        2010    Haidian  6000000
2   100      3      8        2012   Chaoyang  6500000
3   120      4     10        2015  Dongcheng  7000000
4    60      2      3        2000    Fengtai  4500000

预测结果:
[6375000.00000001 4874999.99999998]

模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Fitting 5 folds for each of 2 candidates, totalling 10 fits

最佳参数:
{'regressor__fit_intercept': True}

优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Другие расширения