Прогнозирование цен на дома с помощью Sklearn
Далее мы используем sklearn для прогнозирования цен на жилье в Пекине.
Мы шаг за шагом пройдем от загрузки данных, исследовательского анализа и конструирования признаков до обучения и оптимизации модели, демонстрируя, как использовать инструменты и библиотеки sklearn для выполнения задачи прогнозирования.
Обзор:
1. Генерация и проверка данных
- Словарь используется для создания имитированных данных, после чего они преобразуются в
pandas DataFrame。 - Данные содержат площадь дома, количество комнат, этаж, год постройки, местоположение (категориальную переменную) и цену дома (целевую переменную).
- Через
df.head()иdf.describe()чтобы проверить базовую структуру и статистическую информацию о данных.
2. Предварительная обработка данных
- Отбор признаков: Из исходных данных выбираются признаки, связанные с ценой дома (площадь, количество комнат, этаж, год постройки, местоположение).
- Разделение данных: Используйте
train_test_splitчтобы разделить набор данных на 80% обучающей выборки и 20% тестовой выборки. - Стандартизация числовых признаков: Используйте
StandardScalerдля стандартизации числовых признаков. - Кодирование категориальных признаков: Используйте
OneHotEncoderдля категориальных признаков (location) выполните One-Hot-кодирование. ColumnTransformerОбъедините обработку числовых и категориальных признаков в один шаг.
3. Обучение модели
- Используйте
Pipelineчтобы объединить предварительную обработку данных с этапами обучения модели, сделав весь процесс конвейерным. - Используйте модель линейной регрессии (
LinearRegression) для обучения.
4. Оценка модели
- С помощью
mean_squared_errorвычисляя среднеквадратичную ошибку (MSE), и путёмr2_scoreвычисления коэффициента детерминации (R²). - Выведите результаты оценки, чтобы увидеть точность предсказания модели.
5. Оптимизация модели
- Используйте
GridSearchCVдля настройки гиперпараметров линейной регрессии. Основной настройкой являетсяfit_intercept(подгонять ли свободный член). - Найдите лучшие гиперпараметры с помощью поиска по сетке и используйте лучшую модель для предсказания на тестовой выборке.
- Пересчитайте метрики оценки (MSE и R²) оптимизированной модели.
1. Генерация и проверка данных
Сначала мы создаём смоделированный DataFrame, содержащий некоторые распространённые признаки для предсказания цен на дома, такие как площадь дома, количество комнат, этаж, год постройки и географическое расположение (категориальная переменная).
Пример
import numpy as np
# Смоделированные данные: площадь дома (квадратные метры), количество комнат, этаж, год постройки, местоположение (категориальная переменная)
data = {
'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000] # Цена дома (целевая переменная)
}
# Создать DataFrame
df = pd.DataFrame(data)
# Просмотр данных
print("Предварительный просмотр данных:")
print(df.head())
Вывод:
数据预览: area rooms floor year_built location price 0 70 2 5 2005 Chaoyang 5000000 1 85 3 2 2010 Haidian 6000000 2 100 3 8 2012 Chaoyang 6500000 3 120 4 10 2015 Dongcheng 7000000 4 60 2 3 2000 Fengtai 4500000
2. Предварительная обработка данных
Предварительная обработка данных обычно включает отбор признаков, преобразование признаков, обработку пропущенных значений, стандартизацию данных и так далее. Мы стандартизируем числовые признаки и выполним one-hot-кодирование категориальных признаков.
Пример
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
# Отбор признаков
X = df[['area', 'rooms', 'floor', 'year_built', 'location']] # Признаки
y = df['price'] # Целевая переменная
# Разделение обучающей и тестовой выборок
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Построение шагов предобработки
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']
numeric_transformer = Pipeline(steps=[
('scaler', StandardScaler()) # Стандартизация числовых признаков
])
categorical_transformer = Pipeline(steps=[
('onehot', OneHotEncoder(handle_unknown='ignore')) # Обработка новых категорий в тестовой выборке
])
# Объединение в ColumnTransformer
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
]
)
# Просмотр структуры после предварительной обработки данных
X_train_transformed = preprocessor.fit_transform(X_train)
print("Предварительно обработанные обучающие данные:")
print(X_train_transformed)
Результат вывода:
tianqixin@Mac-mini example-test % python3 test.py 预处理后的训练数据: [[ 0.89826776 1.0440738 1.14636101 0.96800387 0. 0. 0. 1. ] [-0.95622052 -1.23390539 -0.98640366 -1.04544418 1. 0. 0. 0. ] [-0.72440948 -0.474579 -0.55985073 -0.58080232 0. 0. 1. 0. ] [-0.26078741 -0.474579 -0.34657426 0.03872015 1. 0. 0. 0. ] [-0.02897638 0.2847474 0.29325514 0.65824263 0. 0. 0. 1. ] [-1.18803155 -1.23390539 -1.4129566 -1.81984727 0. 0. 1. 0. ] [ 0.20283466 0.2847474 0.07997868 0.50336201 0. 1. 0. 0. ] [ 2.05732294 1.80340019 1.78619041 1.2777651 1. 0. 0. 0. ]]
3. Построение модели
Далее мы используем модель линейной регрессии для прогнозирования цен на дома. Мы используем Pipeline, чтобы объединить этапы предварительной обработки и обучения модели.
Пример
# Создание Pipeline, содержащего предварительную обработку и модель регрессии
model_pipeline = Pipeline(steps=[
('preprocessor', preprocessor), # Этапы предварительной обработки данных
('regressor', LinearRegression()) # Модель регрессии
])
# Обучаем модель
model_pipeline.fit(X_train, y_train)
# Сделать предсказания
y_pred = model_pipeline.predict(X_test)
# Вывод результатов прогнозирования
print("\nРезультаты прогнозирования:")
print(y_pred)
Результат вывода:
预测结果: [6375000.00000001 4874999.99999998]
4. Оценка модели
При оценке модели мы обычно используем среднеквадратичную ошибку (MSE) и коэффициент детерминации (R²) для оценки качества регрессионной модели.
Пример
# Вычислить среднеквадратичную ошибку (MSE) и коэффициент детерминации (R²)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
# Вывод результатов оценки
print("\nОценка модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse:.2f}")
print(f"Коэффициент детерминации (R²): {r2:.2f}")
Результат вывода:
预测结果: [6375000.00000001 4874999.99999998] tianqixin@Mac-mini example-test % python3 test.py 模型评估: 均方误差 (MSE): 648125000000.03 决定系数 (R²): -63.81
5. Оптимизация модели (поиск по сетке)
Чтобы улучшить производительность модели, мы можем использовать GridSearchCV для настройки гиперпараметров модели. В этом примере мы не настраиваем параметры линейной регрессии, поскольку у нее не так много гиперпараметров для настройки. Для более сложных моделей (например, Random Forest, XGBoost и т. д.) мы можем найти лучшие параметры с помощью поиска по сетке.
Пример
# 5. Оптимизация модели: используйте поиск по сетке для настройки гиперпараметров
# Настройка гиперпараметров линейной регрессии (настраивается только 'fit_intercept')
param_grid = {
'regressor__fit_intercept': [True, False], # Подбирать ли свободный член
}
grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)
# Вывод лучших параметров и результатов
print("\nЛучшие параметры:")
print(grid_search.best_params_)
# Использовать лучшую модель для предсказаний
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)
# Вывод оптимизированных результатов оценки
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)
print("\nОценка оптимизированной модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse_opt:.2f}")
print(f"Коэффициент детерминации (R²): {r2_opt:.2f}")
Результат вывода:
Fitting 5 folds for each of 2 candidates, totalling 10 fits
最佳参数:
{'regressor__fit_intercept': True}
优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Полный код
Полный код для прогнозирования цен на дома в Пекине:
Пример
import numpy as np
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
# Имитированные данные: содержит площадь дома, количество комнат, этаж, год постройки, местоположение (категориальная переменная) и цену дома (целевая переменная)
data = {
'area': [70, 85, 100, 120, 60, 150, 200, 80, 95, 110],
'rooms': [2, 3, 3, 4, 2, 5, 6, 3, 3, 4],
'floor': [5, 2, 8, 10, 3, 15, 18, 7, 9, 11],
'year_built': [2005, 2010, 2012, 2015, 2000, 2018, 2020, 2008, 2011, 2016],
'location': ['Chaoyang', 'Haidian', 'Chaoyang', 'Dongcheng', 'Fengtai', 'Haidian', 'Chaoyang', 'Fengtai', 'Dongcheng', 'Haidian'],
'price': [5000000, 6000000, 6500000, 7000000, 4500000, 10000000, 12000000, 5500000, 6200000, 7500000] # Цена дома (целевая переменная)
}
# Создать DataFrame
df = pd.DataFrame(data)
# Просмотр данных
print("Предварительный просмотр данных:")
print(df.head())
# Отбор признаков
X = df[['area', 'rooms', 'floor', 'year_built', 'location']] # Данные признаков
y = df['price'] # Целевая переменная
# Разделение обучающей и тестовой выборок
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Предобработка данных: стандартизация числовых признаков, One-Hot кодирование категориальных признаков
numeric_features = ['area', 'rooms', 'floor', 'year_built']
categorical_features = ['location']
# Предобработка числовых признаков: стандартизация
numeric_transformer = Pipeline(steps=[
('scaler', StandardScaler())
])
# Предобработка категориальных признаков: One-Hot кодирование, установить handle_unknown='ignore'
categorical_transformer = Pipeline(steps=[
('onehot', OneHotEncoder(handle_unknown='ignore')) # Обработка новых категорий в тестовой выборке
])
# Объединить этапы обработки для числовых и категориальных признаков
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)
]
)
# 3. Построение модели
# Использовать модель линейной регрессии в сочетании с этапами предварительной обработки данных
model_pipeline = Pipeline(steps=[
('preprocessor', preprocessor),
('regressor', LinearRegression())
])
# Обучаем модель
model_pipeline.fit(X_train, y_train)
# Сделать предсказания
y_pred = model_pipeline.predict(X_test)
# Вывод результатов прогнозирования
print("\nРезультаты прогнозирования:")
print(y_pred)
# 4. Оценка модели: вычисление среднеквадратичной ошибки (MSE) и коэффициента детерминации R²
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
print("\nОценка модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse:.2f}")
print(f"Коэффициент детерминации (R²): {r2:.2f}")
# 5. Оптимизация модели: используйте поиск по сетке для настройки гиперпараметров
# Настройка гиперпараметров линейной регрессии (настраивается только 'fit_intercept')
param_grid = {
'regressor__fit_intercept': [True, False], # Подбирать ли свободный член
}
grid_search = GridSearchCV(model_pipeline, param_grid, cv=5, scoring='neg_mean_squared_error', verbose=1)
grid_search.fit(X_train, y_train)
# Вывод лучших параметров и результатов
print("\nЛучшие параметры:")
print(grid_search.best_params_)
# Использовать лучшую модель для предсказаний
best_model = grid_search.best_estimator_
y_pred_optimized = best_model.predict(X_test)
# Вывод оптимизированных результатов оценки
mse_opt = mean_squared_error(y_test, y_pred_optimized)
r2_opt = r2_score(y_test, y_pred_optimized)
print("\nОценка оптимизированной модели:")
print(f"Среднеквадратичная ошибка (MSE): {mse_opt:.2f}")
print(f"Коэффициент детерминации (R²): {r2_opt:.2f}")
После запуска этого кода вывод будет следующим:
数据预览:
area rooms floor year_built location price
0 70 2 5 2005 Chaoyang 5000000
1 85 3 2 2010 Haidian 6000000
2 100 3 8 2012 Chaoyang 6500000
3 120 4 10 2015 Dongcheng 7000000
4 60 2 3 2000 Fengtai 4500000
预测结果:
[6375000.00000001 4874999.99999998]
模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Fitting 5 folds for each of 2 candidates, totalling 10 fits
最佳参数:
{'regressor__fit_intercept': True}
优化后的模型评估:
均方误差 (MSE): 648125000000.03
决定系数 (R²): -63.81
Другие расширения