Множественная линейная регрессия

В предыдущей статье мы рассмотрели простую линейную регрессию, которая помогла нам понять, как один признак (независимая переменная) влияет на целевую переменную (зависимую переменную). Однако задачи в реальном мире часто сложнее. Например, при прогнозировании цен на дома мы не можем смотреть только на площадь дома; нам также нужно учитывать множество факторов, таких как количество спален, географическое местоположение и возраст дома. На этом этапе нам нужно:Множественная линейная регрессия。

Проще говоря, множественная линейная регрессия — это естественное расширение простой линейной регрессии. Она позволяет нам одновременно анализировать влияниенескольких независимых переменныхна зависимую переменную. В этой статье мы с нуля поможем вам полностью разобраться в основных понятиях, математических принципах, методах реализации и практических применениях множественной линейной регрессии.


1. Что такое множественная линейная регрессия?

1.1 Основные понятия

Множественная линейная регрессия — это статистический метод, используемый для установления линейной связи междунесколькими независимыми переменными(также называемыми признаками, объясняющими переменными) иодной непрерывной зависимой переменной(также называемой целевой, откликовой переменной).

Яркая метафора:Представьте, что вы повар, который регулирует вкус супа (целевой показатель). Простая линейная регрессия — это как регулировать солёность, используя только количество соли. Множественная линейная регрессия — это как одновременно управлять количеством соли, сахара, чили, соевого соуса и других приправ (признаков), чтобы комплексно определить окончательный вкус супа. Множественная регрессия позволяет анализировать конкретный вклад каждой приправы во вкус.

1.2 Формула модели

Математическое выражение модели множественной линейной регрессии выглядит следующим образом:

y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ + ε

Давайте разберём каждую часть этой формулы:

Символ Name Значение
y Зависимая переменная Целевое значение, которое мы хотим предсказать (например, цена дома).
x₁, x₂, ..., xₙ Независимая переменная Признаки, используемые для предсказанияy(например, площадь, количество спален, возраст дома).
β₀ Свободный член Когда все независимые переменные равны 0,yбазовое прогнозируемое значение.
β₁, β₂, ..., βₙ Коэффициент регрессии Вес каждой независимой переменнойxᵢ. Это означает:Когда остальные признаки остаются неизменными,xᵢпри увеличении этой переменной на 1 единицу,yсреднее изменение целевой переменнойβᵢсоставляет столько единиц.Это основа множественного регрессионного анализа.
ε Член ошибки Случайное колебание, которое модель не может объяснить (например, ошибка измерения, неизвестные факторы).

Пример интерпретации формулы:Предположим, мы прогнозируем цену дома (y), модель имеет вид:房价 = 50000 + 3000 * 面积 + 10000 * 卧室数 - 2000 * 房龄

  • β₀ = 50000β₀: Теоретически базовая цена "дома" с площадью 0, количеством спален 0 и возрастом дома 0.
  • β₁ = 3000β₁: При неизменном количестве спален и возрасте дома, при увеличении площади на каждый дополнительный 1 квадратный метр цена дома в среднем увеличивается на 3000 юаней.
  • β₂ = 10000β₂: При неизменной площади и возрасте дома, одна дополнительная спальня увеличивает цену дома в среднем на 10000 юаней.
  • β₃ = -2000β₃: При неизменной площади и количестве спален, за каждый дополнительный год возраста дома цена дома в среднем снижается на 2000 юаней.

2. Как «обучить» модель множественной линейной регрессии?

«Обучение» модели по сути означает поиск набора оптимальных коэффициентов регрессии на основе имеющихся у нас данных,(β₀, β₁, ..., βₙ)чтобы прогнозируемые значения модели были как можно ближе к истинным значениям. Этот процесс обычно выполняется с помощьюметода наименьших квадратов.

2.1 Цель: минимизировать функцию потерь

Мы используемсумму квадратов остатков (RSS)в качестве функции потерь для измерения ошибки предсказания модели.RSS = Σ(yᵢ - ŷᵢ)²где,yᵢявляется i-мiистинным значением,ŷᵢявляется предсказанием модели для i-гоiобразца.

Цель обучения — найти набор коэффициентов, минимизирующий значение RSS.

2.2 Процесс решения (матричная форма)

Когда число признаков велико, использование матричных операций позволяет более эффективно представить и решить модель. Модель можно записать в виде:Y = Xβ + εгде:

  • Yy — вектор-столбец, содержащий все целевые значения.
  • XX — матрица плана. Первый столбец обычно состоит из одних 1 (соответствует свободному членуβ₀), а каждый последующий столбец соответствует одному признаку.
  • ββ — вектор-столбец, содержащий все коэффициенты регрессии.
  • εε — вектор ошибок.

С помощью вывода методом наименьших квадратов оптимальное решение (аналитическое решение) для коэффициентовβможно получить в виде:β = (XᵀX)⁻¹XᵀYЭта формула теоретически идеальна, но в реальном программировании мы обычно используем библиотеки численной оптимизации (такие какscikit-learn) для эффективных и устойчивых вычислений. Она автоматически обрабатывает сложные операции, такие как обращение матриц.


3. Реализация множественной линейной регрессии в Python

Давайте воспользуемся популярной библиотекой машинного обучения на полном примереscikit-learnчтобы построить модель множественной линейной регрессии.

3.1 Настройка окружения и загрузка данных

Сначала убедитесь, что необходимые библиотеки установлены, и загрузите пример набора данных.

Пример

# Импорт необходимых библиотек
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.datasets import fetch_california_housing # Классический многомерный набор данных

# Загрузите набор данных о жилье в Калифорнии
california = fetch_california_housing()
df = pd.DataFrame(california.data, columns=california.feature_names)
df['MedHouseVal'] = california.target # Добавить целевой столбец: медианная стоимость дома

print("Размер набора данных:", df.shape)
print("\n"Первые 5 строк данных:")
print(df.head())
print("\n"Описание признаков:")
print(california.DESCR[:500]) # Вывести часть описания

3.2 Исследование данных и предобработка

Перед моделированием крайне важно понять базовое состояние данных.

Пример

# 1. Просмотр основной информации о данных
print(df.info())
print("\n"Основное статистическое описание:")
print(df.describe())

# 2. Разделение на признаки (X) и целевую переменную (y)
X = df.drop('MedHouseVal', axis=1) # Матрица признаков: содержит все столбцы, кроме цены дома
y = df['MedHouseVal'] # Вектор целевой переменной: цена дома

# 3. Разделение на обучающую и тестовую выборки (70% на обучение, 30% на тест)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
print(f"\n"Примеров в обучающей выборке: {X_train.shape)

3.3 Создание, обучение и оценка модели

Теперь мы создаём модель линейной регрессии, "fit" её на обучающих данных и оцениваем её производительность на тестовой выборке.

Пример

# 1. Создайте экземпляр модели
model = LinearRegression()

# 2. Обучите модель (подгоните данные)
model.fit(X_train, y_train)

# 3. Используйте обученную модель для прогнозирования
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 4. Оцените качество модели
# Среднеквадратичная ошибка (MSE) — чем ниже, тем лучше
train_mse = mean_squared_error(y_train, y_train_pred)
test_mse = mean_squared_error(y_test, y_test_pred)

# Коэффициент детерминации (R²) — чем ближе к 1, тем лучше, что указывает на более сильную объясняющую способность
train_r2 = r2_score(y_train, y_train_pred)
test_r2 = r2_score(y_test, y_test_pred)

print("=== Оценка качества модели ===")
print(f"MSE на обучающей выборке: {train_mse:.4f}, R²: {train_r2:.4f}")
print(f"MSE на тестовой выборке: {test_mse:.4f}, R²: {test_r2:.4f}")

# 5. Просмотрите параметры обученной модели
print("\n"=== Параметры модели ===")
print(f"Свободный член (β₀): {model.intercept_:.4f}")
print("Коэффициенты регрессии (β₁, β₂, ...):")
for feature, coef in zip(X.columns, model.coef_):
    print(f" {feature}: {coef:.4f}")

3.4 Интерпретация результатов и визуализация

Понимать значение коэффициентов и метрик оценки.

Пример

# Визуализация: истинные значения против предсказанных значений (тестовая выборка)
plt.figure(figsize=(8, 6))
plt.scatter(y_test, y_test_pred, alpha=0.5)
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'r--', lw=2) # Построить идеальную диагональную линию
plt.xlabel('Истинная цена дома')
plt.ylabel('Предсказанная цена дома')
plt.title('Множественная линейная регрессия: истинные значения против предсказанных значений (тестовая выборка)')
plt.grid(True, linestyle='--', alpha=0.7)
plt.show()

# Визуализация: важность признаков (приблизительно представлена абсолютным значением коэффициентов)
features = X.columns
coefs = model.coef_
plt.figure(figsize=(10, 6))
bars = plt.barh(features, np.abs(coefs)) # Использовать абсолютные значения для сравнения величины влияния
plt.xlabel('Абсолютное значение коэффициента регрессии')
plt.title('Величина влияния признаков на цену дома (на основе абсолютных коэффициентов)')
# Добавить подписи значений на столбчатую диаграмму
for bar, coef in zip(bars, coefs):
    width = bar.get_width()
    plt.text(width + 0.01, bar.get_y() + bar.get_height()/2, f'{coef:.4f}', va='center')
plt.grid(True, axis='x', linestyle='--', альфа=0.7)
plt.tight_layout()
plt.show()

4. Аспекты и проблемы множественной линейной регрессии

4.1 Ключевые допущения

Корректность модели линейной регрессии основывается на нескольких статистических допущениях:

  1. Линейность: между независимыми и зависимой переменными существует линейная связь.
  2. Независимость: наблюдения независимы друг от друга.
  3. Гомоскедастичность: дисперсия случайной ошибки остаётся постоянной для всех наблюдений.
  4. Нормальность: случайная ошибка подчиняется нормальному распределению.
  5. Отсутствие мультиколлинеарности: не должно быть высокой корреляции между независимыми переменными.

4.2 Распространённые проблемы и решения

Задача Описание Возможные последствия Решения
Мультиколлинеарность Признаки сильно коррелируют друг с другом. Оценки коэффициентов неустойчивы, что затрудняет интерпретацию влияния отдельных признаков. 1. Используйте матрицу корреляций, чтобы проверить и удалить сильно коррелированные признаки.
2. Используйте метод главных компонент (PCA) для снижения размерности.
3. Используйте методы регуляризации (например, гребневую регрессию).
Переобучение Модель слишком сложна, идеально подгоняется под шум в обучающих данных и плохо работает на тестовой выборке. Ошибка на тестовой выборке намного больше ошибки на обучающей выборке. 1. Соберите больше данных.
2. Используйте меньше признаков (отбор признаков).
3. Используйте регуляризацию.
Нелинейная зависимость Зависимость в данных по своей природе нелинейна. Модель обладает плохой предсказательной способностью и низким значением R². 1. Преобразуйте признаки (например, полиномиальные признаки, логарифмическое преобразование).
2. Используйте нелинейные модели (такие как деревья решений, нейронные сети).

5. Практика: Закрепите понимание

Теперь ваша очередь практиковаться! Выполните следующие упражнения по порядку, чтобы закрепить понимание множественной линейной регрессии.

Упражнение 1: Интерпретация модели

Используя коэффициенты модели, выведенные приведенным выше кодом, ответьте на следующие вопросы:

  1. Какая характеристика оказывает наибольшееположительное влияниена цены на жилье в Калифорнии? (На основе значений коэффициентов)
  2. Какая характеристика оказываетотрицательное влияние на цены на жилье в Калифорнии??
  3. Как вы интерпретируетеAveRoomsкоэффициент при (среднем количестве комнат)? Опишите одним полным предложением.

Упражнение 2: диагностика мультиколлинеарности

  1. Вычислите для признаковXкорреляционную матрицу (df.corr())。
  2. Найдите пары признаков, у которых абсолютная корреляция больше 0.7. У них может быть мультиколлинеарность.
  3. (Необязательно) Попробуйте удалить один из сильно коррелирующих признаков из модели, переобучите модель и посмотрите, как изменятся коэффициенты и оценка R².

Упражнение 3: Попробуйте новый набор данных

  1. fromsklearn.datasetsзагрузите другой набор данных для регрессии, напримерload_diabetes(набор данных diabetes).
  2. Повторите шаги моделирования из этой статьи: исследование данных, разделение, обучение, оценка, визуализация.
  3. Сравните качество модели на двух наборах данных и подумайте о возможных причинах.
Другие расширения