Multiple lineare Regression

Im vorherigen Artikel haben wir die einfache lineare Regression untersucht, die uns geholfen hat zu verstehen, wie ein Merkmal (unabhängige Variable) ein Ziel (abhängige Variable) beeinflusst. Probleme in der realen Welt sind jedoch oft komplexer. Wenn wir beispielsweise Hauspreise vorhersagen, können wir nicht nur die Wohnfläche betrachten; wir müssen auch mehrere Faktoren wie die Anzahl der Schlafzimmer, die geografische Lage und das Alter des Hauses berücksichtigen. An diesem Punkt brauchen wir:Multiple lineare Regression。

Einfach ausgedrückt ist die multiple lineare Regression eine natürliche Erweiterung der einfachen linearen Regression. Sie ermöglicht es uns, den Einfluss vonmehreren unabhängigen Variablenauf eine abhängige Variable gleichzeitig zu analysieren. Dieser Artikel führt Sie von null zu einem umfassenden Verständnis der Kernkonzepte, mathematischen Grundlagen, Implementierungsmethoden und praktischen Anwendungen der multiplen linearen Regression.


1. Was ist multiple lineare Regression?

1.1 Kernkonzepte

Die multiple lineare Regression ist eine statistische Methode, die verwendet wird, um eine lineare Beziehung zwischenmehreren unabhängigen Variablen(auch Merkmale, erklärende Variablen genannt) undeiner kontinuierlichen abhängigen Variablen(auch Zielvariable, Antwortvariable genannt) herzustellen.

Eine anschauliche Metapher:Stellen Sie sich vor, Sie sind ein Koch und justieren den Geschmack einer Suppe (das Ziel). Die einfache lineare Regression ist wie das Anpassen der Salzigkeit nur über die Menge an Salz. Die multiple lineare Regression ist wie das gleichzeitige Steuern der Mengen an Salz, Zucker, Chili, Sojasauce und anderen Gewürzen (Merkmale), um den endgültigen Geschmack der Suppe umfassend zu bestimmen. Die multiple Regression ermöglicht es Ihnen, den spezifischen Beitrag jedes Gewürzes zum Geschmack zu analysieren.

1.2 Modellformel

Der mathematische Ausdruck des multiplen linearen Regressionsmodells lautet wie folgt:

y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ + ε

Zerlegen wir jeden Teil dieser Formel:

Symbol Name Bedeutung
y Abhängige Variable Der Zielwert, den wir vorhersagen möchten (z. B. Hauspreis).
x₁, x₂, ..., xₙ Unabhängige Variable Zur Vorhersage verwendete Merkmaley(z. B. Fläche, Anzahl der Schlafzimmer, Alter des Hauses).
β₀ Achsenabschnittsterm Wenn alle unabhängigen Variablen 0 sind,yder vorhergesagte Basiswert.
β₁, β₂, ..., βₙ Regressionskoeffizient Das Gewicht jeder unabhängigen Variablexᵢ. Es zeigt an:Wenn andere Merkmale unverändert bleiben,xᵢfür jede zusätzliche 1 Einheit dieser Variable,ydie durchschnittliche Änderung der Zielvariableβᵢbeträgt so viele Einheiten.Dies ist der Kern der multiplen Regressionsanalyse.
ε Fehlerterm Zufällige Schwankung, die das Modell nicht erklären kann (z. B. Messfehler, unbekannte Faktoren).

Beispiel für die Interpretation der Formel:Angenommen, wir prognostizieren den Hauspreis (y), lautet das Modell:房价 = 50000 + 3000 * 面积 + 10000 * 卧室数 - 2000 * 房龄

  • β₀ = 50000β₀: Theoretisch der Basispreis eines "Hauses" mit Fläche 0, Schlafzimmer 0 und Hausalter 0.
  • β₁ = 3000β₁: Bei unveränderter Anzahl der Schlafzimmer und unverändertem Hausalter steigt der Hauspreis für jeden zusätzlichen 1 Quadratmeter Fläche durchschnittlich um 3000 Yuan.
  • β₂ = 10000β₂: Bei unveränderter Fläche und unverändertem Hausalter erhöht ein zusätzliches Schlafzimmer den Hauspreis durchschnittlich um 10000 Yuan.
  • β₃ = -2000β₃: Bei unveränderter Fläche und unveränderter Anzahl der Schlafzimmer sinkt der Hauspreis für jedes zusätzliche Jahr des Hausalters durchschnittlich um 2000 Yuan.

2. Wie „trainiert“ man ein multiples lineares Regressionsmodell?

„Training“ eines Modells bedeutet im Wesentlichen, eine Menge optimaler Regressionskoeffizienten auf Grundlage unserer vorhandenen Daten zu finden,(β₀, β₁, ..., βₙ)sodass die vorhergesagten Werte des Modells den wahren Werten so nahe wie möglich kommen. Dieser Prozess wird üblicherweise durchdie Methode der kleinsten Quadrate abgeschlossen.

2.1 Ziel: Verlustfunktion minimieren

Wir verwenden dieResiduenquadratsumme (RSS)als Verlustfunktion, um den Vorhersagefehler des Modells zu messen.RSS = Σ(yᵢ - ŷᵢ)²wobei,yᵢist der i-teiwahre Wert,ŷᵢist die Vorhersage des Modells für die i-teiStichprobe.

Das Trainingsziel besteht darin, eine Menge von Koeffizienten zu finden, die den Wert von RSS minimiert.

2.2 Lösungsprozess (Matrixform)

Wenn die Anzahl der Merkmale groß ist, können Matrixoperationen das Modell effizienter darstellen und lösen. Das Modell kann geschrieben werden als:Y = Xβ + εwobei:

  • Yy ist ein Spaltenvektor, der alle Zielwerte enthält.
  • XX ist die Designmatrix. Die erste Spalte besteht normalerweise ausschließlich aus 1en (entsprechend dem Achsenabschnittstermβ₀), und jede nachfolgende Spalte entspricht einem Merkmal.
  • ββ ist ein Spaltenvektor, der alle Regressionskoeffizienten enthält.
  • εε ist der Fehlertermvektor.

Durch die Herleitung der kleinsten Quadrate kann die optimale Lösung (geschlossene Form) für die Koeffizientenβwie folgt erhalten werden:β = (XᵀX)⁻¹XᵀYDiese Formel ist theoretisch perfekt, aber in der tatsächlichen Programmierung verwenden wir normalerweise numerische Optimierungsbibliotheken (wie z. B.scikit-learn) um effizient und stabil zu berechnen. Sie verarbeitet automatisch komplexe Operationen wie die Matrixinversion.


3. Implementierung der multiplen linearen Regression in Python

Lassen Sie uns anhand eines vollständigen Beispiels eine beliebte Machine-Learning-Bibliothek verwendenscikit-learnum ein multiples lineares Regressionsmodell zu erstellen.

3.1 Einrichtung der Umgebung und Laden der Daten

Stellen Sie zunächst sicher, dass die erforderlichen Bibliotheken installiert sind, und laden Sie einen Beispieldatensatz.

Beispiel

# Notwendige Bibliotheken importieren
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.datasets import fetch_california_housing # Ein klassischer multivariater Datensatz

# Lade den California-Housing-Datensatz
california = fetch_california_housing()
df = pd.DataFrame(california.data, columns=california.feature_names)
df['MedHouseVal'] = california.target # Zielspalte hinzufügen: Median-Hauswert

print("Form des Datensatzes:", df.shape)
print("\n"Erste 5 Datenzeilen:")
print(df.head())
print("\n"Merkmalsbeschreibung:")
print(california.DESCR[:500]) # Teil der Beschreibung ausgeben

3.2 Datenexploration und Vorverarbeitung

Vor der Modellierung ist es entscheidend, die grundlegende Situation der Daten zu verstehen.

Beispiel

# 1. Grundlegende Informationen über die Daten anzeigen
print(df.info())
print("\n"Grundlegende statistische Beschreibung:")
print(df.describe())

# 2. In Merkmale (X) und Zielvariable (y) aufteilen
X = df.drop('MedHouseVal', axis=1) # Merkmalsmatrix: enthält alle Spalten außer dem Hauspreis
y = df['MedHouseVal'] # Zielvektor: Hauspreis

# 3. Aufteilung in Trainings- und Testsatz (70% Training, 30% Test)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
print(f"\n"Trainingssatz-Beispiele: {X_train.shape)

3.3 Modell erstellen, trainieren und evaluieren

Nun erstellen wir ein lineares Regressionsmodell, "fitten" es mit den Trainingsdaten und evaluieren seine Leistung auf dem Testsatz.

Beispiel

# 1. Modellinstanz erstellen
model = LinearRegression()

# 2. Das Modell trainieren (die Daten anpassen)
model.fit(X_train, y_train)

# 3. Das trainierte Modell für Vorhersagen verwenden
y_train_pred = model.predict(X_train)
y_test_pred = model.predict(X_test)

# 4. Modellleistung bewerten
# Mittlerer quadratischer Fehler (MSE) - niedriger ist besser
train_mse = mean_squared_error(y_train, y_train_pred)
test_mse = mean_squared_error(y_test, y_test_pred)

# Bestimmtheitsmaß (R²) - näher an 1 ist besser, was auf eine stärkere Erklärungskraft hinweist
train_r2 = r2_score(y_train, y_train_pred)
test_r2 = r2_score(y_test, y_test_pred)

print("=== Bewertung der Modellleistung ===")
print(f"Trainingsset MSE: {train_mse:.4f}, R²: {train_r2:.4f}")
print(f"Testset MSE: {test_mse:.4f}, R²: {test_r2:.4f}")

# 5. Die gelernten Modellparameter anzeigen
print("\n"=== Modellparameter ===")
print(f"Achsenabschnitt (β₀): {model.intercept_:.4f}")
print("Regressionskoeffizienten (β₁, β₂, ...):")
for feature, coef in zip(X.columns, model.coef_):
    print(f" {feature}: {coef:.4f}")

3.4 Interpretation der Ergebnisse und Visualisierung

Verstehen Sie die Bedeutung von Koeffizienten und Evaluierungsmetriken.

Beispiel

# Visualisierung: wahre Werte vs. vorhergesagte Werte (Testdatensatz)
plt.figure(figsize=(8, 6))
plt.scatter(y_test, y_test_pred, alpha=0.5)
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'r--', lw=2) # Die ideale diagonale Linie zeichnen
plt.xlabel('Tatsächlicher Hauspreis')
plt.ylabel('Vorhergesagter Hauspreis')
plt.title('Multiple lineare Regression: Wahre Werte vs. vorhergesagte Werte (Testset)')
plt.grid(True, linestyle='--', alpha=0.7)
plt.show()

# Visualisierung: Merkmalswichtigkeit (näherungsweise dargestellt durch den Absolutwert der Koeffizienten)
features = X.columns
coefs = model.coef_
plt.figure(figsize=(10, 6))
bars = plt.barh(features, np.abs(coefs)) # Absolutwerte verwenden, um die Stärke des Einflusses zu vergleichen
plt.xlabel('Absolutwert des Regressionskoeffizienten')
plt.title('Stärke des Einflusses der Merkmale auf den Hauspreis (basierend auf absoluten Koeffizienten)')
# Wertbeschriftungen zum Balkendiagramm hinzufügen
for bar, coef in zip(bars, coefs):
    width = bar.get_width()
    plt.text(width + 0.01, bar.get_y() + bar.get_height()/2, f'{coef:.4f}', va='center')
plt.grid(True, axis='x', linestyle='--', Alpha=0.7)
plt.tight_layout()
plt.show()

4. Überlegungen und Herausforderungen der multiplen linearen Regression

4.1 Wichtige Annahmen

Die Gültigkeit des linearen Regressionsmodells beruht auf mehreren statistischen Annahmen:

  1. Linearität: Es besteht eine lineare Beziehung zwischen den unabhängigen und den abhängigen Variablen.
  2. Unabhängigkeit: Die Beobachtungen sind voneinander unabhängig.
  3. Homoskedastizität: Die Varianz des Fehlerterms bleibt über alle Beobachtungen hinweg konstant.
  4. Normalität: Der Fehlerterm folgt einer Normalverteilung.
  5. Keine Multikollinearität: Es sollte keine hohe Korrelation zwischen den unabhängigen Variablen geben.

4.2 Häufige Herausforderungen und Lösungen

Herausforderung Beschreibung Mögliche Konsequenzen Lösungen
Multikollinearität Merkmale sind stark miteinander korreliert. Koeffizientenschätzungen sind instabil, was die Interpretation der Wirkung einzelner Merkmale erschwert. 1. Verwenden Sie eine Korrelationsmatrix, um stark korrelierte Merkmale zu prüfen und zu entfernen.
2. Verwenden Sie die Hauptkomponentenanalyse (PCA) zur Dimensionsreduktion.
3. Verwenden Sie Regularisierungsmethoden (wie Ridge-Regression).
Überanpassung (Overfitting) Das Modell ist zu komplex, passt sich perfekt an das Rauschen in den Trainingsdaten an und schneidet auf dem Testset schlecht ab. Der Fehler auf dem Testset ist viel größer als der Fehler auf dem Trainingsset. 1. Sammeln Sie mehr Daten.
2. Verwenden Sie weniger Merkmale (Merkmalsauswahl).
3. Verwenden Sie Regularisierung.
Nichtlinearer Zusammenhang Der Zusammenhang in den Daten ist von Natur aus nichtlinear. Das Modell hat eine schlechte Vorhersagefähigkeit und einen niedrigen R²-Wert. 1. Transformieren Sie Merkmale (z. B. Polynommerkmale, logarithmische Transformation).
2. Verwenden Sie nichtlineare Modelle (wie Entscheidungsbäume, neuronale Netze).

5. Praktische Übung: Festigen Sie Ihr Verständnis

Jetzt sind Sie an der Reihe zu üben! Absolvieren Sie die folgenden Übungen der Reihe nach, um Ihr Verständnis der multiplen linearen Regression zu festigen.

Übung 1: Modellinterpretation

Beantworten Sie die folgenden Fragen mithilfe der vom obigen Code ausgegebenen Modellkoeffizienten:

  1. Welches Merkmal hat den größtenpositiven Einflussauf die Immobilienpreise in Kalifornien? (Basierend auf den Koeffizientenwerten)
  2. Welches Merkmal hat einennegativen Einfluss auf die Immobilienpreise in Kalifornien??
  3. Wie interpretierst duAveRoomsden Koeffizienten von (durchschnittliche Anzahl der Zimmer)? Bitte beschreibe es in einem vollständigen Satz.

Übung 2: Multikollinearität diagnostizieren

  1. Berechne dieXKorrelationsmatrix der Merkmale (df.corr())。
  2. Finde die Merkmalspaare, deren absolute Korrelation größer als 0.7 ist. Sie könnten Multikollinearität aufweisen.
  3. (Optional) Versuche, eines der hoch korrelierten Merkmale aus dem Modell zu entfernen, trainiere erneut und beobachte, wie sich die Koeffizienten und der R²-Score ändern.

Übung 3: Probiere einen neuen Datensatz aus

  1. fromsklearn.datasetslade einen weiteren Regressionsdatensatz, wie zum Beispielload_diabetes(den Diabetes-Datensatz).
  2. Wiederhole die Modellierungsschritte aus diesem Artikel: Datenexploration, Aufteilung, Training, Bewertung, Visualisierung.
  3. Vergleiche die Modellleistung auf den beiden Datensätzen und denke über mögliche Gründe nach.
Andere Erweiterungen