PCA zur Dimensionsreduktion und Visualisierung von Daten

Implementiere PCA (Principal Component Analysis) von Hand, ohne sklearn zu verwenden. Erkenne intuitiv die Rolle von Eigenwerten und Eigenvektoren beim "Komprimieren von Informationen und Bewahren der Hauptunterschiede."

Nach Abschluss dieses Falls wirst du verstehen:Bei PCA geht es darum, die Richtung zu finden, in der die Datenverteilung am stärksten "gestreut" ist, und mit weniger Dimensionen so viele Informationen wie möglich zu bewahren.


Einführung aus dem Alltag

Einem Freund die Form eines Fisches beschreiben

Du musst nicht die 3D-Koordinaten jedes Punkts auf dem Fisch genau beschreiben. Du musst nur sagen: "etwa so lang, so breit, so geformt." Mit den wenigsten Datenpunkten erfasst du die entscheidenden Unterschiede.

Genau das macht PCA: Sie findet die wichtigsten Richtungen aus hochdimensionalen Daten, verwirft unwichtige Details und beschreibt dieselben Daten mit weniger Zahlen.


Intuitive Vorstellung

Angenommen, wir haben 300 3D-Datenpunkte. Sie sind nicht gleichmäßig verteilt – die meisten Punkte liegen entlang einer bestimmten schrägen Linie, und nur wenige weichen davon ab.

Was bedeutet das? Es bedeutet, dass wir eigentlich keine Koordinaten in drei Dimensionen brauchen. Zwei Dimensionen reichen aus – eine entlang der Richtung der schrägen Linie und eine senkrecht dazu. Die dritte Dimension senkrecht zur Linie hat fast keine Variation und kann verworfen werden.

Zentrierung
Kovarianzmatrix
Eigenzerlegung
Projektion zur Dimensionsreduktion

Je größer der Eigenwert, desto stärker "gestreut" sind die Daten in dieser Richtung – desto wichtiger ist diese Richtung.


Mathematische Definition

Schritte des PCA-Algorithmus

\[ \begin{aligned} \text{1. Zentrierung:}&\quad X_c = X - \bar{X} \\ \text{2. Kovarianzmatrix:}&\quad \Sigma = \frac{1}{n-1}X_c^T X_c \\ \text{3. Eigenzerlegung:}&\quad \Sigma = V \Lambda V^T \\ \text{4. Wähle die ersten k Eigenvektoren:}&\quad V_k = [v_1, v_2, ..., v_k] \\ \text{5. Projektion:}&\quad X_{\text{reduced}} = X_c \cdot V_k \end{aligned} \]

Anteil erklärter Varianz

\[ \text{Erklärter Anteil}_i = \frac{\lambda_i}{\sum_{j=1}^{d} \lambda_j} \]

wobei \(\lambda_i\) der \(i\)-te größte Eigenwert ist. Dieser Anteil sagt dir, wie viel zur Gesamtvarianz die \(i\)-te Hauptkomponente „beiträgt“.


Python-Praxisübung

Konstruiere einen 3-dimensionalen Datensatz, der tatsächlich hauptsächlich entlang einer Richtung verteilt ist, und implementiere PCA von Hand, um ihn auf 2 Dimensionen zu reduzieren.

Beispiel

import numpy as np
np.random.seed(42)

# 1. 3D-Daten konstruieren, hauptsächlich entlang einer Richtung verteilt
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
    base * 3 + np.random.randn(n, 1) * 0.3,   # x1-Spalte
    base * 1.5 + np.random.randn(n, 1) * 0.3,  # x2-Spalte
    np.random.randn(n, 1) * 0.2,               # x3-Spalte (Rauschen)
])
print("BEISPIEL ursprüngliche Datenform:", X.shape,
      (300 Stichproben, jede Stichprobe 3-dimensional))

# 2. PCA von Hand schreiben (vier Schritte)
def pca(X, n_components=2):
    # Schritt 1: Zentrierung – den Datenmittelwert auf 0 verschieben
    X_centered = X - X.mean(axis=0)
    # Schritt 2: Kovarianzmatrix – die Beziehungen zwischen allen Variablenpaaren finden
    cov = np.cov(X_centered, rowvar=False)
    # Schritt 3: Eigenzerlegung – eigh ist stabiler für symmetrische Matrizen
    eigvals, eigvecs = np.linalg.eigh(cov)
    # Eigenwerte in absteigender Reihenfolge sortieren
    order = np.argsort(eigvals)[::-1]
    eigvals = eigvals[order]
    eigvecs = eigvecs[:, order]
    # Schritt 4: Die obersten k Eigenvektoren nehmen und projizieren
    components = eigvecs[:, :n_components]
    X_reduced = X_centered @ components
    # Den Anteil der durch jede Hauptkomponente erklärten Varianz berechnen
    explained_ratio = eigvals[:n_components] / eigvals.sum()
    return X_reduced, eigvals, explained_ratio

X_reduced, eigvals, explained_ratio = pca(X, n_components=2)

print("\nBEISPIEL drei Eigenwerte (Varianzgröße):",
      np.round(eigvals, 3))
print("Anteil der durch die ersten 2 Hauptkomponenten erklärten Varianz:",
      np.round(explained_ratio, 3))
print("Kumulierte beibehaltene Information:",
      round(explained_ratio.sum() * 100, 1), "%")
print("Datenform nach Dimensionsreduktion:", X_reduced.shape,
      "(Von 3 Dimensionen auf 2 Dimensionen reduziert)")

# 3. Wichtige Beobachtung: Der dritte Eigenwert ist sehr klein
print(f"\nBEISPIEL der dritte Eigenwert ist nur {eigvals[2]:.4f},"
      f"viel kleiner als die ersten beiden ({eigvals[0]:.2f}, {eigvals[1]:.2f})")
print("Das zeigt, dass die dritte Dimension fast keine Information enthält — sie kann bedenkenlos verworfen werden!")
EXAMPLE 原始数据形状: (300, 3) (300 个样本,每个样本 3 维)

EXAMPLE 三个特征值 (方差大小): [9.569 2.267 0.04 ]
前 2 个主成分解释的方差比例: [0.806 0.191]
累计保留信息: 99.7 %
降维后数据形状: (300, 2) (从 3 维降到了 2 维)

EXAMPLE 第三个特征值只有 0.0404,远小于前两个 (9.57, 2.27)
说明第三维几乎没有信息量——可以安全丢掉!

Anwendungsszenarien in der KI

KI-SzenarioVerwendung von PCA
DatenvisualisierungHochdimensionale Daten (z. B. 768-dimensionale Wortvektoren) auf 2 Dimensionen reduzieren und die Datenverteilung intuitiv mit einem Streudiagramm beobachten
Dimensionsreduktion von MerkmalenVor dem Training eines Modells redundante Merkmale entfernen, um Berechnung zu reduzieren und das Risiko von Overfitting zu verringern
RauschfilterungNur Hauptkomponenten mit großer Varianz behalten, solche mit kleiner Varianz (oft Rauschen) verwerfen
BildkomprimierungGesichtsbilder mithilfe einer Kombination weniger "Eigenfaces" (Eigenface) annähern
EmpfehlungssystemeSVD (die Matrixversion von PCA) zerlegt die Nutzer-Item-Bewertungsmatrix, um verborgene Muster der Nutzerpräferenzen zu entdecken.
Weitere Erweiterungen