PCA zur Dimensionsreduktion und Visualisierung von Daten
Implementiere PCA (Principal Component Analysis) von Hand, ohne sklearn zu verwenden. Erkenne intuitiv die Rolle von Eigenwerten und Eigenvektoren beim "Komprimieren von Informationen und Bewahren der Hauptunterschiede."
Nach Abschluss dieses Falls wirst du verstehen:Bei PCA geht es darum, die Richtung zu finden, in der die Datenverteilung am stärksten "gestreut" ist, und mit weniger Dimensionen so viele Informationen wie möglich zu bewahren.
Einführung aus dem Alltag
Einem Freund die Form eines Fisches beschreiben
Du musst nicht die 3D-Koordinaten jedes Punkts auf dem Fisch genau beschreiben. Du musst nur sagen: "etwa so lang, so breit, so geformt." Mit den wenigsten Datenpunkten erfasst du die entscheidenden Unterschiede.
Genau das macht PCA: Sie findet die wichtigsten Richtungen aus hochdimensionalen Daten, verwirft unwichtige Details und beschreibt dieselben Daten mit weniger Zahlen.
Intuitive Vorstellung
Angenommen, wir haben 300 3D-Datenpunkte. Sie sind nicht gleichmäßig verteilt – die meisten Punkte liegen entlang einer bestimmten schrägen Linie, und nur wenige weichen davon ab.
Was bedeutet das? Es bedeutet, dass wir eigentlich keine Koordinaten in drei Dimensionen brauchen. Zwei Dimensionen reichen aus – eine entlang der Richtung der schrägen Linie und eine senkrecht dazu. Die dritte Dimension senkrecht zur Linie hat fast keine Variation und kann verworfen werden.
Je größer der Eigenwert, desto stärker "gestreut" sind die Daten in dieser Richtung – desto wichtiger ist diese Richtung.
Mathematische Definition
Schritte des PCA-Algorithmus
\[ \begin{aligned} \text{1. Zentrierung:}&\quad X_c = X - \bar{X} \\ \text{2. Kovarianzmatrix:}&\quad \Sigma = \frac{1}{n-1}X_c^T X_c \\ \text{3. Eigenzerlegung:}&\quad \Sigma = V \Lambda V^T \\ \text{4. Wähle die ersten k Eigenvektoren:}&\quad V_k = [v_1, v_2, ..., v_k] \\ \text{5. Projektion:}&\quad X_{\text{reduced}} = X_c \cdot V_k \end{aligned} \]Anteil erklärter Varianz
\[ \text{Erklärter Anteil}_i = \frac{\lambda_i}{\sum_{j=1}^{d} \lambda_j} \]wobei \(\lambda_i\) der \(i\)-te größte Eigenwert ist. Dieser Anteil sagt dir, wie viel zur Gesamtvarianz die \(i\)-te Hauptkomponente „beiträgt“.
Python-Praxisübung
Konstruiere einen 3-dimensionalen Datensatz, der tatsächlich hauptsächlich entlang einer Richtung verteilt ist, und implementiere PCA von Hand, um ihn auf 2 Dimensionen zu reduzieren.
Beispiel
np.random.seed(42)
# 1. 3D-Daten konstruieren, hauptsächlich entlang einer Richtung verteilt
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
base * 3 + np.random.randn(n, 1) * 0.3, # x1-Spalte
base * 1.5 + np.random.randn(n, 1) * 0.3, # x2-Spalte
np.random.randn(n, 1) * 0.2, # x3-Spalte (Rauschen)
])
print("BEISPIEL ursprüngliche Datenform:", X.shape,
(300 Stichproben, jede Stichprobe 3-dimensional))
# 2. PCA von Hand schreiben (vier Schritte)
def pca(X, n_components=2):
# Schritt 1: Zentrierung – den Datenmittelwert auf 0 verschieben
X_centered = X - X.mean(axis=0)
# Schritt 2: Kovarianzmatrix – die Beziehungen zwischen allen Variablenpaaren finden
cov = np.cov(X_centered, rowvar=False)
# Schritt 3: Eigenzerlegung – eigh ist stabiler für symmetrische Matrizen
eigvals, eigvecs = np.linalg.eigh(cov)
# Eigenwerte in absteigender Reihenfolge sortieren
order = np.argsort(eigvals)[::-1]
eigvals = eigvals[order]
eigvecs = eigvecs[:, order]
# Schritt 4: Die obersten k Eigenvektoren nehmen und projizieren
components = eigvecs[:, :n_components]
X_reduced = X_centered @ components
# Den Anteil der durch jede Hauptkomponente erklärten Varianz berechnen
explained_ratio = eigvals[:n_components] / eigvals.sum()
return X_reduced, eigvals, explained_ratio
X_reduced, eigvals, explained_ratio = pca(X, n_components=2)
print("\nBEISPIEL drei Eigenwerte (Varianzgröße):",
np.round(eigvals, 3))
print("Anteil der durch die ersten 2 Hauptkomponenten erklärten Varianz:",
np.round(explained_ratio, 3))
print("Kumulierte beibehaltene Information:",
round(explained_ratio.sum() * 100, 1), "%")
print("Datenform nach Dimensionsreduktion:", X_reduced.shape,
"(Von 3 Dimensionen auf 2 Dimensionen reduziert)")
# 3. Wichtige Beobachtung: Der dritte Eigenwert ist sehr klein
print(f"\nBEISPIEL der dritte Eigenwert ist nur {eigvals[2]:.4f},"
f"viel kleiner als die ersten beiden ({eigvals[0]:.2f}, {eigvals[1]:.2f})")
print("Das zeigt, dass die dritte Dimension fast keine Information enthält — sie kann bedenkenlos verworfen werden!")
EXAMPLE 原始数据形状: (300, 3) (300 个样本,每个样本 3 维) EXAMPLE 三个特征值 (方差大小): [9.569 2.267 0.04 ] 前 2 个主成分解释的方差比例: [0.806 0.191] 累计保留信息: 99.7 % 降维后数据形状: (300, 2) (从 3 维降到了 2 维) EXAMPLE 第三个特征值只有 0.0404,远小于前两个 (9.57, 2.27) 说明第三维几乎没有信息量——可以安全丢掉!
Anwendungsszenarien in der KI
| KI-Szenario | Verwendung von PCA |
|---|---|
| Datenvisualisierung | Hochdimensionale Daten (z. B. 768-dimensionale Wortvektoren) auf 2 Dimensionen reduzieren und die Datenverteilung intuitiv mit einem Streudiagramm beobachten |
| Dimensionsreduktion von Merkmalen | Vor dem Training eines Modells redundante Merkmale entfernen, um Berechnung zu reduzieren und das Risiko von Overfitting zu verringern |
| Rauschfilterung | Nur Hauptkomponenten mit großer Varianz behalten, solche mit kleiner Varianz (oft Rauschen) verwerfen |
| Bildkomprimierung | Gesichtsbilder mithilfe einer Kombination weniger "Eigenfaces" (Eigenface) annähern |
| Empfehlungssysteme | SVD (die Matrixversion von PCA) zerlegt die Nutzer-Item-Bewertungsmatrix, um verborgene Muster der Nutzerpräferenzen zu entdecken. |