:.4f}、
sklearnを使わずにPCA(主成分分析)を自前で実装します。固有値と固有ベクトルが「情報の圧縮、主要な差異の保持」において果たす役割を直感的に確認できます。
このケースを学ぶと、以下のことが理解できます:PCAとは、データの分布が最も「散らばる」方向を見つけ、より少ない次元で可能な限り多くの情報を保持することです。
生活からの導入
友達に魚の形を説明する
魚の体の各点の3次元座標を精密に説明する必要はありません。「だいたいこれくらいの長さ、これくらいの幅、この形」と言うだけで十分です。最小限のデータで最も重要な違いを捉えています。
PCAが行うのはまさにこれです。高次元データから最も重要な方向をいくつか見つけ、重要でない詳細を捨て、より少ない数値で同じデータを記述します。
直感的な理解
300個の3次元データ点があるとします。それらは均一に分布しているわけではなく、ほとんどの点がある斜めの線に沿って並び、その線から外れる点はごくわずかです。
これは何を意味するでしょうか?実は3つの次元の座標は必要ないということです。2つの次元で十分です——1つは斜めの線に沿った方向、もう1つは斜めの線に垂直な方向です。垂直方向の3番目の次元のデータはほとんど変化がないため、捨てることができます。
中心化
共分散行列
固有値分解
射影による次元削減
固有値が大きいほど、データがこの方向に「より散らばっている」ことを示し、この方向がより重要です。
数学的定義
PCAアルゴリズムの手順
\[ \begin{aligned} \text{1. 中心化:}&\quad X_c = X - \bar{X} \\ \text{2. 共分散行列:}&\quad \Sigma = \frac{1}{n-1}X_c^T X_c \\ \text{3. 固有値分解:}&\quad \Sigma = V \Lambda V^T \\ \text{4. 最初のk個の固有ベクトルを選択:}&\quad V_k = [v_1, v_2, ..., v_k] \\ \text{5. 射影:}&\quad X_{\text{reduced}} = X_c \cdot V_k \end{aligned} \]分散の説明比率
\[ \text{説明比率}_i = \frac{\lambda_i}{\sum_{j=1}^{d} \lambda_j} \]ここで \(\lambda_i\) は \(i\) 番目に大きい固有値です。この比率は、第 \(i\) 主成分が総分散のどれだけを「説明」するかを示します。
Pythonでの実践
3次元だが実際には主にある方向に沿って分布するデータセットを構築し、PCAを自前で実装して2次元に削減します。
実例
import numpy as np
np.random.seed(42)
# 1. 3次元データを構築。データは主にある方向に沿って分布
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
base * 3 + np.random.randn(n, 1) * 0.3, # x1列
base * 1.5 + np.random.randn(n, 1) * 0.3, # x2列
np.random.randn(n, 1) * 0.2, # x3列(ノイズ)
])
print(サンプル 生データの形状:, X.shape,
(300個のサンプル、各サンプルは3次元))
# 2. PCAを自前で実装(4つのステップ)
def pca(X, n_components=2):
# ステップ1:中心化——データの平均を0に移動
X_centered = X - X.mean(axis=0)
# ステップ2:共分散行列——すべての変数ペア間の関係を求める
cov = np.cov(X_centered, rowvar=False)
# ステップ3:固有値分解——eighは対称行列に使用するとより安定
eigvals, eigvecs = np.linalg.eigh(cov)
# 固有値を大きい順にソート
order = np.argsort(eigvals)[::-1]
eigvals = eigvals[order]
eigvecs = eigvecs[:, order]
# ステップ4:最初のk個の固有ベクトルを取得して射影
components = eigvecs[:, :n_components]
X_reduced = X_centered @ components
# 各主成分が説明する分散の比率を計算
explained_ratio = eigvals[:n_components] / eigvals.sum()
return X_reduced, eigvals, explained_ratio
X_reduced, eigvals, explained_ratio = pca(X, n_components=2)
print("\nサンプル 3つの固有値(分散の大きさ):,
np.round(eigvals, 3))
print(最初の2つの主成分が説明する分散の比率:,
np.round(explained_ratio, 3))
print(累積的に保持される情報:,
round(explained_ratio.sum() * 100, 1), "%")
print(次元削減後のデータ形状:, X_reduced.shape,
(3次元から2次元に削減))
# 3. 重要な観察:3番目の固有値が非常に小さい
print(f"\nサンプル 3番目の固有値はわずか {eigvals
f最初の2つ({eigvals)
print(3番目の次元には情報量がほとんどないことを示しています——安全に捨てられます!)
np.random.seed(42)
# 1. 3次元データを構築。データは主にある方向に沿って分布
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
base * 3 + np.random.randn(n, 1) * 0.3, # x1列
base * 1.5 + np.random.randn(n, 1) * 0.3, # x2列
np.random.randn(n, 1) * 0.2, # x3列(ノイズ)
])
print(サンプル 生データの形状:, X.shape,
(300個のサンプル、各サンプルは3次元))
# 2. PCAを自前で実装(4つのステップ)
def pca(X, n_components=2):
# ステップ1:中心化——データの平均を0に移動
X_centered = X - X.mean(axis=0)
# ステップ2:共分散行列——すべての変数ペア間の関係を求める
cov = np.cov(X_centered, rowvar=False)
# ステップ3:固有値分解——eighは対称行列に使用するとより安定
eigvals, eigvecs = np.linalg.eigh(cov)
# 固有値を大きい順にソート
order = np.argsort(eigvals)[::-1]
eigvals = eigvals[order]
eigvecs = eigvecs[:, order]
# ステップ4:最初のk個の固有ベクトルを取得して射影
components = eigvecs[:, :n_components]
X_reduced = X_centered @ components
# 各主成分が説明する分散の比率を計算
explained_ratio = eigvals[:n_components] / eigvals.sum()
return X_reduced, eigvals, explained_ratio
X_reduced, eigvals, explained_ratio = pca(X, n_components=2)
print("\nサンプル 3つの固有値(分散の大きさ):,
np.round(eigvals, 3))
print(最初の2つの主成分が説明する分散の比率:,
np.round(explained_ratio, 3))
print(累積的に保持される情報:,
round(explained_ratio.sum() * 100, 1), "%")
print(次元削減後のデータ形状:, X_reduced.shape,
(3次元から2次元に削減))
# 3. 重要な観察:3番目の固有値が非常に小さい
print(f"\nサンプル 3番目の固有値はわずか {eigvals
f最初の2つ({eigvals)
print(3番目の次元には情報量がほとんどないことを示しています——安全に捨てられます!)
サンプル 原始数据形状: (300, 3) (300 个样本,每个样本 3 维) サンプル 三个特征值 (方差大小): [9.569 2.267 0.04 ] 前 2 个主成分解释的方差比例: [0.806 0.191] 累计保留信息: 99.7 % 降维后数据形状: (300, 2) (从 3 维降到了 2 维) サンプル 第三个特征值只有 0.0404,远小于前两个 (9.57, 2.27) 说明第三维几乎没有信息量——可以安全丢掉!
AIでの応用シーン
| AIシーン | PCAの使用方法 |
|---|---|
| データの可視化 | 高次元データ(例:単語ベクトル768次元)を2次元に削減し、散布図でデータ分布を直感的に観察する |
| 特徴量の次元削減 | モデル学習前に冗長な特徴を除去し、計算量を減らすと同時に過学習のリスクを低減する |
| ノイズ除去 | 分散が大きい主成分のみを保持し、分散が小さいもの(多くの場合ノイズ)を捨てる |
| 画像圧縮 | 顔画像を少数の「特徴顔」(Eigenface)の組み合わせで近似表現する |
| 推薦システム | SVD(PCAの行列版)でユーザー-アイテム評価行列を分解し、隠れたユーザー嗜好パターンを発見する |