:.4f}、

sklearnを使わずにPCA(主成分分析)を自前で実装します。固有値と固有ベクトルが「情報の圧縮、主要な差異の保持」において果たす役割を直感的に確認できます。

このケースを学ぶと、以下のことが理解できます:PCAとは、データの分布が最も「散らばる」方向を見つけ、より少ない次元で可能な限り多くの情報を保持することです。


生活からの導入

友達に魚の形を説明する

魚の体の各点の3次元座標を精密に説明する必要はありません。「だいたいこれくらいの長さ、これくらいの幅、この形」と言うだけで十分です。最小限のデータで最も重要な違いを捉えています。

PCAが行うのはまさにこれです。高次元データから最も重要な方向をいくつか見つけ、重要でない詳細を捨て、より少ない数値で同じデータを記述します。


直感的な理解

300個の3次元データ点があるとします。それらは均一に分布しているわけではなく、ほとんどの点がある斜めの線に沿って並び、その線から外れる点はごくわずかです。

これは何を意味するでしょうか?実は3つの次元の座標は必要ないということです。2つの次元で十分です——1つは斜めの線に沿った方向、もう1つは斜めの線に垂直な方向です。垂直方向の3番目の次元のデータはほとんど変化がないため、捨てることができます。

中心化
共分散行列
固有値分解
射影による次元削減

固有値が大きいほど、データがこの方向に「より散らばっている」ことを示し、この方向がより重要です。


数学的定義

PCAアルゴリズムの手順

\[ \begin{aligned} \text{1. 中心化:}&\quad X_c = X - \bar{X} \\ \text{2. 共分散行列:}&\quad \Sigma = \frac{1}{n-1}X_c^T X_c \\ \text{3. 固有値分解:}&\quad \Sigma = V \Lambda V^T \\ \text{4. 最初のk個の固有ベクトルを選択:}&\quad V_k = [v_1, v_2, ..., v_k] \\ \text{5. 射影:}&\quad X_{\text{reduced}} = X_c \cdot V_k \end{aligned} \]

分散の説明比率

\[ \text{説明比率}_i = \frac{\lambda_i}{\sum_{j=1}^{d} \lambda_j} \]

ここで \(\lambda_i\) は \(i\) 番目に大きい固有値です。この比率は、第 \(i\) 主成分が総分散のどれだけを「説明」するかを示します。


Pythonでの実践

3次元だが実際には主にある方向に沿って分布するデータセットを構築し、PCAを自前で実装して2次元に削減します。

実例

import numpy as np
np.random.seed(42)

# 1. 3次元データを構築。データは主にある方向に沿って分布
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
    base * 3 + np.random.randn(n, 1) * 0.3,   # x1列
    base * 1.5 + np.random.randn(n, 1) * 0.3,  # x2列
    np.random.randn(n, 1) * 0.2,               # x3列(ノイズ)
])
print(サンプル 生データの形状:, X.shape,
      (300個のサンプル、各サンプルは3次元))

# 2. PCAを自前で実装(4つのステップ)
def pca(X, n_components=2):
    # ステップ1:中心化——データの平均を0に移動
    X_centered = X - X.mean(axis=0)
    # ステップ2:共分散行列——すべての変数ペア間の関係を求める
    cov = np.cov(X_centered, rowvar=False)
    # ステップ3:固有値分解——eighは対称行列に使用するとより安定
    eigvals, eigvecs = np.linalg.eigh(cov)
    # 固有値を大きい順にソート
    order = np.argsort(eigvals)[::-1]
    eigvals = eigvals[order]
    eigvecs = eigvecs[:, order]
    # ステップ4:最初のk個の固有ベクトルを取得して射影
    components = eigvecs[:, :n_components]
    X_reduced = X_centered @ components
    # 各主成分が説明する分散の比率を計算
    explained_ratio = eigvals[:n_components] / eigvals.sum()
    return X_reduced, eigvals, explained_ratio

X_reduced, eigvals, explained_ratio = pca(X, n_components=2)

print("\nサンプル 3つの固有値(分散の大きさ):,
      np.round(eigvals, 3))
print(最初の2つの主成分が説明する分散の比率:,
      np.round(explained_ratio, 3))
print(累積的に保持される情報:,
      round(explained_ratio.sum() * 100, 1), "%")
print(次元削減後のデータ形状:, X_reduced.shape,
      (3次元から2次元に削減))

# 3. 重要な観察:3番目の固有値が非常に小さい
print(f"\nサンプル 3番目の固有値はわずか {eigvals
      f最初の2つ({eigvals)
print(3番目の次元には情報量がほとんどないことを示しています——安全に捨てられます!)
サンプル 原始数据形状: (300, 3) (300 个样本,每个样本 3 维)

サンプル 三个特征值 (方差大小): [9.569 2.267 0.04 ]
前 2 个主成分解释的方差比例: [0.806 0.191]
累计保留信息: 99.7 %
降维后数据形状: (300, 2) (从 3 维降到了 2 维)

サンプル 第三个特征值只有 0.0404,远小于前两个 (9.57, 2.27)
说明第三维几乎没有信息量——可以安全丢掉!

AIでの応用シーン

AIシーンPCAの使用方法
データの可視化高次元データ(例:単語ベクトル768次元)を2次元に削減し、散布図でデータ分布を直感的に観察する
特徴量の次元削減モデル学習前に冗長な特徴を除去し、計算量を減らすと同時に過学習のリスクを低減する
ノイズ除去分散が大きい主成分のみを保持し、分散が小さいもの(多くの場合ノイズ)を捨てる
画像圧縮顔画像を少数の「特徴顔」(Eigenface)の組み合わせで近似表現する
推薦システムSVD(PCAの行列版)でユーザー-アイテム評価行列を分解し、隠れたユーザー嗜好パターンを発見する
その他の拡張