固有値と固有ベクトル -- 行列の指紋
行列はほとんどのベクトルに作用すると、その向きと長さを同時に変えます。
しかし、常にいくつかの「特別な方向」のベクトルが存在し、行列を作用させても向きは変わらず、長さだけが変わります。これらが固有ベクトルであり、拡大縮小の倍率が固有値です。
核心となる公式:\( A\mathbf{v} = \lambda \mathbf{v} \)
- \( \mathbf{v} \):固有ベクトル(非零)。変換後も方向が変わらない
- \( \lambda \):固有値。v が引き伸ばされる倍率を表す
λ > 0
正方向への拡大・縮小
方向は変わらない
λ < 0
反対方向への拡大・縮小
方向が完全に反転する
n×n 行列は、線形独立な固有ベクトルを最大 n 個持つ。
対称行列の固有値は必ず実数です。これは対称行列がそれほど重要である理由の一つです。
身近な例
ゴム膜の伸縮
一枚のゴム膜を、水平方向に2倍引き伸ばし、垂直方向はそのままにします。
水平方向の矢印(例: (1,0))は (2,0) に引き伸ばされますが、方向は変わりません。これが固有ベクトルで、λ=2 です。
垂直方向の矢印(例: (0,1))は完全に変わりません。これも固有ベクトルで、λ=1 です。
傾いた矢印(例: (1,1))は方向が変わります。これは固有ベクトルではありません。
数学的定義
\[ A\mathbf{v} = \lambda \mathbf{v} \quad \Leftrightarrow \quad (A - \lambda I)\mathbf{v} = 0 \]非零解が存在する条件:\( \det(A - \lambda I) = 0 \)(固有方程式)。
Python で試す
実例
A = np.array([[2, 0], [0, 1]]) # 水平方向に2倍引き伸ばし、垂直方向はそのまま
eigenvalues, eigenvectors = np.linalg.eig(A)
print("固有値:", eigenvalues) # [2. 1.]
print("固有ベクトル(列):"\n", eigenvectors)
# Av = λv の検証
for i in range(2):
v = eigenvectors[:, i]
lam = eigenvalues[i]
print(f"\n"固有ベクトル{i+1}の検証:")
print(f" A @ v = {A @ v}")
print(f" λ * v = {lam * v}")
print(f"等しい: {np.allclose(A @ v, lam * v)}")
# 対称行列の固有値はすべて実数
S = np.array([[1, 4], [4, 2]])
print(f"\n"対称行列 S の固有値: {np.linalg.eigvals(S)}(すべて実数)")
特征值: [2. 1.] 特征向量 (列): [[1. 0.] [0. 1.]] 验证特征向量1: A@v=[2. 0.], λv=[2. 0.], 相等: True 对称矩阵 S 的特征值: [ 5. -2.](全实数)
インタラクティブな固有ベクトルのデモ
青いベクトル v をドラッグして、行列 A = [[2,0],[0,1]] による変換 Av(赤い破線)を観察してください。
v が水平または垂直方向にあるとき、Av と v は同一直線上にあります。これが固有ベクトルの方向です:
AIでの応用シーン
PCAによる次元削減
データの共分散行列の固有値と固有ベクトルを計算します。最大の k 個の固有値に対応する固有ベクトルが、データの分散が最大となる k 個の方向(主成分)です。データをこれらの方向に射影し、分散が小さい方向を捨てることで次元削減を実現します。784次元のMNIST画像を50次元に削減しても、約90%の情報を保持できます。
スペクトル正規化(Spectral Normalization)
GANの学習では、識別器の重み行列に対して毎ステップスペクトル正規化を行います:W ← W / \sigma_{max}(W)。ここで \sigma_{max} は最大特異値(正方行列の場合は最大固有値の絶対値)です。これにより識別器が1-Lipschitzであることが保証され、学習が安定し、モード崩壊が減少します。
グラフニューラルネットワークのスペクトル法
グラフラプラシアン行列 L = D - A(D は次数の対角行列、A は隣接行列)の固有値と固有ベクトルが、グラフ上のフーリエ変換を定義します。GCN(グラフ畳み込みネットワーク)はこのスペクトル領域で畳み込みを行います。現代のGCNは空間領域の手法をより多く使っていますが、スペクトル法は理論的基盤です。
その他の拡張