特殊行列 -- 単位行列、対角行列、対称行列
一部の行列タイプはAIで繰り返し登場し、特別な構造と性質を持っています。それらを理解すると、オプティマイザの動作、正則化の効果、データ変換の意味を素早く把握できます。
単位行列 I
主対角線はすべて1、それ以外はすべて0
任意の行列に掛けても = 変わらない
数の「1」に相当
対角行列
主対角線上にだけ値がある
各次元を独立にスケーリング
オーディオイコライザーに相当
対称行列
転置 = 自身
主対角線に関して対称
固有値はすべて実数
単位行列:数学における「1」
\[ \mathbf{I}_n = \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix} \]形状が適合する任意の行列 A に対して:\( \mathbf{I}A = A \)、\( A\mathbf{I} = A \)。
対角行列:各次元を独立にスケーリング
\[ \mathbf{D} = \text{diag}(d_1, d_2, \dots, d_n) = \begin{bmatrix} d_1 & 0 & \cdots & 0 \\ 0 & d_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & d_n \end{bmatrix} \]対角行列 × ベクトル = ベクトルの各成分に異なるスケーリング係数を独立に適用します。
対称行列:転置しても自分自身
\( \mathbf{A}^T = \mathbf{A} \)、すなわち \( a_{ij} = a_{ji} \)。
対称行列には極めて重要な性質があります:固有値はすべて実数、固有ベクトルは互いに直交します。
これにより、対称行列は最適化と統計において極めて有用です——共分散行列とヘッセ行列はどちらも対称行列です。
日常生活の例
単位行列:何もしない操作
PSで画像を開いて、何も編集せずにそのまま保存する。入力 = 出力。
単位行列はこの「何もしない」を数学的に表したものです。
対角行列:オーディオイコライザー
イコライザーの各スライダーは、1つの周波数帯域の音量を独立に制御します——高域 +3dB、低域 -2dB、中域はそのまま。
各周波数帯域は互いに干渉せず、それぞれスケーリングされます。これが対角行列の動作です。
対称行列:鏡の中の映り込み
鏡の前に立つと、鏡の中では左手が右手の位置に対応します。上下は変わらず、左右が入れ替わります。
対称行列も同様です——主対角線に関して対称で、位置を入れ替えても値は変わりません。
数学的定義
| 行列のタイプ | 定義条件 | 記号 |
|---|---|---|
| 単位行列 | \( I_{ii}=1, I_{ij}=0 \; (i \neq j) \) | \( \mathbf{I}_n \) |
| 対角行列 | \( i \neq j \) のとき \( D_{ij}=0 \) | diag(d₁,...,dₙ) |
| 対称行列 | すべての i,j について \( A_{ij} = A_{ji} \) | \( \mathbf{A} = \mathbf{A}^T \) |
Python で実際に試す
実例
# 単位行列
I = np.eye(3)
A = np.array([[4,7,2],[3,5,1],[6,8,9]])
print("I @ A == A:", np.allclose(I @ A, A))
# 対角行列:独立したスケーリング
D = np.diag([2, 3, 5])
v = np.array([1, 1, 1])
print("D @ [1,1,1] =", D @ v) # [2, 3, 5]
# 対称行列
S = np.array([[1,4,5],[4,2,6],[5,6,3]])
print("S 対称:", np.allclose(S.T, S))
eigenvals = np.linalg.eigvals(S)
print("固有値はすべて実数:", np.all(np.isreal(eigenvals)))
# 共分散行列は自然に対称
data = np.random.randn(100, 5)
cov = np.cov(data.T)
print("共分散行列は対称:", np.allclose(cov, cov.T))
I @ A == A: True D @ [1,1,1] = [2 3 5] S 对称: True 特征值全实数: True 协方差矩阵对称: True
AIでの応用シーン
Adamオプティマイザ = 対角行列による適応的スケーリング
Adamは各パラメータについて勾配の2乗の指数移動平均 v_t を保持し、更新時には \( \theta_{t+1} = \theta_t - \eta \cdot m_t / \sqrt{v_t} \) を用います。数学的に見ると、\( 1/\sqrt{v_t} \) は各パラメータ成分を独立にスケーリングします——これは対角行列を勾配ベクトルに掛けることに相当します。活性な勾配成分は学習率が縮小され、不活性な勾配成分は拡大されます。
PCAに使われる共分散行列
PCA次元削減の第一歩:データを中心化した後の共分散行列 \( \Sigma = X^TX/(n-1) \) を計算します。これは対称行列(\Sigma_{ij} = \Sigma_{ji})であり、その固有値はすべて実数です。大きい方から k 個の固有値に対応する固有ベクトルが主成分方向です。sklearn の PCA クラスは内部的にこの処理を行っています。
再帰型ニューラルネットワークの恒等初期化
RNN と LSTM の recurrent 重み行列は、しばしば単位行列に初期化されます。これにより訓練初期に、隠れ状態の情報が「そのまま」伝達され、勾配が時間ステップを通じて急速に減衰するのを防ぎます。このテクニックは IRNN(Identity RNN)と呼ばれます。
Xavier/Glorot 初期化
Xavier 初期化は、各層の出力の分散が一定になるように重みの分散を慎重に選びます:\( Var(W) = 2/(n_{in} + n_{out}) \)。これは、その分散を持つ正規分布における対角行列(分散)の制約に相当します。
その他の拡張