行列の加算と行列の乗算

ベクトル演算を理解したら、行列にレベルアップしましょう。行列乗算はニューラルネットワークの順伝播を理解する鍵です——全結合層の本質は行列乗算です。

行列の加算:対応する位置の要素を足し合わせる

形状が同じ2つの行列は、対応する位置の要素を足し合わせます——ベクトル加算と同じくらい直感的です。

行列の乗算:行と列のドット積

行列乗算は「対応する位置同士を掛ける」ほど単純ではありません。なぜでしょうか?

行列の深い意味は「線形変換」です——ベクトルを別のベクトルに写します。

2つの行列の積 AB は、幾何学的には「まず B の変換を行い、次に A の変換を行う」ことを意味します。したがって AB の演算法則は「合成変換」の数学的構造を反映しなければならず、単純な要素ごとの乗算ではありません。

例:A は「水平方向に2倍引き伸ばす」、B は「反時計回りに90°回転する」を表します。AB は「回転してから引き伸ばす」ことを表し——これは BA(引き伸ばしてから回転する)とはまったく異なるため、行列乗算は交換律を満たしません。

演算法則は次のとおりです:

左の行列
第 i 行 →
·
右の行列
第 j 列 ↓
=
結果
(i, j)

左の行列の第 i 行と右の行列の第 j 列のドット積 → 結果の行列の (i, j) 位置の値になります。

次元の整合ルール

\( (m \times \color{#e74c3c}{n}) \;\times\; (\color{#e74c3c}{n} \times p) = (m \times p) \)

A の列数は次と等しくなければなりませんB の行数。赤くマークされた2つの n は等しい必要があります。

結果の形状 = (A の行数, B の列数)

行列乗算交換律を満たさない:AB ≠ BA(通常の場合)。

場合によっては次元が一致せず、BA が定義されないこともあります——これは初心者が最も間違いやすい点です。

行列乗算の本質は線形変換の合成である

行列 A を掛ける → 1回目の変換を行う;続けて行列 B を掛ける → 2回目の変換を行う。

2回の変換の合成 = 1回の (BA) 変換。これが行列乗算がこのように定義される理由です。


身近な例

売店の売上計算

3日間の販売数量行列(行=日付、列=商品):

コーラポテトチップスカップ麺
月曜日1053
火曜日874
水曜日1246

価格行列(行=商品、列=店舗):

店舗1店舗2
コーラ33.5
ポテトチップス55.5
カップ麺44.0

販売数量行列 (3×3) × 価格行列 (3×2) = 売上行列 (3×2)。

結果の各セル = ある日に特定の店舗で得た総売上です。


数学的定義

行列の加算

\[ (\mathbf{A} + \mathbf{B})_{ij} = a_{ij} + b_{ij} \]

前提:A と B の形状が完全に同じであること。

行列の乗算

A を m×n、B を n×p とすると、C = AB は m×p になります:

\[ c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj} \]

Pythonで実際に試す

実例

import numpy as np

A_サンプル = np.array([[10, 5, 3], [8, 7, 4], [12, 4, 6]])
price = np.array([[3, 3.5], [5, 5.5], [4, 4.0]])

# 矩阵加法(同形状)
bonus = np.array([[1, 0, 1], [0, 1, 0], [1, 1, 0]])
total = A_サンプル + bonus
print("A + bonus:\n", total)

# 矩阵乘法:(3×3) @ (3×2) = (3×2)
revenue = A_サンプル @ price
print("\n売上行列 A @ price:\n", revenue)
print("形状:", revenue.shape)

# 手动验证第(0,0)位置
manual = A_サンプル[0,0]*price[0,0] + A_サンプル[0,1]*price[1,0] + A_サンプル[0,2]*price[2,0]
print(f"\n手动验证 [0,0]: {manual} == {revenue[0,0]}")

# 次元の不一致の罠
print(f"\nA 形状: {A_サンプル.shape}")     # (3, 3)
print(f"price.T 形状: {price.T.shape}")   # (2, 3)
# A @ price.T → (3,3) @ (2,3) 不匹配!
# 正确:price.T @ A → (2,3) @ (3,3) = (2,3)
print(f"price.T @ A 形状: {(price.T @ A_サンプル).shape}")  # (2, 3)
收入矩阵 A @ price:
 [[67.  72. ]
 [75.  79.5]
 [80.  88. ]]
形状: (3, 2)

A 形状: (3, 3)
price.T 形状: (2, 3)
price.T @ A 形状: (2, 3)

インタラクティブな行列乗算の可視化

下のデモでは、2×2 行列 A と 2×1 ベクトル v を掛けて、線形変換が円上の点を楕円上にどのように写すかを観察します:


AIでの応用シーン

全結合層 = 行列乗算

nn.Linear(d_in, d_out)の本質:重み行列 W(d_out × d_in)と入力ベクトル x(d_in 次元)を掛けて、出力(d_out 次元)を得ることです。

バッチデータを扱う場合、入力 X は (batch, d_in) 行列で、\( Y = XW^T \) または \( Y = WX^T \) を計算します。これにより、1回の行列乗算でバッチ全体の順伝播計算が完了します。GPU は行列乗算専用のハードウェアアクセラレーション(Tensor Core)を備えています。

アテンション機構の QK^T

Transformer では、Q と K はどちらも (seq_len, d_k) 行列です。\( QK^T \) は seq_len×d_k と d_k×seq_len の乗算であり、(seq_len, seq_len) のアテンションスコア行列が得られます。

GPT-4 レベルの大規模モデルでは、seq_len が 128K に達することがあり、この行列乗算の計算量は推論コスト全体の非常に大きな割合を占めます。FlashAttention アルゴリズムは、まさにこの行列乗算のメモリアクセスパターンを最適化するために設計されたものです。

畳み込みの行列乗算による実装(im2col)

畳み込み演算は行列乗算に展開できます:入力画像をスライディングウィンドウに従って大きな行列に展開し(im2col)、次に畳み込みカーネルも行列にフラット化して、両者を掛け合わせます。これにより、畳み込みは高度に最適化された GEMM(汎用行列乗算)ライブラリを利用して高速化することができます。

LoRA ファインチューニングにおける行列分解

LoRA は、事前学習済みの重みに2つの小さな行列 A と B の積を追加します:\( W' = W + AB \)。ここでの AB はまさに行列乗算です——A は d×r、B は r×d で、その積は d×d の低ランク行列になります。1回の行列乗算でパラメータ効率の高いファインチューニングを実現できます。


その他の拡張