ベクトルのノルムとコサイン類似度

前章のドット積は、長さと方向の両方の情報を含んでいた。

本章ではそれらを分離する:ノルムは大きさだけを測り、コサイン類似度は方向の一致だけを測る。

ノルム(長さ):ベクトルはどれくらい長いのか?

ノルムとは、ベクトルの原点から終点までの「直線距離」のこと—ピタゴラスの定理を高次元空間に拡張したもの。

L1ノルム

\( \|\mathbf{v}\|_1 = \sum |v_i| \)

マンハッタン距離:街路に沿って進む

(3,4) の L1 = 7

L2ノルム(デフォルト)

\( \|\mathbf{v}\|_2 = \sqrt{\sum v_i^2} \)

直線距離:一直線に飛ぶ

(3,4) の L2 = 5

特に指定がない場合、「ノルム」または \( \|\mathbf{v}\| \) はデフォルトで L2ノルムを指す。

単位ベクトル:長さを捨てて、方向だけを残す

任意の非ゼロベクトルを自身のノルムで割ると、長さ 1 のベクトルが得られる単位ベクトル:

\[ \hat{\mathbf{v}} = \frac{\mathbf{v}}{\|\mathbf{v}\|} \]

正規化後、ベクトルの方向は変わらないが、ノルムは 1 になる。

コサイン類似度:方向だけを見て、大きさは見ない

コサイン類似度 = 2つのベクトルをそれぞれ単位ベクトルに正規化してから、ドット積を取る:

\[ \text{cosine\_sim}(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\|\mathbf{b}\|} = \cos\theta \]

方向が一致

cos=1

方向が垂直

cos=0

方向が反対

cos=-1

コサイン類似度は方向のみに着目し、長さには関心がない。

v = (3,4) と w = (6,8)(w = 2v)は、長さが2倍違うが、コサイン類似度 = 1 である——方向が完全に同じだからだ。


身近な例

ノルム:距離の尺度

家から学校までの直線距離は5キロ(L2 = 5)だが、街路に沿って歩くと7キロ(L1 = 7)の回り道になる。

2つの尺度にはそれぞれ用途があり、AIでは主にL2が使われる。

コサイン類似度:音楽の好みのマッチング

張三は100曲、李四は10曲聴いたとする。ドット積を使うと、張三のスコアはどうしても高くなる。

しかしコサイン類似度を使えば、好みの方向が一致しているかどうかだけを見るため、張三(アクティブユーザー)と李四(新規ユーザー)も公平に比較できる。


数学的定義

中核となる公式を分解する

\[ \mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta \]

ドット積 = 長さの積 × 方向の一致度。逆に次のようにして求めることができる:

\[ \cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|} \]

Python で実際に試す

具体例

import numpy as np

v_サンプル = np.array([3, 4, 0])
w_サンプル = np.array([6, 8, 0])  # v の2倍

# ノルム
norm_v = np.linalg.norm(v_サンプル)   # L2 デフォルト
norm_w = np.linalg.norm(w_サンプル)
print(f"||v|| = {norm_v:.1f}, ||w|| = {norm_w:.1f}")  # 5, 10

# 正規化
unit_v = v_サンプル / norm_v
unit_w = w_サンプル / norm_w
print("v の正規化:", unit_v)    # [0.6, 0.8, 0.]
print("w の正規化:", unit_w)    # [0.6, 0.8, 0.] 完全に同じ!

# コサイン類似度
cos_sim = np.dot(v_サンプル, w_サンプル) / (norm_v * norm_w)
print(f"コサイン類似度 = {cos_sim:.4f}")  # 1.0

# コサイン類似度行列を一括計算
embeddings = np.array([
    [0.2, 0.5, 0.1, 0.8, 0.3],
    [0.3, 0.6, 0.2, 0.7, 0.4],
    [0.9, 0.1, 0.8, 0.1, 0.9],
])
norms = np.linalg.norm(embeddings, axis=1, keepdims=True)
normalized = embeddings / norms
sim_matrix = normalized @ normalized.T
print("\n"コサイン類似度行列:")
print(np.round(sim_matrix, 3))
||v|| = 5.0, ||w|| = 10.0
v 归一化: [0.6 0.8 0. ]
w 归一化: [0.6 0.8 0. ]
余弦相似度 = 1.0000

余弦相似度矩阵:
[[1.    0.996 0.146]
 [0.996 1.    0.182]
 [0.146 0.182 1.   ]]

AI での応用シーン

セマンティック検索とレコメンドシステム

クエリとドキュメントをそれぞれベクトルにエンコードし、コサイン類似度で並べ替えて、最も関連性の高いドキュメントを見つける。Google のセマンティック検索や RAG(検索拡張生成)におけるベクトル検索は、いずれもコサイン類似度に依存している。

ドット積と比べて、コサイン類似度はベクトルのノルムの影響を受けない。長い記事のベクトルノルムは大きくなりがちだが、コサイン類似度を使えば短いクエリと方向の一致度を公平に比較できる。

顔認証:コサイン類似度 > ユークリッド距離

FaceNet などの顔認識モデルは、顔を128次元の埋め込みベクトルにマッピングする。2つの顔が一致するかどうかは、コサイン類似度で判断される。これは照明条件や写真の明るさ(ベクトルのノルムに影響する)に敏感ではない。

同じ人物を異なる照明で撮った2枚の写真では、埋め込みベクトルの方向はほぼ一致する(cos ≈ 0.95以上)が、ノルムは大きく異なる可能性がある。

L2正則化による過学習の防止

損失関数に \( \lambda\|\mathbf{w}\|^2 \)(重み減衰)を加えて、重みのノルムが大きすぎることを罰する。重みのノルムが大きいと、モデルが特定の特徴を過度に信頼し、汎化性能が低下する。L2正則化は重みを原点付近に引き寄せる。

Batch Normalization における正規化

BN は各層の活性化値に対して正規化を行う:平均を引き、標準偏差で割ることで、データをノルムが安定した分布にする。これは層ごとの出力のスケールを制御するために L2ノルムの概念を利用している。


その他の拡張