Модуль вектора и косинусное сходство
Скалярное произведение в предыдущей главе содержало информацию как о длине, так и о направлении.
В этой главе они разделяются:Модуль сам по себе измеряет величину, а косинусное сходство само по себе — согласованность направлений.。
Модуль: какова длина вектора?
Модуль — это "расстояние по прямой" от начала координат до конечной точки вектора — обобщение теоремы Пифагора на многомерные пространства.
Норма L1
\( \|\mathbf{v}\|_1 = \sum |v_i| \)
Манхэттенское расстояние: прогулка по улицам
L1 от (3,4) = 7
Норма L2 (по умолчанию)
\( \|\mathbf{v}\|_2 = \sqrt{\sum v_i^2} \)
Расстояние по прямой: полёт по воздуху
L2 от (3,4) = 5
Если не указано иное, «модуль» или \( \|\mathbf{v}\| \) по умолчанию означает норму L2.
Единичный вектор: отбросить длину, сохранить только направление
Любой ненулевой вектор, делённый на собственный модуль, даётединичный вектор длины 1:
\[ \hat{\mathbf{v}} = \frac{\mathbf{v}}{\|\mathbf{v}\|} \]После нормализации направление вектора остаётся неизменным, но его модуль становится равным 1.
Косинусное сходство: только направление, а не величина
Косинусное сходство = после нормализации обоих векторов до единичных векторов, затем взятия скалярного произведения:
\[ \text{cosine\_sim}(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a}\cdot\mathbf{b}}{\|\mathbf{a}\|\|\mathbf{b}\|} = \cos\theta \]Одинаковое направление
Перпендикулярные направления
Противоположные направления
Косинусное сходство учитывает только направление, а не длину.
v = (3,4) и w = (6,8) (w = 2v), их длины отличаются в два раза, но косинусное сходство = 1 — потому что у них точно одинаковое направление.
Примеры из реальной жизни
Величина: мера расстояния
Расстояние по прямой от вашего дома до школы — 5 km (L2 = 5), но ходьба по улицам требует крюка в 7 km (L1 = 7).
У обеих метрик есть свои применения; в ИИ в основном используется L2.
Косинусное сходство: сопоставление музыкальных вкусов
Чжан Сань прослушал 100 песен, Ли Сы прослушал 10 песен. При скалярном произведении оценка Чжан Саня, естественно, выше.
Но при косинусном сходстве важно только, совпадает ли направление вкуса, — Чжан Сань (активный пользователь) и Ли Сы (новый пользователь) также можно справедливо сравнить.
Математическое определение
Разбор основной формулы
\[ \mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta \]Скалярное произведение = произведение длин × согласованность направлений. И наоборот, можно найти:
\[ \cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|} \]Практическое занятие по Python
Пример
v_example = np.array([3, 4, 0])
w_example = np.array([6, 8, 0]) # 2 умножить на v
# Норма
norm_v = np.linalg.norm(v_example) # L2 по умолчанию
norm_w = np.linalg.norm(w_example)
print(f"||v|| = {norm_v:.1f}, ||w|| = {norm_w:.1f}") # 5, 10
# Нормализация
unit_v = v_example / norm_v
unit_w = w_example / norm_w
print("Нормализованный v:", unit_v) # [0.6, 0.8, 0.]
print("Нормализованный w:", unit_w) # [0.6, 0.8, 0.] в точности такие же!
# Косинусное сходство
cos_sim = np.dot(v_example, w_example) / (norm_v * norm_w)
print(f"Косинусное сходство = {cos_sim:.4f}") # 1.0
# Пакетное вычисление матрицы косинусного сходства
embeddings = np.array([
[0.2, 0.5, 0.1, 0.8, 0.3],
[0.3, 0.6, 0.2, 0.7, 0.4],
[0.9, 0.1, 0.8, 0.1, 0.9],
])
norms = np.linalg.norm(embeddings, axis=1, keepdims=True)
normalized = embeddings / norms
sim_matrix = normalized @ normalized.T
print("\n"Матрица косинусного сходства:")
print(np.round(sim_matrix, 3))
||v|| = 5.0, ||w|| = 10.0 v 归一化: [0.6 0.8 0. ] w 归一化: [0.6 0.8 0. ] 余弦相似度 = 1.0000 余弦相似度矩阵: [[1. 0.996 0.146] [0.996 1. 0.182] [0.146 0.182 1. ]]
Сценарии применения в ИИ
Семантический поиск и рекомендательные системы
После кодирования запроса и документов в векторы используйте косинусное сходство для ранжирования — чтобы найти наиболее релевантные документы. Семантический поиск Google и векторный поиск в RAG (Retrieval-Augmented Generation) — все они опираются на косинусное сходство.
По сравнению со скалярным произведением косинусное сходство не зависит от нормы вектора — норма вектора длинной статьи может быть большой, но косинусное сходство позволяет справедливо сравнивать согласованность направлений с коротким запросом.
Распознавание лиц: косинусное сходство > евклидово расстояние
Модели распознавания лиц, такие как FaceNet, отображают лица в 128-мерные векторы эмбеддингов. Совпадение двух лиц определяется с помощью косинусного сходства — оно нечувствительно к условиям освещения и яркости фотографии (которые влияют на норму вектора).
Две фотографии одного и того же человека при разном освещении имеют векторы эмбеддингов с почти одинаковым направлением (cos ≈ 0.95+), но нормы могут сильно различаться.
L2-регуляризация для предотвращения переобучения
Добавление \( \lambda\|\mathbf{w}\|^2 \) (weight decay) к функции потерь штрафует чрезмерно большие нормы весов. Большая норма весов означает, что модель слишком сильно доверяет определённым признакам и плохо обобщает. L2-регуляризация притягивает её к началу координат.
Нормализация в Batch Normalization
BN нормализует активации каждого слоя: вычитает среднее и делит на стандартное отклонение, превращая данные в распределение со стабильной нормой. Здесь используется понятие L2-нормы для контроля масштаба выхода каждого слоя.
Другие расширения