Скалярное произведение векторов -- от проекции к умножению
Скалярное произведение — наиболее часто используемая векторная операция в ИИ.
Вычисления в полносвязных слоях и сопоставление сходства в механизмах внимания — в основе обоих лежит скалярное произведение.
У скалярного произведения естьдве эквивалентные точки зренияпонимание связи между ними — ключевой вывод этой главы.
Точка зрения 1: Алгебраическое вычисление
Умножьте элементы на соответствующих позициях, затем сложите их.
\( \mathbf{a} \cdot \mathbf{b} = \sum a_i b_i \)
Например: (2,3) · (4,1) = 2×4 + 3×1 = 11
Точка зрения 2: Геометрическая интуиция
Спроецируйте один вектор на другой, затем перемножьте две длины.
\( \mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta \)
Чем меньше угол θ, тем больше скалярное произведение.
Оба метода дают одно и то же значение — это чрезвычайно элегантное уравнение в математике.
Знак скалярного произведения показывает взаимосвязь направлений
Примеры из реальной жизни
Счёт за покупки: количество × цена за единицу
Вы купили 2 бутылки колы (по 3 yuan каждая), 3 пачки чипсов (по 5 yuan каждая) и 1 ведро лапши быстрого приготовления (4 yuan за ведро).
Скалярное произведение вектора количества (2, 3, 1) и вектора цен (3, 5, 4) равно итоговой цене: 2×3 + 3×5 + 1×4 = 25 yuan.
Толкание тележки для покупок: сила × перемещение
Сила, которую вы прикладываете к тележке для покупок, — это вектор (с модулем и направлением), а перемещение тележки — другой вектор.
В физике работа = составляющая силы в направлении перемещения × модуль перемещения = скалярное произведение вектора силы и вектора перемещения.
Если толкать вбок (в перпендикулярном направлении), работа вообще не совершается — скалярное произведение равно нулю.
Математическое определение
Алгебраическое определение
\[ \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = a_1 b_1 + a_2 b_2 + \cdots + a_n b_n \]Геометрическое определение
\[ \mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos\theta \]Связь между двумя определениями: нахождение угла
\[ \cos\theta = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|} \]Это означает:Зная координаты двух векторов, можно вычислить угол между ними без транспортира。
Свойства операций
| Свойство | Формула | Объяснение |
|---|---|---|
| Коммутативный закон | \( \mathbf{a} \cdot \mathbf{b} = \mathbf{b} \cdot \mathbf{a} \) | Порядок не имеет значения |
| Распределительный закон | \( \mathbf{a} \cdot (\mathbf{b} + \mathbf{c}) = \mathbf{a}\cdot\mathbf{b} + \mathbf{a}\cdot\mathbf{c} \) | Можно сначала сложить, затем вычислить скалярное произведение |
| Скалярное произведение с самим собой | \( \mathbf{a} \cdot \mathbf{a} = \|\mathbf{a}\|^2 \) | Скалярное произведение вектора с самим собой равно квадрату его длины |
Практика с Python
Пример
a_example = np.array([2, 3, 1])
b_example = np.array([4, 1, 2])
# Метод 1: np.dot()
dot1 = np.dot(a_example, b_example)
# Метод 2: оператор @ (рекомендуется)
dot2 = a_example @ b_example
# Метод 3: ручная проверка
dot3 = sum(a_example[i] * b_example[i] for i in range(len(a_example)))
print("a · b =", dot1) # 13
print("Все три метода дают одинаковый результат:", dot1 == dot2 == dot3)
# Используйте геометрическое определение, чтобы вывести угол
norm_a = np.linalg.norm(a_example)
norm_b = np.linalg.norm(b_example)
cos_theta = dot1 / (norm_a * norm_b)
theta_deg = np.degrees(np.arccos(cos_theta))
print(f"||a||={norm_a:.2f}, ||b||={norm_b:.2f}, cosθ={cos_theta:.4f}")
print(f"Угол = {theta_deg:.1f}°")
# Проверить геометрическую формулу
verify = norm_a * norm_b * cos_theta
print(f"||a||·||b||·cosθ = {verify:.4f} (согласуется со скалярным произведением)")
# Демонстрация различных углов
print("\n[1,0] · [0.8,0.6] =", np.array([1,0]) @ np.array([0.8,0.6]), " (острый угол, положительное)")
print("[1,0] · [0,1] =", np.array([1,0]) @ np.array([0,1]), " (прямой угол, ноль)")
print("[1,0] · [-1,0] =", np.array([1,0]) @ np.array([-1,0]), " (тупой угол, отрицательное)")
a · b = 13 三种方法结果一致: True ||a||=3.74, ||b||=4.58, cosθ=0.7580 夹角 = 40.7° [1,0] · [0.8,0.6] = 0.8 (锐角,正) [1,0] · [0,1] = 0 (直角,零) [1,0] · [-1,0] = -1.0 (钝角,负)
Интерактивная демонстрация скалярного произведения
Перетаскивайте конечные точки векторов a и b, чтобы увидеть, как меняются значение скалярного произведения и угол. Знак скалярного произведения определяет острый/тупой/прямой угол:
Сценарии применения в ИИ
Полносвязный слой = пакетное вычисление скалярных произведений
Нейрон вычисляет \( y = w_1x_1 + w_2x_2 + \cdots + w_nx_n + b \). Часть суммирования — этоскалярное произведение вектора весов w и входного вектора x.。
Когда вы видите полносвязный слойnn.Linear(784, 256), математически он делает следующее: 256 нейронов, каждый нейрон берёт собственный вектор весов (784-мерный) и вычисляет скалярное произведение с входным вектором, затем прибавляет смещение. 256 скалярных произведений, вычисленных параллельно = матричное умножение.
Механизм внимания = скалярное произведение + Softmax
Основная операция Transformer: вектор Query и вектор Key вычисляют скалярное произведение; чем больше результат, тем сильнее они «связаны».
\[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \]\( QK^T \) — это умножение матрицы seq_len × d_k и матрицы d_k × seq_len; значение в позиции (i, j) в результирующей матрице = i-й Query и j-й Key: ихскалярное произведениеЧем больше это значение, тем выше «внимание» i-й позиции к j-й позиции.
Деление на \( \sqrt{d_k} \) нужно, чтобы значения скалярного произведения не становились слишком большими, из-за чего градиент Softmax мог бы исчезнуть. Все современные большие языковые модели, такие как GPT, BERT и Claude, основаны на этом механизме внимания на основе скалярного произведения.
Вычисление сходства в рекомендательных системах
Скалярное произведение вектора пользователя и вектора объекта даёт «оценку предпочтения» пользователя для этого объекта. Это основа алгоритма рекомендаций на основе матричной факторизации — матрица оценок ≈ матрица латентных векторов пользователей × транспонированная матрица латентных векторов объектов.
Другие расширения