Сложение матриц и умножение матриц

После понимания операций с векторами переходите на уровень выше — к матрицам. Умножение матриц — ключ к пониманию прямого распространения в нейронных сетях; суть полносвязного слоя — это умножение матриц.

Сложение матриц: сложение соответствующих позиций

Для двух матриц одинаковой формы сложите элементы в соответствующих позициях — так же интуитивно, как сложение векторов.

Умножение матриц: скалярное произведение строк и столбцов

Умножение матриц не так просто, как «умножение соответствующих позиций». Почему?

Более глубокий смысл матрицы — это «линейное преобразование»: она отображает один вектор в другой вектор.

Геометрический смысл умножения двух матриц AB таков: сначала применить преобразование B, затем преобразование A. Поэтому правило операции для AB должно отражать математическую структуру «композиции преобразований», а не простое поэлементное умножение.

Например: A обозначает «горизонтальное растяжение в 2x», B обозначает «поворот против часовой стрелки на 90°». AB означает «сначала повернуть, затем растянуть» — это совершенно отличается от BA (сначала растянуть, затем повернуть), поэтому умножение матриц не подчиняется коммутативному закону.

Правило операции:

Левая матрица
i-я строка →
·
Правая матрица
j-й столбец ↓
=
Результат
(i, j)

Скалярное произведение i-й строки левой матрицы и j-го столбца правой матрицы → значение в позиции (i, j) результирующей матрицы.

Правила соответствия размерностей

\( (m \times \color{#e74c3c}{n}) \;\times\; (\color{#e74c3c}{n} \times p) = (m \times p) \)

Число столбцов Aдолжно быть равночислу строк B. Эти два выделенных красным n должны быть равны.

Форма результата = (число строк A, число столбцов B)

Умножение матрицне удовлетворяет коммутативному закону: AB ≠ BA (в общем случае).

Размерности могут даже не совпадать, что делает BA неопределённым — именно здесь новички чаще всего ошибаются.

Суть умножения матриц — это композиция линейных преобразований

Умножение на матрицу A → выполняется одно преобразование; затем умножение на матрицу B → выполняется второе преобразование.

Композиция двух преобразований = одно преобразование (BA). Именно поэтому умножение матриц определяется таким образом.


Повседневные примеры

Расчёт выручки мини-маркета

Матрица продаж за три дня (строки = даты, столбцы = товары):

КолаЧипсыЛапша быстрого приготовления
Понедельник1053
Вторник874
Среда1246

Матрица цен (строки = товары, столбцы = магазины):

Магазин 1Магазин 2
Кола33.5
Чипсы55.5
Лапша быстрого приготовления44.0

Матрица продаж (3×3) × матрица цен (3×2) = матрица выручки (3×2).

Каждая ячейка результата = общая выручка за определённый день в определённом магазине.


Математическое определение

Сложение матриц

\[ (\mathbf{A} + \mathbf{B})_{ij} = a_{ij} + b_{ij} \]

Предварительное условие: A и B должны иметь точно одинаковую форму.

Умножение матриц

Пусть A — m×n, B — n×p, тогда C = AB — m×p:

\[ c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj} \]

Практическое занятие по Python

Примеры

import numpy as np

A_example = np.array([[10, 5, 3], [8, 7, 4], [12, 4, 6]])
price = np.array([[3, 3.5], [5, 5.5], [4, 4.0]])

# Сложение матриц (одинаковая форма)
bonus = np.array([[1, 0, 1], [0, 1, 0], [1, 1, 0]])
total = A_example + bonus
print("A + bonus:\n", total)

# Умножение матриц: (3×3) @ (3×2) = (3×2)
revenue = A_example @ price
print("\nМатрица выручки A @ price:\n", revenue)
print("Форма:", revenue.shape)

# Проверить вручную позицию (0,0)
manual = A_example[0,0]*price[0,0] + A_example[0,1]*price[1,0] + A_example[0,2]*price[2,0]
print(f"\nРучная проверка [0,0]: {manual} == {revenue[0,0]}")

# Ловушка несоответствия размерностей
print(f"\nФорма A: {A_example.shape}")     # (3, 3)
print(f"форма price.T: {price.T.shape}")   # (2, 3)
# A @ price.T → (3,3) @ (2,3) несоответствие!
# Правильно: price.T @ A → (2,3) @ (3,3) = (2,3)
print(f"форма price.T @ A: {(price.T @ A_example).shape}")  # (2, 3)
收入矩阵 A @ price:
 [[67.  72. ]
 [75.  79.5]
 [80.  88. ]]
形状: (3, 2)

A 形状: (3, 3)
price.T 形状: (2, 3)
price.T @ A 形状: (2, 3)

Интерактивная визуализация умножения матриц

Ниже демонстрируется умножение матрицы A размером 2×2 на вектор v размером 2×1; наблюдайте, как линейное преобразование отображает точки на окружности в эллипс:


Сценарии применения в ИИ

Полносвязный слой = умножение матриц

nn.Linear(d_in, d_out)Суть: матрица весов W (d_out × d_in), умноженная на входной вектор x (размерности d_in), даёт выход (размерности d_out).

При обработке батча данных вход X — это матрица (batch, d_in), и мы вычисляем \( Y = XW^T \) или \( Y = WX^T \). Это одно умножение матриц, выполняющее прямой проход для всего батча. Графические процессоры имеют специализированное аппаратное ускорение для умножения матриц (Tensor Core).

QK^T в механизме внимания

В Transformer Q и K — обе матрицы (seq_len, d_k). \( QK^T \) — это seq_len×d_k, умноженное на d_k×seq_len, что даёт матрицу оценок внимания (seq_len, seq_len).

В больших моделях уровня GPT-4 seq_len может достигать 128K, и вычислительные затраты этого умножения матриц составляют большую часть всей стоимости инференса. Алгоритм FlashAttention специально оптимизирует паттерн доступа к памяти для этого умножения матриц.

Реализация умножения матриц для свёртки (im2col)

Операцию свёртки можно разложить в умножение матриц: развернуть входное изображение в большую матрицу с помощью скользящих окон (im2col), затем преобразовать ядро свёртки в матрицу и перемножить их. Это позволяет свёртке использовать высокооптимизированные библиотеки GEMM (General Matrix Multiplication) для ускорения.

Матричное разложение при тонкой настройке LoRA

LoRA добавляет произведение двух небольших матриц A и B к предобученным весам: \( W' = W + AB \). Здесь AB — это умножение матриц: A имеет размер d×r, B — r×d, а произведение — низкоранговая матрица d×d. Одно умножение матриц обеспечивает параметроэффективную тонкую настройку.


Другие расширения