Транспонирование матрицы и обратная матрица

Транспонирование часто встречается в механизмах внимания, а обратные матрицы помогают нам понять «обратимые преобразования» — например, преобразования координат в PCA.

Транспонирование: поменять местами строки и столбцы

A (2×3)
123
456
AT (3×2)
14
25
36

Значение, изначально находящееся в позиции (i, j), после транспонирования переходит в позицию (j, i).Форма меняется с m×n на n×m.

Обратная матрица: отмена преобразования

Матрица A представляет линейное преобразование. \( A^{-1} \) представляет «отмену эффекта A».

Математическое выражение: \( AA^{-1} = A^{-1}A = I \) (I — единичная матрица, эквивалентна числу 1).

Толькоквадратные и полного рангаматрицы имеют обратную матрицу.

Неквадратные матрицы или квадратные матрицы, не имеющие полного ранга, являются «вырожденными матрицами» и не имеют обратной — это эквивалентно необратимой операции.

Ключевые свойства

  • Транспонирование произведения меняет порядок: \( (\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T \)
  • Обратная матрица произведения также меняет порядок: \( (\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1} \)

Примеры из реальной жизни

Транспонирование: перестановка строк и столбцов в электронной таблице Excel

Если транспонировать таблицу продаж с "именами в строках, месяцами в столбцах", она превратится в "имена в столбцах, месяцы в строках".

Данные не изменились, изменилось только их расположение — это и есть транспонирование.

Обратная матрица: Ctrl+Z — отмена

Вы выполняете операцию поворота + масштабирования (матрица A) и хотите восстановить её (A^{-1}).

Композиция двух операций = ничего не изменилось (AA^{-1} = I, тождественное преобразование).


Математические определения

Транспонирование

\[ (\mathbf{A}^T)_{ij} = \mathbf{A}_{ji} \]

Обратная матрица

Для квадратной матрицы A размера n×n, если существует такая B, что \( \mathbf{AB} = \mathbf{BA} = \mathbf{I}_n \), то B = A^{-1}.


Практическое занятие по Python

Пример

import numpy as np

A = np.array([[1, 2, 3], [4, 5, 6]])
print("A (2x3):\n", A)
print("A.T (3x2):\n", A.T)
print()

# Проверить (AB)^T = B^T @ A^T
B = np.array([[1,2],[3,4],[5,6]])  # 3x2
AB = A @ B   # (2,3) @ (3,2) = (2,2)
print("(AB)^T:\n", AB."T)
print("B^T @ A^T:\n", B.T @ A.T)
print("Равно:", np.allclose(AB.T, B.T @ A.T))
print()

# Обратная матрица
C = np.array([[2, 1], [5, 3]])  # квадратная матрица 2x2
C_inv = np.linalg.inv(C)
print("C:\n", C)
print("C^{-1}:\n", C_inv)
print("C @ C^{-1} = I:\n", C @ C_inv)

# Вырожденная матрица не имеет обратной
D = np.array([[1, 2], [2, 4]])  # Строка 2 — это удвоенная строка 1
try:
    np.linalg.inv(D)
except np.linalg.LinAlgError:
    print("\nВырожденная матрица D не имеет обратной (строка 2 = 2 × строка 1))
A (2x3):
 [[1 2 3]
 [4 5 6]]
A.T (3x2):
 [[1 4]
 [2 5]
 [3 6]]

C @ C^{-1} = I:
 [[1. 0.]
 [0. 1.]]

奇异矩阵 D 没有逆矩阵(第2行=2×第1行)

Сценарии применения в ИИ

Операция K^T в механизме внимания

В \( QK^T \), транспонирование матрицы Key позволяет умножить Q формы (seq_len, d_k) на K формы (seq_len, d_k) с помощью матричного умножения — транспонирование превращает K в (d_k, seq_len), благодаря чему внутренние размерности совпадают. Это K^T — наиболее важное преобразование размерности в вычислении внимания всех моделей Transformer.

Аналитическое решение линейной регрессии

\( \hat{\beta} = (X^TX)^{-1}X^Ty \) — транспонирование и обращение появляются вместе. X^T X гарантирует, что результат — симметричная положительно определённая матрица (обратимая), затем её обращение даёт аналитическое решение. LinearRegression из sklearn вычисляет это «под капотом», когда не добавляется регуляризация.

Обновления параметров в градиентном спуске

При обратном распространении форма матрицы градиента весов должна совпадать с матрицей весов, чтобы выполнить вычитание. Например, W имеет размер (d_out, d_in), и её градиент \nabla_W L также имеет размер (d_out, d_in) — транспонирование помогает градиентам правильно распространять размерности через вычислительный граф в промежуточных слоях.


Другие расширения