Транспонирование матрицы и обратная матрица
Транспонирование часто встречается в механизмах внимания, а обратные матрицы помогают нам понять «обратимые преобразования» — например, преобразования координат в PCA.
Транспонирование: поменять местами строки и столбцы
| 1 | 2 | 3 |
| 4 | 5 | 6 |
| 1 | 4 |
| 2 | 5 |
| 3 | 6 |
Значение, изначально находящееся в позиции (i, j), после транспонирования переходит в позицию (j, i).Форма меняется с m×n на n×m.
Обратная матрица: отмена преобразования
Матрица A представляет линейное преобразование. \( A^{-1} \) представляет «отмену эффекта A».
Математическое выражение: \( AA^{-1} = A^{-1}A = I \) (I — единичная матрица, эквивалентна числу 1).
Толькоквадратные и полного рангаматрицы имеют обратную матрицу.
Неквадратные матрицы или квадратные матрицы, не имеющие полного ранга, являются «вырожденными матрицами» и не имеют обратной — это эквивалентно необратимой операции.
Ключевые свойства
- Транспонирование произведения меняет порядок: \( (\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T \)
- Обратная матрица произведения также меняет порядок: \( (\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1} \)
Примеры из реальной жизни
Транспонирование: перестановка строк и столбцов в электронной таблице Excel
Если транспонировать таблицу продаж с "именами в строках, месяцами в столбцах", она превратится в "имена в столбцах, месяцы в строках".
Данные не изменились, изменилось только их расположение — это и есть транспонирование.
Обратная матрица: Ctrl+Z — отмена
Вы выполняете операцию поворота + масштабирования (матрица A) и хотите восстановить её (A^{-1}).
Композиция двух операций = ничего не изменилось (AA^{-1} = I, тождественное преобразование).
Математические определения
Транспонирование
\[ (\mathbf{A}^T)_{ij} = \mathbf{A}_{ji} \]Обратная матрица
Для квадратной матрицы A размера n×n, если существует такая B, что \( \mathbf{AB} = \mathbf{BA} = \mathbf{I}_n \), то B = A^{-1}.
Практическое занятие по Python
Пример
A = np.array([[1, 2, 3], [4, 5, 6]])
print("A (2x3):\n", A)
print("A.T (3x2):\n", A.T)
print()
# Проверить (AB)^T = B^T @ A^T
B = np.array([[1,2],[3,4],[5,6]]) # 3x2
AB = A @ B # (2,3) @ (3,2) = (2,2)
print("(AB)^T:\n", AB."T)
print("B^T @ A^T:\n", B.T @ A.T)
print("Равно:", np.allclose(AB.T, B.T @ A.T))
print()
# Обратная матрица
C = np.array([[2, 1], [5, 3]]) # квадратная матрица 2x2
C_inv = np.linalg.inv(C)
print("C:\n", C)
print("C^{-1}:\n", C_inv)
print("C @ C^{-1} = I:\n", C @ C_inv)
# Вырожденная матрица не имеет обратной
D = np.array([[1, 2], [2, 4]]) # Строка 2 — это удвоенная строка 1
try:
np.linalg.inv(D)
except np.linalg.LinAlgError:
print("\nВырожденная матрица D не имеет обратной (строка 2 = 2 × строка 1))
A (2x3):
[[1 2 3]
[4 5 6]]
A.T (3x2):
[[1 4]
[2 5]
[3 6]]
C @ C^{-1} = I:
[[1. 0.]
[0. 1.]]
奇异矩阵 D 没有逆矩阵(第2行=2×第1行)
Сценарии применения в ИИ
Операция K^T в механизме внимания
В \( QK^T \), транспонирование матрицы Key позволяет умножить Q формы (seq_len, d_k) на K формы (seq_len, d_k) с помощью матричного умножения — транспонирование превращает K в (d_k, seq_len), благодаря чему внутренние размерности совпадают. Это K^T — наиболее важное преобразование размерности в вычислении внимания всех моделей Transformer.
Аналитическое решение линейной регрессии
\( \hat{\beta} = (X^TX)^{-1}X^Ty \) — транспонирование и обращение появляются вместе. X^T X гарантирует, что результат — симметричная положительно определённая матрица (обратимая), затем её обращение даёт аналитическое решение. LinearRegression из sklearn вычисляет это «под капотом», когда не добавляется регуляризация.
Обновления параметров в градиентном спуске
При обратном распространении форма матрицы градиента весов должна совпадать с матрицей весов, чтобы выполнить вычитание. Например, W имеет размер (d_out, d_in), и её градиент \nabla_W L также имеет размер (d_out, d_in) — транспонирование помогает градиентам правильно распространять размерности через вычислительный граф в промежуточных слоях.
Другие расширения