Специальные матрицы -- единичная матрица, диагональная матрица, симметричная матрица

Некоторые типы матриц часто встречаются в ИИ; они имеют особые структуры и свойства. Их понимание помогает быстро усвоить поведение оптимизаторов, эффекты регуляризации и смысл преобразований данных.

Единичная матрица I

Все элементы на главной диагонали равны 1, все остальные равны 0

Умножение на любую матрицу = без изменений

Эквивалентна '1' в числах

Диагональная матрица

Только на главной диагонали есть значения

Каждое измерение масштабируется независимо

Эквивалентна аудиоэквалайзеру

Симметричная матрица

Транспонирование = сама матрица

Симметрична относительно главной диагонали

Все собственные значения вещественны

Единичная матрица: «1» в математике

\[ \mathbf{I}_n = \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix} \]

Для любой матрицы A с совместимой формой: \( \mathbf{I}A = A \), \( A\mathbf{I} = A \).

Диагональная матрица: независимое масштабирование каждого измерения

\[ \mathbf{D} = \text{diag}(d_1, d_2, \dots, d_n) = \begin{bmatrix} d_1 & 0 & \cdots & 0 \\ 0 & d_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & d_n \end{bmatrix} \]

Умножение диагональной матрицы на вектор = независимое применение к каждой компоненте вектора своего масштабирующего коэффициента.

Симметричная матрица: остаётся сама собой после транспонирования

\( \mathbf{A}^T = \mathbf{A} \), т. е. \( a_{ij} = a_{ji} \).

Симметричная матрица обладает чрезвычайно важным свойством:все собственные значения вещественны, а собственные векторы взаимно ортогональны.

Это делает симметричные матрицы чрезвычайно полезными в оптимизации и статистике — ковариационные матрицы и матрицы Гессе обе симметричны.


Повседневные примеры

Единичная матрица: операция, которая ничего не делает

Вы открываете изображение в PS, ничего не редактируете и сохраняете его напрямую. Вход = выход.

Единичная матрица — математическое выражение этого «ничего не делать».

Диагональная матрица: аудиоэквалайзер

Каждый ползунок на эквалайзере независимо управляет громкостью одной частотной полосы — высокие частоты +3dB, низкие частоты -2dB, средние частоты без изменений.

Каждая полоса работает независимо, без взаимного влияния, и масштабируется отдельно. Это поведение диагональной матрицы.

Симметричная матрица: отражение в зеркале

Стоя перед зеркалом, ваша левая рука соответствует положению вашей правой руки в отражении. Верх и низ остаются неизменными; лево и право меняются местами.

Симметричная матрица устроена похожим образом — она симметрична относительно главной диагонали, где значения остаются неизменными после перестановки позиций относительно неё.


Математическое определение

Тип матрицыУсловия определенияОтметка
Единичная матрица\( I_{ii}=1, I_{ij}=0 \; (i \neq j) \)\( \mathbf{I}_n \)
Диагональная матрица\( D_{ij}=0 \) когда \( i \neq j \)diag(d₁,...,dₙ)
Симметричная матрица\( A_{ij} = A_{ji} \) для всех i,j\( \mathbf{A} = \mathbf{A}^T \)

Практическое занятие по Python

Пример

import numpy as np

# Единичная матрица
I = np.eye(3)
A = np.array([[4,7,2],[3,5,1],[6,8,9]])
print("I @ A == A:", np.allclose(I @ A, A))

# Диагональная матрица: независимое масштабирование
D = np.diag([2, 3, 5])
v = np.array([1, 1, 1])
print("D @ [1,1,1] =", D @ v)  # [2, 3, 5]

# Симметричная матрица
S = np.array([[1,4,5],[4,2,6],[5,6,3]])
print("S симметрична:", np.allclose(S.T, S))
eigenvals = np.linalg.eigvals(S)
print("Все собственные значения вещественны:", np.all(np.isreal(eigenvals)))

# Ковариационная матрица естественно симметрична
data = np.random.randn(100, 5)
cov = np.cov(data.T)
print("Ковариационная матрица симметрична:", np.allclose(cov, cov.T))
I @ A == A: True
D @ [1,1,1] = [2 3 5]
S 对称: True
特征值全实数: True
协方差矩阵对称: True

Сценарии применения в ИИ

Оптимизатор Adam = адаптивное масштабирование с помощью диагональной матрицы

Adam поддерживает экспоненциальное скользящее среднее v_t квадратов градиентов для каждого параметра и обновляет с помощью \( \theta_{t+1} = \theta_t - \eta \cdot m_t / \sqrt{v_t} \). Математически \( 1/\sqrt{v_t} \) масштабирует каждую компоненту параметра независимо — это диагональная матрица, умноженная на вектор градиента. Для активных компонент градиента скорость обучения уменьшается, а для неактивных компонент градиента — увеличивается.

Ковариационная матрица для PCA

Первый шаг снижения размерности PCA: вычислить ковариационную матрицу \( \Sigma = X^TX/(n-1) \) после центрирования данных. Это симметричная матрица (\Sigma_{ij} = \Sigma_{ji}), и все её собственные значения вещественны. Собственные векторы, соответствующие k наибольшим собственным значениям, — это направления главных компонент. Класс PCA в sklearn делает это под капотом.

Инициализация единичной матрицей для рекуррентных нейронных сетей

Рекуррентные весовые матрицы RNN и LSTM часто инициализируются как единичные матрицы. Это гарантирует, что на ранних этапах обучения информация о скрытом состоянии может передаваться «без изменений», предотвращая слишком быстрое затухание градиентов по временным шагам. Этот приём называется IRNN (Identity RNN).

Инициализация Xavier/Glorot

Инициализация Xavier тщательно подбирает дисперсию весов так, чтобы дисперсия выхода каждого слоя оставалась согласованной: \( Var(W) = 2/(n_{in} + n_{out}) \). Это эквивалентно ограничению диагональной матрицы (дисперсии) из нормального распределения с такой дисперсией.


Другие расширения