Специальные матрицы -- единичная матрица, диагональная матрица, симметричная матрица
Некоторые типы матриц часто встречаются в ИИ; они имеют особые структуры и свойства. Их понимание помогает быстро усвоить поведение оптимизаторов, эффекты регуляризации и смысл преобразований данных.
Единичная матрица I
Все элементы на главной диагонали равны 1, все остальные равны 0
Умножение на любую матрицу = без изменений
Эквивалентна '1' в числах
Диагональная матрица
Только на главной диагонали есть значения
Каждое измерение масштабируется независимо
Эквивалентна аудиоэквалайзеру
Симметричная матрица
Транспонирование = сама матрица
Симметрична относительно главной диагонали
Все собственные значения вещественны
Единичная матрица: «1» в математике
\[ \mathbf{I}_n = \begin{bmatrix} 1 & 0 & \cdots & 0 \\ 0 & 1 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1 \end{bmatrix} \]Для любой матрицы A с совместимой формой: \( \mathbf{I}A = A \), \( A\mathbf{I} = A \).
Диагональная матрица: независимое масштабирование каждого измерения
\[ \mathbf{D} = \text{diag}(d_1, d_2, \dots, d_n) = \begin{bmatrix} d_1 & 0 & \cdots & 0 \\ 0 & d_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & d_n \end{bmatrix} \]Умножение диагональной матрицы на вектор = независимое применение к каждой компоненте вектора своего масштабирующего коэффициента.
Симметричная матрица: остаётся сама собой после транспонирования
\( \mathbf{A}^T = \mathbf{A} \), т. е. \( a_{ij} = a_{ji} \).
Симметричная матрица обладает чрезвычайно важным свойством:все собственные значения вещественны, а собственные векторы взаимно ортогональны.
Это делает симметричные матрицы чрезвычайно полезными в оптимизации и статистике — ковариационные матрицы и матрицы Гессе обе симметричны.
Повседневные примеры
Единичная матрица: операция, которая ничего не делает
Вы открываете изображение в PS, ничего не редактируете и сохраняете его напрямую. Вход = выход.
Единичная матрица — математическое выражение этого «ничего не делать».
Диагональная матрица: аудиоэквалайзер
Каждый ползунок на эквалайзере независимо управляет громкостью одной частотной полосы — высокие частоты +3dB, низкие частоты -2dB, средние частоты без изменений.
Каждая полоса работает независимо, без взаимного влияния, и масштабируется отдельно. Это поведение диагональной матрицы.
Симметричная матрица: отражение в зеркале
Стоя перед зеркалом, ваша левая рука соответствует положению вашей правой руки в отражении. Верх и низ остаются неизменными; лево и право меняются местами.
Симметричная матрица устроена похожим образом — она симметрична относительно главной диагонали, где значения остаются неизменными после перестановки позиций относительно неё.
Математическое определение
| Тип матрицы | Условия определения | Отметка |
|---|---|---|
| Единичная матрица | \( I_{ii}=1, I_{ij}=0 \; (i \neq j) \) | \( \mathbf{I}_n \) |
| Диагональная матрица | \( D_{ij}=0 \) когда \( i \neq j \) | diag(d₁,...,dₙ) |
| Симметричная матрица | \( A_{ij} = A_{ji} \) для всех i,j | \( \mathbf{A} = \mathbf{A}^T \) |
Практическое занятие по Python
Пример
# Единичная матрица
I = np.eye(3)
A = np.array([[4,7,2],[3,5,1],[6,8,9]])
print("I @ A == A:", np.allclose(I @ A, A))
# Диагональная матрица: независимое масштабирование
D = np.diag([2, 3, 5])
v = np.array([1, 1, 1])
print("D @ [1,1,1] =", D @ v) # [2, 3, 5]
# Симметричная матрица
S = np.array([[1,4,5],[4,2,6],[5,6,3]])
print("S симметрична:", np.allclose(S.T, S))
eigenvals = np.linalg.eigvals(S)
print("Все собственные значения вещественны:", np.all(np.isreal(eigenvals)))
# Ковариационная матрица естественно симметрична
data = np.random.randn(100, 5)
cov = np.cov(data.T)
print("Ковариационная матрица симметрична:", np.allclose(cov, cov.T))
I @ A == A: True D @ [1,1,1] = [2 3 5] S 对称: True 特征值全实数: True 协方差矩阵对称: True
Сценарии применения в ИИ
Оптимизатор Adam = адаптивное масштабирование с помощью диагональной матрицы
Adam поддерживает экспоненциальное скользящее среднее v_t квадратов градиентов для каждого параметра и обновляет с помощью \( \theta_{t+1} = \theta_t - \eta \cdot m_t / \sqrt{v_t} \). Математически \( 1/\sqrt{v_t} \) масштабирует каждую компоненту параметра независимо — это диагональная матрица, умноженная на вектор градиента. Для активных компонент градиента скорость обучения уменьшается, а для неактивных компонент градиента — увеличивается.
Ковариационная матрица для PCA
Первый шаг снижения размерности PCA: вычислить ковариационную матрицу \( \Sigma = X^TX/(n-1) \) после центрирования данных. Это симметричная матрица (\Sigma_{ij} = \Sigma_{ji}), и все её собственные значения вещественны. Собственные векторы, соответствующие k наибольшим собственным значениям, — это направления главных компонент. Класс PCA в sklearn делает это под капотом.
Инициализация единичной матрицей для рекуррентных нейронных сетей
Рекуррентные весовые матрицы RNN и LSTM часто инициализируются как единичные матрицы. Это гарантирует, что на ранних этапах обучения информация о скрытом состоянии может передаваться «без изменений», предотвращая слишком быстрое затухание градиентов по временным шагам. Этот приём называется IRNN (Identity RNN).
Инициализация Xavier/Glorot
Инициализация Xavier тщательно подбирает дисперсию весов так, чтобы дисперсия выхода каждого слоя оставалась согласованной: \( Var(W) = 2/(n_{in} + n_{out}) \). Это эквивалентно ограничению диагональной матрицы (дисперсии) из нормального распределения с такой дисперсией.
Другие расширения