Собственные значения и собственные векторы -- отпечаток матрицы

Когда матрица действует на большинство векторов, она меняет и их направление, и длину.

Но всегда есть некоторые векторы в «особых направлениях»направление которых после действия матрицы остаётся неизменным, меняется только длинаЭто собственные векторы, а коэффициент масштабирования — собственное значение.

Основная формула: \( A\mathbf{v} = \lambda \mathbf{v} \)

  • \( \mathbf{v} \): собственный вектор (ненулевой), направление которого не изменяется после преобразования
  • \( \lambda \): собственное значение, представляющее коэффициент, на который растягивается v

λ > 0

Растяжение/сжатие в том же направлении

Направление остаётся неизменным

λ < 0

Растяжение/сжатие в противоположном направлении

Направление полностью меняется на противоположное

Матрица n×n имеет не более n линейно независимых собственных векторов.

Собственные значения симметричной матрицы всегда вещественны — это одна из причин, почему симметричные матрицы так важны.


Повседневные примеры

Растяжение резиновой мембраны

Резиновая мембрана растягивается по горизонтали в 2 раза, тогда как вертикальное направление остаётся неизменным.

Стрелка в горизонтальном направлении (например, (1,0)) растягивается до (2,0), но её направление остаётся неизменным — это собственный вектор, λ=2.

Стрелка в вертикальном направлении (например, (0,1)) остаётся полностью неизменной — она также является собственным вектором, λ=1.

Диагональная стрелка (например, (1,1)) меняет направление — это не собственный вектор.


Математическое определение

\[ A\mathbf{v} = \lambda \mathbf{v} \quad \Leftrightarrow \quad (A - \lambda I)\mathbf{v} = 0 \]

Условие существования ненулевого решения: \( \det(A - \lambda I) = 0 \) (характеристическое уравнение).


Практическое занятие по Python

Пример

import numpy as np

A = np.array([[2, 0], [0, 1]])  # Растянуть в 2 раза по горизонтали, без изменений по вертикали
eigenvalues, eigenvectors = np.linalg.eig(A)

print("Собственные значения:", eigenvalues)       # [2. 1.]
print("Собственные векторы (столбцы):\n", eigenvectors)

# Проверить Av = λv
for i in range(2):
    v = eigenvectors[:, i]
    lam = eigenvalues[i]
    print(f"\nПроверить собственный вектор{i+1}:)
    print(f"  A @ v = {A @ v}")
    print(f" λ * v = {lam * v}")
    print(fРавно: {np.allclose(A @ v, lam * v)})

# Все собственные значения симметричной матрицы вещественны
S = np.array([[1, 4], [4, 2]])
print(f"\nСобственные значения симметричной матрицы S: {np.linalg.eigvals(S)} (все вещественные))
特征值: [2. 1.]
特征向量 (列):
 [[1. 0.]
 [0. 1.]]
验证特征向量1: A@v=[2. 0.], λv=[2. 0.], 相等: True
对称矩阵 S 的特征值: [ 5. -2.](全实数)

Интерактивная демонстрация собственных векторов

Перетащите синий вектор v и наблюдайте преобразование Av (красная пунктирная линия) матрицей A = [[2,0],[0,1]].

Когда v горизонтален или вертикален, Av коллинеарен v — это направления собственных векторов:


Сценарии применения в ИИ

Снижение размерности с помощью PCA

Вычислите собственные значения и собственные векторы ковариационной матрицы данных. Собственные векторы, соответствующие k наибольшим собственным значениям, — это k направлений (главных компонент) с наибольшей дисперсией данных. Спроецируйте данные на эти направления и отбросьте направления с низкой дисперсией, чтобы выполнить снижение размерности. Снижение размерности изображений MNIST с 784 до 50 измерений всё ещё сохраняет около 90% информации.

Спектральная нормализация

При обучении GAN весовая матрица дискриминатора спектрально нормализуется на каждом шаге: W ← W / \sigma_{max}(W), где \sigma_{max} — наибольшее сингулярное число (для квадратной матрицы оно равно абсолютному значению наибольшего собственного значения). Это гарантирует, что дискриминатор является 1-липшицевым, стабилизируя обучение и уменьшая коллапс мод.

Спектральные методы для графовых нейронных сетей

Собственные значения и собственные векторы матрицы лапласиана графа L = D - A (D — диагональная матрица степеней, A — матрица смежности) определяют преобразование Фурье на графах. GCN (графовая свёрточная сеть) выполняет свёртку в этой спектральной области — хотя современные GCN в основном используют пространственные методы, спектральный метод является теоретической основой.


Другие расширения