Собственные значения и собственные векторы -- отпечаток матрицы
Когда матрица действует на большинство векторов, она меняет и их направление, и длину.
Но всегда есть некоторые векторы в «особых направлениях»направление которых после действия матрицы остаётся неизменным, меняется только длинаЭто собственные векторы, а коэффициент масштабирования — собственное значение.
Основная формула: \( A\mathbf{v} = \lambda \mathbf{v} \)
- \( \mathbf{v} \): собственный вектор (ненулевой), направление которого не изменяется после преобразования
- \( \lambda \): собственное значение, представляющее коэффициент, на который растягивается v
λ > 0
Растяжение/сжатие в том же направлении
Направление остаётся неизменным
λ < 0
Растяжение/сжатие в противоположном направлении
Направление полностью меняется на противоположное
Матрица n×n имеет не более n линейно независимых собственных векторов.
Собственные значения симметричной матрицы всегда вещественны — это одна из причин, почему симметричные матрицы так важны.
Повседневные примеры
Растяжение резиновой мембраны
Резиновая мембрана растягивается по горизонтали в 2 раза, тогда как вертикальное направление остаётся неизменным.
Стрелка в горизонтальном направлении (например, (1,0)) растягивается до (2,0), но её направление остаётся неизменным — это собственный вектор, λ=2.
Стрелка в вертикальном направлении (например, (0,1)) остаётся полностью неизменной — она также является собственным вектором, λ=1.
Диагональная стрелка (например, (1,1)) меняет направление — это не собственный вектор.
Математическое определение
\[ A\mathbf{v} = \lambda \mathbf{v} \quad \Leftrightarrow \quad (A - \lambda I)\mathbf{v} = 0 \]Условие существования ненулевого решения: \( \det(A - \lambda I) = 0 \) (характеристическое уравнение).
Практическое занятие по Python
Пример
A = np.array([[2, 0], [0, 1]]) # Растянуть в 2 раза по горизонтали, без изменений по вертикали
eigenvalues, eigenvectors = np.linalg.eig(A)
print("Собственные значения:", eigenvalues) # [2. 1.]
print("Собственные векторы (столбцы):\n", eigenvectors)
# Проверить Av = λv
for i in range(2):
v = eigenvectors[:, i]
lam = eigenvalues[i]
print(f"\nПроверить собственный вектор{i+1}:)
print(f" A @ v = {A @ v}")
print(f" λ * v = {lam * v}")
print(fРавно: {np.allclose(A @ v, lam * v)})
# Все собственные значения симметричной матрицы вещественны
S = np.array([[1, 4], [4, 2]])
print(f"\nСобственные значения симметричной матрицы S: {np.linalg.eigvals(S)} (все вещественные))
特征值: [2. 1.] 特征向量 (列): [[1. 0.] [0. 1.]] 验证特征向量1: A@v=[2. 0.], λv=[2. 0.], 相等: True 对称矩阵 S 的特征值: [ 5. -2.](全实数)
Интерактивная демонстрация собственных векторов
Перетащите синий вектор v и наблюдайте преобразование Av (красная пунктирная линия) матрицей A = [[2,0],[0,1]].
Когда v горизонтален или вертикален, Av коллинеарен v — это направления собственных векторов:
Сценарии применения в ИИ
Снижение размерности с помощью PCA
Вычислите собственные значения и собственные векторы ковариационной матрицы данных. Собственные векторы, соответствующие k наибольшим собственным значениям, — это k направлений (главных компонент) с наибольшей дисперсией данных. Спроецируйте данные на эти направления и отбросьте направления с низкой дисперсией, чтобы выполнить снижение размерности. Снижение размерности изображений MNIST с 784 до 50 измерений всё ещё сохраняет около 90% информации.
Спектральная нормализация
При обучении GAN весовая матрица дискриминатора спектрально нормализуется на каждом шаге: W ← W / \sigma_{max}(W), где \sigma_{max} — наибольшее сингулярное число (для квадратной матрицы оно равно абсолютному значению наибольшего собственного значения). Это гарантирует, что дискриминатор является 1-липшицевым, стабилизируя обучение и уменьшая коллапс мод.
Спектральные методы для графовых нейронных сетей
Собственные значения и собственные векторы матрицы лапласиана графа L = D - A (D — диагональная матрица степеней, A — матрица смежности) определяют преобразование Фурье на графах. GCN (графовая свёрточная сеть) выполняет свёртку в этой спектральной области — хотя современные GCN в основном используют пространственные методы, спектральный метод является теоретической основой.
Другие расширения