Сингулярное разложение (SVD) -- Разложение любой матрицы
Разложение по собственным значениям применимо только к квадратным матрицам, но у SVD нет этого ограничения—К любой матрице можно применить SVD。
Это математический движок, стоящий за такими технологиями, как рекомендательные системы, сжатие изображений и тонкая настройка LoRA.
SVD: Разложение матрицы на три части
(m×n)
(m×m)
Поворот
(m×n)
Масштабирование
(n×n)
Поворот
Геометрическая интуиция: любое линейное преобразование = поворот + масштабирование вдоль координатных осей + снова поворот.
Диагональные элементы Σ называютсясингулярными числами, упорядоченными от наибольшего к наименьшему и представляющими «энергию» матрицы в каждом ортогональном направлении.
Усечённое SVD: приближение первыми k сингулярными числами
\[ A \approx U_k \Sigma_k V_k^T \]Чем меньше k = тем выше степень сжатия = тем грубее приближение. Это основная идея снижения размерности и сжатия.
Пример из жизни
Сжатие изображения
Таблица 1000×1000 (1 миллион чисел) после SVD-разложения использует только первые 10 сингулярных чисел для восстановления.
Нужно хранить всего около 10×1000×2 = 20,000 чисел, чтобы получить приемлемое приближение.
В этом сила SVD-сжатия — отбросить неважную «энергию» и сохранить основную структуру.
Математическое определение
\[ A = U \Sigma V^T \]Столбцы U — левые сингулярные векторы (ортогональные), строки V — правые сингулярные векторы (ортогональные), а диагональные элементы Σ, σ₁ ≥ σ₂ ≥ ... ≥ σ_r > 0, — сингулярные значения.
Практическое занятие по Python
Пример
A = np.array([[1,0,0,0,2],[0,0,3,0,0],[0,0,0,0,0],[0,4,0,0,0]])
U, S, VT = np.linalg.svd(A)
print("Сингулярные значения:", np.round(S, 2)) # [4. 3. 2.24 0.]
print("Количество ненулевых сингулярных значений = ранг =", np.sum(S > 1e-10))
# Демонстрация сжатия изображения: изображение ранга 1
img = np.outer(np.array([1,2,3,2,1]), np.array([2,4,6,4,2]))
U_i, S_i, VT_i = np.linalg.svd(img)
print("\nСингулярные значения матрицы изображения:", np.round(S_i, 2))
# Идеально восстановлено с использованием только 1 сингулярного значения (поскольку ранг = 1)
k = 1
approx = U_i[:,:k] @ np.diag(S_i[:k]) @ VT_i[:k,:]
print("ошибка восстановления при k=1:", np.linalg.norm(img - approx))
奇异值: [4. 3. 2.24 0.] 非零奇异值个数 = 秩 = 3 图像矩阵的奇异值: [78.26 0. 0. 0. 0.] k=1重建误差: 7.11e-14 (几乎完美)
Сценарии применения в ИИ
Математические основы тонкой настройки LoRA
Допущение LoRA: \( \Delta W \) имеет низкий ранг — это эквивалентно предположению, что в SVD матрицы \(\Delta W \) значимы только первые r сингулярных значений, а остальными можно пренебречь. Чем меньше r, тем меньше обучаемых параметров, но тем ниже точность аппроксимации. На практике r=8 или 16 часто является лучшим балансом между эффективностью и производительностью, что следует из эмпирических наблюдений за скоростью убывания сингулярных значений весовых матриц.
Рекомендательные системы: коллаборативная фильтрация с матричной факторизацией
Выполните усечённое SVD матрицы оценок пользователь–элемент R (m×n): \( R \approx U_k \Sigma_k V_k^T \). Каждая строка U_k — это k-мерный латентный вектор пользователя, а каждая строка V_k — k-мерный латентный вектор элемента. Предсказанная оценка пользователя u для элемента i = скалярное произведение латентного вектора u и латентного вектора i.
Сжатие и дистилляция моделей
После выполнения SVD весовой матрицы W полносвязного слоя используйте усечённое SVD для аппроксимации: \( W \approx U_k \Sigma_k V_k^T \). Исходная матрица m×n имеет mn параметров, а после разложения их становится k(m+n+1). Когда k << min(m,n), число параметров сильно сокращается. Это очень полезно при развёртывании больших моделей на мобильных устройствах.
Реализация PCA через SVD
В основе PCA из sklearn лежит SVD, а не разложение по собственным значениям — PCA напрямую выполняет SVD над центрированной матрицей данных, и столбцы правых сингулярных векторов V являются направлениями главных компонент. SVD численно более устойчиво и не требует явного вычисления ковариационной матрицы.
Другие расширения