PCA для снижения размерности данных и визуализации

Реализуйте PCA (метод главных компонент) вручную, без использования sklearn. Наглядно увидьте роль собственных значений и собственных векторов в «сжатии информации и сохранении основных различий».

После завершения этого кейса вы поймёте:PCA заключается в поиске направления, в котором распределение данных наиболее «разбросано», чтобы сохранить как можно больше информации при меньшем числе измерений.


Введение на реальном примере

Описание формы рыбы другу

Вам не нужно точно описывать трёхмерные координаты каждой точки рыбы. Достаточно сказать: «примерно такой длины, такой ширины, такой формы». С минимальным количеством данных вы улавливаете самые важные различия.

Именно это и делает PCA: находит наиболее важные направления в многомерных данных, отбрасывает неважные детали и описывает те же данные меньшим количеством чисел.


Интуитивное понимание

Предположим, у нас есть 300 трёхмерных точек данных. Они распределены неравномерно — большинство точек расположено вдоль некоторой наклонной линии, и лишь немногие отклоняются от неё.

Что это значит? Это значит, что нам на самом деле не нужны координаты в трёх измерениях. Достаточно двух измерений — одного вдоль направления наклонной линии и одного перпендикулярно ей. Третье измерение, перпендикулярное линии, почти не имеет вариации, и его можно отбросить.

Центрирование
Ковариационная матрица
Разложение по собственным значениям
Проекция для снижения размерности

Чем больше собственное значение, тем сильнее данные «разбросаны» в этом направлении — тем важнее это направление.


Математическое определение

Шаги алгоритма PCA

\[ \begin{aligned} \text{1. Центрирование:}&\quad X_c = X - \bar{X} \\ \text{2. Ковариационная матрица:}&\quad \Sigma = \frac{1}{n-1}X_c^T X_c \\ \text{3. Разложение по собственным значениям:}&\quad \Sigma = V \Lambda V^T \\ \text{4. Выбор первых k собственных векторов:}&\quad V_k = [v_1, v_2, ..., v_k] \\ \text{5. Проекция:}&\quad X_{\text{reduced}} = X_c \cdot V_k \end{aligned} \]

Доля объяснённой дисперсии

\[ \text{Доля объяснённой дисперсии}_i = \frac{\lambda_i}{\sum_{j=1}^{d} \lambda_j} \]

где \(\lambda_i\) — \(i\)-е по величине собственное значение. Эта доля показывает, какую часть общей дисперсии «вносит» \(i\)-я главная компонента.


Практическое занятие по Python

Постройте трёхмерный набор данных, который на самом деле в основном распределён вдоль одного направления, и вручную реализуйте PCA, чтобы снизить его до 2 измерений.

Пример

import numpy as np
np.random.seed(42)

# 1. Создайте 3D-данные, в основном распределённые вдоль одного направления
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
    base * 3 + np.random.randn(n, 1) * 0.3,   # столбец x1
    base * 1.5 + np.random.randn(n, 1) * 0.3,  # столбец x2
    np.random.randn(n, 1) * 0.2,               # столбец x3 (шум)
])
print("ПРИМЕР исходной формы данных:", X.shape,
      "(300 образцов, каждый образец 3-мерный)")

# 2. Напишите PCA вручную (четыре шага)
def pca(X, n_components=2):
    # Шаг 1: Центрирование — сдвиньте среднее значение данных к 0
    X_centered = X - X.mean(axis=0)
    # Шаг 2: Ковариационная матрица — найдите взаимосвязи между всеми парами переменных
    cov = np.cov(X_centered, rowvar=False)
    # Шаг 3: Разложение по собственным значениям — eigh более устойчив для симметричных матриц
    eigvals, eigvecs = np.linalg.eigh(cov)
    # Отсортируйте собственные значения по убыванию
    order = np.argsort(eigvals)[::-1]
    eigvals = eigvals[order]
    eigvecs = eigvecs[:, order]
    # Шаг 4: Возьмите первые k собственных векторов и выполните проекцию
    components = eigvecs[:, :n_components]
    X_reduced = X_centered @ components
    # Вычислите долю дисперсии, объяснённую каждой главной компонентой
    explained_ratio = eigvals[:n_components] / eigvals.sum()
    return X_reduced, eigvals, explained_ratio

X_reduced, eigvals, explained_ratio = pca(X, n_components=2)

print("\nПРИМЕР три собственных значения (размер дисперсии):",
      np.round(eigvals, 3))
print("Доля дисперсии, объяснённая первыми 2 главными компонентами:",
      np.round(explained_ratio, 3))
print("Накопленная сохранённая информация:",
      round(explained_ratio.sum() * 100, 1), "%")
print("Форма данных после снижения размерности:", X_reduced.shape,
      "(Снижено с 3 измерений до 2 измерений)")

# 3. Ключевое наблюдение: третье собственное значение очень мало
print(f"\nПРИМЕР: третье собственное значение составляет всего {eigvals[2]:.4f},"
      f"намного меньше первых двух ({eigvals[0]:.2f}, {eigvals[1]:.2f})")
print("Это показывает, что третье измерение почти не содержит информации — его можно безопасно отбросить!")
EXAMPLE 原始数据形状: (300, 3) (300 个样本,每个样本 3 维)

EXAMPLE 三个特征值 (方差大小): [9.569 2.267 0.04 ]
前 2 个主成分解释的方差比例: [0.806 0.191]
累计保留信息: 99.7 %
降维后数据形状: (300, 2) (从 3 维降到了 2 维)

EXAMPLE 第三个特征值只有 0.0404,远小于前两个 (9.57, 2.27)
说明第三维几乎没有信息量——可以安全丢掉!

Сценарии применения в ИИ

Сценарий ИИКак использовать PCA
Визуализация данныхСвести многомерные данные (например, 768-мерные векторы слов) к 2 измерениям и интуитивно наблюдать распределение данных с помощью диаграммы рассеяния
Понижение размерности признаковПеред обучением модели удалите избыточные признаки, чтобы уменьшить вычисления и снизить риск переобучения
Фильтрация шумаОставляйте только главные компоненты с большой дисперсией, отбрасывайте компоненты с малой дисперсией (часто это шум)
Сжатие изображенийАппроксимировать изображения лиц с помощью комбинации нескольких "собственных лиц" (Eigenface)
Рекомендательные системыSVD (матричная версия PCA) раскладывает матрицу оценок пользователь–элемент, чтобы выявить скрытые шаблоны предпочтений пользователей.
Другие расширения