:.4f},"

Implementa PCA (Análisis de Componentes Principales) manualmente, sin usar sklearn. Observa intuitivamente el papel de los valores propios y vectores propios en "comprimir información y conservar las diferencias principales".

Después de completar este caso, entenderás:PCA consiste en encontrar la dirección en la que los datos están más "dispersos", conservando la mayor cantidad posible de información con menos dimensiones.


Introducción desde la vida cotidiana

Describir la forma de un pez a un amigo

No necesitas describir con precisión las coordenadas tridimensionales de cada punto del pez. Solo tienes que decir: "más o menos así de largo, así de ancho, esta forma". Capturas las diferencias más clave con los mínimos datos.

PCA hace exactamente eso: encuentra las direcciones más importantes en los datos de alta dimensión, descarta los detalles sin importancia, y describe los mismos datos con menos números.


Comprensión intuitiva

Supongamos que tenemos 300 puntos de datos tridimensionales. No están distribuidos uniformemente: la mayoría de los puntos están alineados a lo largo de cierta línea diagonal, y solo unos pocos se desvían de esa línea.

¿Qué significa esto? Significa que en realidad no necesitamos las coordenadas de tres dimensiones. Dos dimensiones son suficientes: una a lo largo de la dirección diagonal y otra perpendicular a ella. En la tercera dimensión (la perpendicular) los datos apenas varían, por lo que se puede descartar.

Centrado
Matriz de covarianza
Descomposición de valores propios
Proyección para reducir dimensionalidad

Cuanto mayor es el valor propio, más "dispersos" están los datos en esa dirección: esa dirección es más importante.


Definición matemática

Pasos del algoritmo PCA

\[ \begin{aligned} \text{1. Centrado:}&\quad X_c = X - \bar{X} \\ \text{2. Matriz de covarianza:}&\quad \Sigma = \frac{1}{n-1}X_c^T X_c \\ \text{3. Descomposición de valores propios:}&\quad \Sigma = V \Lambda V^T \\ \text{4. Seleccionar los primeros k vectores propios:}&\quad V_k = [v_1, v_2, ..., v_k] \\ \text{5. Proyección:}&\quad X_{\text{reduced}} = X_c \cdot V_k \end{aligned} \]

Proporción de varianza explicada

\[ \text{Proporción explicada}_i = \frac{\lambda_i}{\sum_{j=1}^{d} \lambda_j} \]

Donde \(\lambda_i\) es el \(i\)-ésimo mayor valor propio. Esta proporción te dice cuánta varianza total "aporta" el \(i\)-ésimo componente principal.


Práctica con Python

Construir un conjunto de datos tridimensional pero distribuido principalmente a lo largo de cierta dirección, y aplicar PCA manualmente para reducirlo a 2 dimensiones.

Ejemplo

import numpy as np
np.random.seed(42)

# 1. Construir datos 3D, distribuidos principalmente a lo largo de una dirección
n = 300
base = np.random.randn(n, 1)
X = np.hstack([
    base * 3 + np.random.randn(n, 1) * 0.3,   # columna x1
    base * 1.5 + np.random.randn(n, 1) * 0.3,  # columna x2
    np.random.randn(n, 1) * 0.2,               # columna x3 (ruido)
])
print("EJEMPLO Forma de los datos originales:", X.shape,
      "(300 muestras, cada muestra de 3 dimensiones)")

# 2. PCA manual (cuatro pasos)
def pca(X, n_components=2):
    # Primer paso: centrado: mover la media de los datos a 0
    X_centered = X - X.mean(axis=0)
    # Segundo paso: matriz de covarianza: encontrar las relaciones entre todos los pares de variables
    cov = np.cov(X_centered, rowvar=False)
    # Tercer paso: descomposición de valores propios: eigh es más estable para matrices simétricas
    eigvals, eigvecs = np.linalg.eigh(cov)
    # Ordenar por valores propios de mayor a menor
    order = np.argsort(eigvals)[::-1]
    eigvals = eigvals[order]
    eigvecs = eigvecs[:, order]
    # Cuarto paso: tomar los primeros k vectores propios y proyectar
    components = eigvecs[:, :n_components]
    X_reduced = X_centered @ components
    # Calcular la proporción de varianza explicada por cada componente principal
    explained_ratio = eigvals[:n_components] / eigvals.sum()
    return X_reduced, eigvals, explained_ratio

X_reduced, eigvals, explained_ratio = pca(X, n_components=2)

print("\nEJEMPLO Tres valores propios (magnitud de varianza):",
      np.round(eigvals, 3))
print("Proporción de varianza explicada por los primeros 2 componentes principales:",
      np.round(explained_ratio, 3))
print("Información acumulada conservada:",
      round(explained_ratio.sum() * 100, 1), "%")
print("Forma de los datos después de la reducción de dimensionalidad:", X_reduced.shape,
      "(Se redujo de 3 dimensiones a 2 dimensiones)")

# 3. Observación clave: el tercer valor propio es muy pequeño
print(f"\nEJEMPLO El tercer valor propio es solo {eigvals
      f"mucho menor que los dos primeros ({eigvals)
print("Indica que la tercera dimensión casi no tiene información: ¡se puede descartar de forma segura!")
EJEMPLO 原始数据形状: (300, 3) (300 个样本,每个样本 3 维)

EJEMPLO 三个特征值 (方差大小): [9.569 2.267 0.04 ]
前 2 个主成分解释的方差比例: [0.806 0.191]
累计保留信息: 99.7 %
降维后数据形状: (300, 2) (从 3 维降到了 2 维)

EJEMPLO 第三个特征值只有 0.0404,远小于前两个 (9.57, 2.27)
说明第三维几乎没有信息量——可以安全丢掉!

Escenarios de aplicación en IA

Escenario de IACómo usar PCA
Visualización de datosReducir datos de alta dimensión (por ejemplo, vectores de palabras de 768 dimensiones) a 2 dimensiones, y observar intuitivamente la distribución de los datos con un diagrama de dispersión.
Reducción de dimensionalidad de característicasAntes de entrenar el modelo, eliminar características redundantes, reducir la carga computacional y disminuir el riesgo de sobreajuste.
Filtrado de ruidoConservar solo los componentes principales con alta varianza y descartar los de baja varianza (que a menudo son ruido).
Compresión de imágenesRepresentar aproximadamente las imágenes faciales mediante una combinación de unos pocos "eigenrostros" (Eigenface).
Sistemas de recomendaciónSVD (la versión matricial de PCA) descompone la matriz de calificaciones usuario-artículo para descubrir patrones ocultos de preferencias de los usuarios.
Otras extensiones