Sistemas de ecuaciones lineales y rango de matrices

Desde el problema de los pollos y conejos en la misma jaula hasta el entrenamiento de modelos de IA, los sistemas de ecuaciones lineales están en todas partes. El «rango» de una matriz nos dice cuánta información verdaderamente efectiva hay en el sistema de ecuaciones.

Cualquier sistema de ecuaciones lineales puede escribirse como Ax = b

A es la matriz de coeficientes (m ecuaciones, n incógnitas), x es el vector de incógnitas, b es el vector de constantes.

Por ejemplo, el problema de los pollos y conejos: \( \begin{cases} x+y=10 \\ 2x+4y=28 \end{cases} \) se escribe en forma matricial:

\[ \begin{bmatrix} 1 & 1 \\ 2 & 4 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 10 \\ 28 \end{bmatrix} \]

Rango: la cantidad de información independiente

Rango (Rank) = número de filas (o columnas) verdaderamente «independientes» en la matriz.

Si una ecuación se puede obtener multiplicando otras ecuaciones por coeficientes, es redundante — no añade información nueva.

El rango determina las soluciones del sistema de ecuaciones:

Rango completo

Solución única

Sin redundancia entre ecuaciones

Rango deficiente

Infinitas soluciones

Hay ecuaciones redundantes

Contradicción

Sin solución

Las ecuaciones se contradicen entre sí


Ejemplos de la vida real

Problema de pollos y conejos: rango completo, solución única

10 cabezas + 28 patas → 6 pollos, 4 conejos. Las dos ecuaciones proporcionan dos informaciones independientes, justo para resolver dos incógnitas.

Información redundante: rango deficiente, infinitas soluciones

Ecuación 1: x + y = 5. Ecuación 2: 2x + 2y = 10 (es el doble de la ecuación 1).

Las dos ecuaciones son en realidad una sola información — hay infinitos pares (x, y) que satisfacen la condición.


Definición matemática

Determinación del rango

CondiciónTipo de solución
rank(A) = rank([A|b]) = nSolución única
rank(A) = rank([A|b]) < nInfinitas soluciones
rank(A) < rank([A|b])Sin solución

Donde [A|b] es la matriz aumentada que se obtiene colocando b a la derecha de A.


Práctica con Python

Ejemplo

import numpy as np

# Problema de pollos y conejos: rango completo
A = np.array([[1,1],[2,4]])
b = np.array([10,28])
x = np.linalg.solve(A, b)
print("Solución:", x, "→ pollos=6, conejos=4")
print("Rango:", np.linalg.matrix_rank(A))  # 2 (rango completo)

# Ecuación redundante
A_red = np.array([[1,2],[2,4]])  # Fila 2 = 2 × fila 1
print("\n"Rango de la matriz redundante:", np.linalg.matrix_rank(A_red))  # 1

# Rango de una matriz grande aleatoria
big = np.random.randn(100, 50)
print("Rango de una matriz aleatoria de 100×50:", np.linalg.matrix_rank(big))  # 50
解: [6. 4.] → 鸡=6, 兔=4
秩: 2(满秩)
冗余矩阵的秩: 1
100×50 随机矩阵的秩: 50

Casos de aplicación en IA

Ajuste fino LoRA = Supuesto de bajo rango

El supuesto central de LoRA (Low-Rank Adaptation) es que la actualización de ajuste fino \Delta W de los pesos preentrenados es de bajo rango. Por lo tanto, se puede aproximar la actualización completa \Delta W = AB mediante el producto de dos matrices pequeñas A (d×r) y B (r×d), donde r << d.

Por ejemplo, para la matriz de pesos de 12288 dimensiones de GPT-3, basta con tomar r = 8 o 16 — el rango se reduce de 12288 a 8, y el número de parámetros disminuye miles de veces. Así es como se utiliza el concepto de «rango» para un ajuste fino eficiente en parámetros.

Detección de colinealidad entre características

Si el rango de la matriz de datos es mucho menor que el número de columnas → existe una alta colinealidad (multicolinealidad) entre las características → X^TX en la regresión lineal no es invertible o está cerca de ser singular → se necesita regularización (Ridge/Lasso) o reducción de dimensionalidad (PCA). En proyectos reales de ML, esto se manifiesta como un número de condición demasiado grande de la matriz de características.

Completación de matrices en sistemas de recomendación

La matriz de calificaciones usuario-artículo generalmente tiene pocas calificaciones (dispersa), pero se supone que está generada por una estructura de bajo rango (usuarios similares tienen gustos similares). La completación de matrices (Matrix Completion) utiliza la restricción del rango para inferir las calificaciones faltantes a partir de las calificaciones conocidas. Esta es la idea central del algoritmo ganador del concurso de recomendación de Netflix.


Otras extensiones