Suma de matrices y multiplicación de matrices

Después de comprender las operaciones con vectores, pasamos a las matrices. La multiplicación de matrices es la clave para entender la propagación hacia adelante en redes neuronales: la esencia de la capa totalmente conectada es la multiplicación de matrices.

Suma de matrices: sumar posiciones correspondientes

Dos matrices con la misma forma: se suman los elementos en posiciones correspondientes; es tan intuitivo como la suma de vectores.

Multiplicación de matrices: producto punto de filas y columnas

La multiplicación de matrices no es tan simple como "multiplicar posiciones correspondientes". ¿Por qué?

El significado profundo de una matriz es una "transformación lineal": mapea un vector a otro vector.

Multiplicar dos matrices AB, geométricamente, significa: primero aplicar la transformación B, luego la transformación A. Por lo tanto, la regla de cálculo de AB debe reflejar la estructura matemática de la "transformación compuesta", no una simple multiplicación elemento a elemento.

Por ejemplo: A representa "estirar horizontalmente 2 veces" y B representa "rotar 90° en sentido antihorario". AB significa "primero rotar y luego estirar", lo cual es completamente diferente de BA (primero estirar y luego rotar), por lo que la multiplicación de matrices no cumple la propiedad conmutativa.

La regla de cálculo es:

Matriz izquierda
Fila i →
·
Matriz derecha
Columna j ↓
=
Resultado
(i, j)

El producto punto de la fila i de la matriz izquierda con la columna j de la matriz derecha → el valor en la posición (i, j) de la matriz resultante.

Reglas de coincidencia de dimensiones

\( (m \times \color{#e74c3c}{n}) \;\times\; (\color{#e74c3c}{n} \times p) = (m \times p) \)

El número de columnas de Adebe ser igual ael número de filas de B. Las dos n marcadas en rojo deben ser iguales.

La forma del resultado = (número de filas de A, número de columnas de B)

La multiplicación de matricesno cumple la propiedad conmutativa: AB ≠ BA (en general).

Incluso las dimensiones pueden no coincidir, haciendo que BA no esté definida; este es el error más común entre los principiantes.

La esencia de la multiplicación de matrices es la composición de transformaciones lineales

Multiplicar por la matriz A → se realiza una transformación; luego multiplicar por la matriz B → se realiza la segunda transformación.

La composición de dos transformaciones = una transformación (BA). Esta es la razón por la que la multiplicación de matrices se define así.


Ejemplos de la vida cotidiana

Cálculo de ingresos de una tienda pequeña

Matriz de ventas de tres días (filas = fechas, columnas = productos):

ColaPatatas fritasFideos instantáneos
Lunes1053
Martes874
Miércoles1246

Matriz de precios (filas = productos, columnas = tiendas):

Tienda 1Tienda 2
Cola33.5
Patatas fritas55.5
Fideos instantáneos44.0

Matriz de ventas (3×3) × matriz de precios (3×2) = matriz de ingresos (3×2).

Cada celda del resultado = el ingreso total de un día en una tienda determinada.


Definición matemática

Suma de matrices

\[ (\mathbf{A} + \mathbf{B})_{ij} = a_{ij} + b_{ij} \]

Requisito: A y B deben tener exactamente la misma forma.

Multiplicación de matrices

Sea A de dimensión m×n y B de dimensión n×p, entonces C = AB es de dimensión m×p:

\[ c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj} \]

Práctica con Python

Ejemplo

import numpy as np

A_ejemplo = np.array([[10, 5, 3], [8, 7, 4], [12, 4, 6]])
price = np.array([[3, 3.5], [5, 5.5], [4, 4.0]])

# Suma de matrices (misma forma)
bonus = np.array([[1, 0, 1], [0, 1, 0], [1, 1, 0]])
total = A_ejemplo + bonus
print("A + bonus:\n", total)

# Multiplicación de matrices: (3×3) @ (3×2) = (3×2)
revenue = A_ejemplo @ price
print("\nMatriz de ingresos A @ price:\n", revenue)
print("Forma:", revenue.shape)

# Verificación manual de la posición (0,0)
manual = A_ejemplo[0,0]*price[0,0] + A_ejemplo[0,1]*price[1,0] + A_ejemplo[0,2]*price[2,0]
print(f"\nVerificación manual [0,0]: {manual} == {revenue[0,0]}")

# La trampa de la incompatibilidad de dimensiones
print(f"\nForma de A: {A_ejemplo.shape}")     # (3, 3)
print(f"Forma de price.T: {price.T.shape}")   # (2, 3)
# A @ price.T → (3,3) @ (2,3) ¡no coincide!
# Correcto: price.T @ A → (2,3) @ (3,3) = (2,3)
print(f"Forma de price.T @ A: {(price.T @ A_ejemplo).shape}")  # (2, 3)
收入矩阵 A @ price:
 [[67.  72. ]
 [75.  79.5]
 [80.  88. ]]
形状: (3, 2)

A 形状: (3, 3)
price.T 形状: (2, 3)
price.T @ A 形状: (2, 3)

Visualización interactiva de la multiplicación de matrices

A continuación se muestra la matriz A de 2×2 multiplicada por el vector v de 2×1; observa cómo la transformación lineal mapea los puntos del círculo a la elipse:


Escenarios de aplicación en IA

Capa totalmente conectada = multiplicación de matrices

nn.Linear(d_in, d_out)La esencia: la matriz de pesos W (d_out × d_in) se multiplica por el vector de entrada x (d_in dimensiones) para obtener la salida (d_out dimensiones).

Al procesar datos por lotes (batch), la entrada X es una matriz de (batch, d_in); se calcula \( Y = XW^T \) o \( Y = WX^T \), y una sola multiplicación de matrices realiza el cálculo hacia adelante de todo el lote. Las GPU tienen aceleración por hardware especializada para la multiplicación de matrices (Tensor Core).

QK^T del mecanismo de atención

En Transformer, tanto Q como K son matrices de (seq_len, d_k). \( QK^T \) es la multiplicación de seq_len×d_k por d_k×seq_len, y se obtiene una matriz de puntuaciones de atención de (seq_len, seq_len).

En modelos grandes de nivel GPT-4, seq_len puede llegar a 128K, y el costo computacional de esta multiplicación de matrices representa una gran parte del costo total de inferencia. El algoritmo FlashAttention está diseñado específicamente para optimizar el patrón de acceso a memoria de esta multiplicación de matrices.

Implementación de la convolución mediante multiplicación de matrices (im2col)

La operación de convolución se puede expandir a una multiplicación de matrices: la imagen de entrada se expande a una matriz grande según ventanas deslizantes (im2col), y luego el núcleo de convolución también se aplana a una matriz; ambos se multiplican. Esto permite que la convolución utilice bibliotecas GEMM (multiplicación de matrices general) altamente optimizadas para acelerarse.

Descomposición matricial en el ajuste fino LoRA

LoRA agrega el producto de dos matrices pequeñas A y B junto a los pesos preentrenados: \( W' = W + AB \). Aquí AB es una multiplicación de matrices: A es d×r, B es r×d, y el producto es una matriz de bajo rango de d×d. Una multiplicación de matrices logra un ajuste fino eficiente en parámetros.


Otras extensiones