Suma de matrices y multiplicación de matrices
Después de comprender las operaciones con vectores, pasamos a las matrices. La multiplicación de matrices es la clave para entender la propagación hacia adelante en redes neuronales: la esencia de la capa totalmente conectada es la multiplicación de matrices.
Suma de matrices: sumar posiciones correspondientes
Dos matrices con la misma forma: se suman los elementos en posiciones correspondientes; es tan intuitivo como la suma de vectores.
Multiplicación de matrices: producto punto de filas y columnas
La multiplicación de matrices no es tan simple como "multiplicar posiciones correspondientes". ¿Por qué?
El significado profundo de una matriz es una "transformación lineal": mapea un vector a otro vector.
Multiplicar dos matrices AB, geométricamente, significa: primero aplicar la transformación B, luego la transformación A. Por lo tanto, la regla de cálculo de AB debe reflejar la estructura matemática de la "transformación compuesta", no una simple multiplicación elemento a elemento.
Por ejemplo: A representa "estirar horizontalmente 2 veces" y B representa "rotar 90° en sentido antihorario". AB significa "primero rotar y luego estirar", lo cual es completamente diferente de BA (primero estirar y luego rotar), por lo que la multiplicación de matrices no cumple la propiedad conmutativa.
La regla de cálculo es:
Fila i →
Columna j ↓
(i, j)
El producto punto de la fila i de la matriz izquierda con la columna j de la matriz derecha → el valor en la posición (i, j) de la matriz resultante.
Reglas de coincidencia de dimensiones
\( (m \times \color{#e74c3c}{n}) \;\times\; (\color{#e74c3c}{n} \times p) = (m \times p) \)
El número de columnas de Adebe ser igual ael número de filas de B. Las dos n marcadas en rojo deben ser iguales.
La forma del resultado = (número de filas de A, número de columnas de B)
La multiplicación de matricesno cumple la propiedad conmutativa: AB ≠ BA (en general).
Incluso las dimensiones pueden no coincidir, haciendo que BA no esté definida; este es el error más común entre los principiantes.
La esencia de la multiplicación de matrices es la composición de transformaciones lineales
Multiplicar por la matriz A → se realiza una transformación; luego multiplicar por la matriz B → se realiza la segunda transformación.
La composición de dos transformaciones = una transformación (BA). Esta es la razón por la que la multiplicación de matrices se define así.
Ejemplos de la vida cotidiana
Cálculo de ingresos de una tienda pequeña
Matriz de ventas de tres días (filas = fechas, columnas = productos):
| Cola | Patatas fritas | Fideos instantáneos | |
|---|---|---|---|
| Lunes | 10 | 5 | 3 |
| Martes | 8 | 7 | 4 |
| Miércoles | 12 | 4 | 6 |
Matriz de precios (filas = productos, columnas = tiendas):
| Tienda 1 | Tienda 2 | |
|---|---|---|
| Cola | 3 | 3.5 |
| Patatas fritas | 5 | 5.5 |
| Fideos instantáneos | 4 | 4.0 |
Matriz de ventas (3×3) × matriz de precios (3×2) = matriz de ingresos (3×2).
Cada celda del resultado = el ingreso total de un día en una tienda determinada.
Definición matemática
Suma de matrices
\[ (\mathbf{A} + \mathbf{B})_{ij} = a_{ij} + b_{ij} \]Requisito: A y B deben tener exactamente la misma forma.
Multiplicación de matrices
Sea A de dimensión m×n y B de dimensión n×p, entonces C = AB es de dimensión m×p:
\[ c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj} \]Práctica con Python
Ejemplo
A_ejemplo = np.array([[10, 5, 3], [8, 7, 4], [12, 4, 6]])
price = np.array([[3, 3.5], [5, 5.5], [4, 4.0]])
# Suma de matrices (misma forma)
bonus = np.array([[1, 0, 1], [0, 1, 0], [1, 1, 0]])
total = A_ejemplo + bonus
print("A + bonus:\n", total)
# Multiplicación de matrices: (3×3) @ (3×2) = (3×2)
revenue = A_ejemplo @ price
print("\nMatriz de ingresos A @ price:\n", revenue)
print("Forma:", revenue.shape)
# Verificación manual de la posición (0,0)
manual = A_ejemplo[0,0]*price[0,0] + A_ejemplo[0,1]*price[1,0] + A_ejemplo[0,2]*price[2,0]
print(f"\nVerificación manual [0,0]: {manual} == {revenue[0,0]}")
# La trampa de la incompatibilidad de dimensiones
print(f"\nForma de A: {A_ejemplo.shape}") # (3, 3)
print(f"Forma de price.T: {price.T.shape}") # (2, 3)
# A @ price.T → (3,3) @ (2,3) ¡no coincide!
# Correcto: price.T @ A → (2,3) @ (3,3) = (2,3)
print(f"Forma de price.T @ A: {(price.T @ A_ejemplo).shape}") # (2, 3)
收入矩阵 A @ price: [[67. 72. ] [75. 79.5] [80. 88. ]] 形状: (3, 2) A 形状: (3, 3) price.T 形状: (2, 3) price.T @ A 形状: (2, 3)
Visualización interactiva de la multiplicación de matrices
A continuación se muestra la matriz A de 2×2 multiplicada por el vector v de 2×1; observa cómo la transformación lineal mapea los puntos del círculo a la elipse:
Escenarios de aplicación en IA
Capa totalmente conectada = multiplicación de matrices
nn.Linear(d_in, d_out)La esencia: la matriz de pesos W (d_out × d_in) se multiplica por el vector de entrada x (d_in dimensiones) para obtener la salida (d_out dimensiones).
Al procesar datos por lotes (batch), la entrada X es una matriz de (batch, d_in); se calcula \( Y = XW^T \) o \( Y = WX^T \), y una sola multiplicación de matrices realiza el cálculo hacia adelante de todo el lote. Las GPU tienen aceleración por hardware especializada para la multiplicación de matrices (Tensor Core).
QK^T del mecanismo de atención
En Transformer, tanto Q como K son matrices de (seq_len, d_k). \( QK^T \) es la multiplicación de seq_len×d_k por d_k×seq_len, y se obtiene una matriz de puntuaciones de atención de (seq_len, seq_len).
En modelos grandes de nivel GPT-4, seq_len puede llegar a 128K, y el costo computacional de esta multiplicación de matrices representa una gran parte del costo total de inferencia. El algoritmo FlashAttention está diseñado específicamente para optimizar el patrón de acceso a memoria de esta multiplicación de matrices.
Implementación de la convolución mediante multiplicación de matrices (im2col)
La operación de convolución se puede expandir a una multiplicación de matrices: la imagen de entrada se expande a una matriz grande según ventanas deslizantes (im2col), y luego el núcleo de convolución también se aplana a una matriz; ambos se multiplican. Esto permite que la convolución utilice bibliotecas GEMM (multiplicación de matrices general) altamente optimizadas para acelerarse.
Descomposición matricial en el ajuste fino LoRA
LoRA agrega el producto de dos matrices pequeñas A y B junto a los pesos preentrenados: \( W' = W + AB \). Aquí AB es una multiplicación de matrices: A es d×r, B es r×d, y el producto es una matriz de bajo rango de d×d. Una multiplicación de matrices logra un ajuste fino eficiente en parámetros.
Otras extensiones