Implementación manual de la regla de la cadena
Construye una función compuesta, calcula manualmente los gradientes locales capa por capa y multiplícalos, luego verifica con sympy.
Después de completar este caso, entenderás:El núcleo de la retropropagación es la regla de la cadena: cada capa solo calcula su propio gradiente local, y el gradiente final es el producto de los gradientes de todas las capas.
Introducción desde la vida cotidiana
Línea de producción de fichas de dominó
Una fábrica tiene tres procesos: materia prima → producto semielaborado A → producto semielaborado B → producto terminado. Quieres saber: «Si se usa 1 kg más de materia prima, ¿cuántos productos terminados adicionales se obtienen?»
No necesitas derivar la fórmula de todo el proceso desde cero. Cada proceso solo calcula su propia «proporción local»: si el semielaborado A aumenta en 1 unidad, ¿cuánto aumenta el semielaborado B? Si el semielaborado B aumenta en 1 unidad, ¿cuánto aumenta el producto terminado? Multiplicar las tres proporciones es la respuesta.
Esto esla regla de la cadena—cada capa solo se preocupa por sí misma, el impacto final = el producto de los impactos de todas las capas.
Comprensión intuitiva
Construye una función compuesta de tres capas:
x^2+1
3*sin(u)
v^2
Práctica con Python
Ejemplo
import numpy as np
def g(x): return x ** 2 + 1
def f(u): return 3 * np.sin(u)
def g_prime(x): return 2 * x
def f_prime(u): return 3 * np.cos(u)
x0 = 1.5
# ---- Regla de la cadena manual ----
u0 = g(x0)
dy_du = f_prime(u0) # Gradiente local de la capa 2
du_dx = g_prime(x0) # Gradiente local de la capa 1
manual_grad = dy_du * du_dx
print("=" * 55)
print("EJEMPLO Regla de la cadena manual")
print(f"x0 = {x0}, u = g(x0) = {u0:.4f}")
print(f"dy/du = 3*cos(u) = {dy_du:.4f}")
print(f"du/dx = 2*x0 = {du_dx:.4f}")
print(f"Multiplicación en cadena: dy/dx = {manual_grad:.4f}")
# ---- Derivación automática con sympy (respuesta estándar) ----
x = sp.Symbol('x')
y_expr = 3 * sp.sin(x**2 + 1)
auto_grad = float(sp.diff(y_expr, x).subs(x, x0))
print(f"\n"EJEMPLO Derivación automática con sympy = {auto_grad:.4f}")
print(f"Ambos métodos coinciden: {np.isclose(manual_grad, auto_grad)}")
# ---- Extensión: composición de tres capas ----
def h(v): return v ** 2
def h_prime(v): return 2 * v
v0 = f(u0)
dy_dv = h_prime(v0)
grad_3layer = dy_dv * dy_du * du_dx
print(f"\n"EJEMPLO Transmisión de gradientes de tres capas:")
print(f" Capa 3: {dy_dv:.4f} x Capa 2: {dy_du:.4f} x Capa 1: {du_dx:.4f} = {grad_3layer:.4f}")
======================================================= EJEMPLO 手动链式法则 x0 = 1.5, u = g(x0) = 3.2500 dy/du = 3*cos(u) = -2.9838 du/dx = 2*x0 = 3.0000 链式相乘: dy/dx = -8.9514 EJEMPLO sympy 自动求导 = -8.9514 两种方法一致: True EJEMPLO 三层梯度传递: 第3层: 6.5000 x 第2层: -2.9838 x 第1层: 3.0000 = -58.1841
Escenarios de aplicación en IA
| Escenario | Relación con la regla de la cadena |
|---|---|
| Retropropagación | Cada capa de la red neuronal solo calcula su propio gradiente local y lo pasa a la capa anterior |
| PyTorch autograd | Rastrea automáticamente cada operación para construir el grafo computacional y aplica automáticamente la regla de la cadena durante la retropropagación |
| Verificación de gradientes | Después de implementar la retropropagación manualmente, se verifica con gradiente numérico: este es el método 1 vs método 2 de este caso |