Optimización común -- SGD, Momentum y Adam
El descenso de gradiente básico tiene múltiples versiones mejoradas en la práctica. Este capítulo compara tres de los optimizadores más utilizados.
Análisis conceptual
SGD
Cada vez se muestrea aleatoriamente un mini-lote para calcular el gradiente
\( \theta = \theta - \eta g \)
Simple, pero con grandes oscilaciones
Momentum
Acumula direcciones históricas, como una bola de nieve
\( v = \beta v + \eta g \)
\( \theta = \theta - v \)
Acelera la convergencia y reduce las oscilaciones
Adam
Momentum + tasa de aprendizaje adaptativa
Cada parámetro tiene su propia tasa de aprendizaje
Opción predeterminada preferida, funciona bien en la mayoría de las tareas
Escenarios aplicables de cada optimizador
| Optimizador | Aplicación |
|---|---|
| SGD + Momentum | Tareas de CV, entrenamiento de ResNet |
| Adam | Opción predeterminada para Transformer/BERT/GPT |
| AdamW | Estándar de facto para el entrenamiento de grandes modelos |
Ejemplos de la vida real
SGD = cada vez solo mira un pequeño tramo del camino para decidir el siguiente paso (eficiente pero un poco inestable).
Momentum = recuerda la dirección anterior, como una bola de nieve que acelera al bajar la montaña.
Adam = usa diferentes tamaños de paso para diferentes direcciones (parámetros): pasos pequeños en las pendientes empinadas y pasos grandes en las zonas planas.
Implementación práctica en Python
Ejemplo
def loss(w, b):
return (w-3)**2 + 2*(b+2)**2 # Punto óptimo (3, -2)
# SGD
def run_SGD(lr=0.1, steps=30):
w, b = 0.0, 0.0
losses = []
for _ in range(steps):
w -= lr * 2*(w-3); b -= lr * 4*(b+2)
losses.append(loss(w, b))
return losses
# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
losses = []
for _ in range(steps):
vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
w -= vw; b -= vb
losses.append(loss(w, b))
return losses
print("=== Comparación de convergencia de optimizadores EJEMPLO ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
l = fn()
print(f"{name:10s}: loss inicial={l)
Salida de ejecución:
=== EJEMPLO 优化器收敛对比 === SGD : 初始loss=25.0, 最终loss=1.9234 Momentum : 初始loss=25.0, 最终loss=0.0021
Comparación de curvas de convergencia
Otras extensiones