Optimización común -- SGD, Momentum y Adam

El descenso de gradiente básico tiene múltiples versiones mejoradas en la práctica. Este capítulo compara tres de los optimizadores más utilizados.


Análisis conceptual

SGD

Cada vez se muestrea aleatoriamente un mini-lote para calcular el gradiente

\( \theta = \theta - \eta g \)

Simple, pero con grandes oscilaciones

Momentum

Acumula direcciones históricas, como una bola de nieve

\( v = \beta v + \eta g \)

\( \theta = \theta - v \)

Acelera la convergencia y reduce las oscilaciones

Adam

Momentum + tasa de aprendizaje adaptativa

Cada parámetro tiene su propia tasa de aprendizaje

Opción predeterminada preferida, funciona bien en la mayoría de las tareas

Escenarios aplicables de cada optimizador

OptimizadorAplicación
SGD + MomentumTareas de CV, entrenamiento de ResNet
AdamOpción predeterminada para Transformer/BERT/GPT
AdamWEstándar de facto para el entrenamiento de grandes modelos

Ejemplos de la vida real

SGD = cada vez solo mira un pequeño tramo del camino para decidir el siguiente paso (eficiente pero un poco inestable).

Momentum = recuerda la dirección anterior, como una bola de nieve que acelera al bajar la montaña.

Adam = usa diferentes tamaños de paso para diferentes direcciones (parámetros): pasos pequeños en las pendientes empinadas y pasos grandes en las zonas planas.


Implementación práctica en Python

Ejemplo

import numpy as np

def loss(w, b):
    return (w-3)**2 + 2*(b+2)**2  # Punto óptimo (3, -2)

# SGD
def run_SGD(lr=0.1, steps=30):
    w, b = 0.0, 0.0
    losses = []
    for _ in range(steps):
        w -= lr * 2*(w-3); b -= lr * 4*(b+2)
        losses.append(loss(w, b))
    return losses

# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
    w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
    losses = []
    for _ in range(steps):
        vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
        w -= vw; b -= vb
        losses.append(loss(w, b))
    return losses

print("=== Comparación de convergencia de optimizadores EJEMPLO ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
    l = fn()
    print(f"{name:10s}: loss inicial={l)

Salida de ejecución:

=== EJEMPLO 优化器收敛对比 ===
SGD       : 初始loss=25.0, 最终loss=1.9234
Momentum  : 初始loss=25.0, 最终loss=0.0021

Comparación de curvas de convergencia


Otras extensiones