Gängige Optimierer -- SGD, Momentum und Adam

Der grundlegende Gradientenabstieg hat in der Praxis mehrere verbesserte Versionen. Dieses Kapitel vergleicht die drei am häufigsten verwendeten Optimierer.


Konzeptanalyse

SGD

Jedes Mal wird zufällig ein Mini-Batch ausgewählt, um den Gradienten zu berechnen

\( \theta = \theta - \eta g \)

Einfach, aber große Schwankungen

Momentum

Sammelt historische Richtungen, wie ein rollender Schneeball

\( v = \beta v + \eta g \)

\( \theta = \theta - v \)

Beschleunigt die Konvergenz, reduziert Schwankungen

Adam

Momentum + adaptive Lernrate

Jeder Parameter hat seine eigene Lernrate

Standardmäßig erste Wahl, funktioniert gut für die meisten Aufgaben

Anwendbare Szenarien für jeden Optimierer

OptimiererAnwendungsfall
SGD + MomentumCV-Aufgaben, ResNet-Training
AdamStandardwahl für Transformer/BERT/GPT
AdamWDe-facto-Standard für das Training großer Modelle

Alltagsbeispiele

SGD = Schaut sich jedes Mal nur einen kleinen Abschnitt des Weges an, um die nächste Richtung zu entscheiden (effizient, aber etwas wackelig).

Momentum = Erinnert sich an die vorherige Richtung, wie ein Schneeball, der bergab beschleunigt.

Adam = Verwendet unterschiedliche Schrittgrößen für verschiedene Richtungen (Parameter), kleine Schritte an steilen Hängen, große Schritte in flachen Bereichen.


Python-Praxisübung

Beispiel

import numpy as np

def loss(w, b):
    return (w-3)**2 + 2*(b+2)**2  # Optimaler Punkt (3, -2)

# SGD
def run_SGD(lr=0.1, steps=30):
    w, b = 0.0, 0.0
    losses = []
    for _ in range(steps):
        w -= lr * 2*(w-3); b -= lr * 4*(b+2)
        losses.append(loss(w, b))
    return losses

# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
    w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
    losses = []
    for _ in range(steps):
        vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
        w -= vw; b -= vb
        losses.append(loss(w, b))
    return losses

print("=== BEISPIEL Optimierer-Konvergenzvergleich ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
    l = fn()
    print(f"{name:10s}: Anfangsverlust={l[0]:.1f}, Endverlust={l[-1]:.4f}")

Ausgabe:

=== EXAMPLE 优化器收敛对比 ===
SGD       : 初始loss=25.0, 最终loss=1.9234
Momentum  : 初始loss=25.0, 最终loss=0.0021

Konvergenzkurvenvergleich


Andere Erweiterungen