Gängige Optimierer -- SGD, Momentum und Adam
Der grundlegende Gradientenabstieg hat in der Praxis mehrere verbesserte Versionen. Dieses Kapitel vergleicht die drei am häufigsten verwendeten Optimierer.
Konzeptanalyse
SGD
Jedes Mal wird zufällig ein Mini-Batch ausgewählt, um den Gradienten zu berechnen
\( \theta = \theta - \eta g \)
Einfach, aber große Schwankungen
Momentum
Sammelt historische Richtungen, wie ein rollender Schneeball
\( v = \beta v + \eta g \)
\( \theta = \theta - v \)
Beschleunigt die Konvergenz, reduziert Schwankungen
Adam
Momentum + adaptive Lernrate
Jeder Parameter hat seine eigene Lernrate
Standardmäßig erste Wahl, funktioniert gut für die meisten Aufgaben
Anwendbare Szenarien für jeden Optimierer
| Optimierer | Anwendungsfall |
|---|---|
| SGD + Momentum | CV-Aufgaben, ResNet-Training |
| Adam | Standardwahl für Transformer/BERT/GPT |
| AdamW | De-facto-Standard für das Training großer Modelle |
Alltagsbeispiele
SGD = Schaut sich jedes Mal nur einen kleinen Abschnitt des Weges an, um die nächste Richtung zu entscheiden (effizient, aber etwas wackelig).
Momentum = Erinnert sich an die vorherige Richtung, wie ein Schneeball, der bergab beschleunigt.
Adam = Verwendet unterschiedliche Schrittgrößen für verschiedene Richtungen (Parameter), kleine Schritte an steilen Hängen, große Schritte in flachen Bereichen.
Python-Praxisübung
Beispiel
def loss(w, b):
return (w-3)**2 + 2*(b+2)**2 # Optimaler Punkt (3, -2)
# SGD
def run_SGD(lr=0.1, steps=30):
w, b = 0.0, 0.0
losses = []
for _ in range(steps):
w -= lr * 2*(w-3); b -= lr * 4*(b+2)
losses.append(loss(w, b))
return losses
# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
losses = []
for _ in range(steps):
vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
w -= vw; b -= vb
losses.append(loss(w, b))
return losses
print("=== BEISPIEL Optimierer-Konvergenzvergleich ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
l = fn()
print(f"{name:10s}: Anfangsverlust={l[0]:.1f}, Endverlust={l[-1]:.4f}")
Ausgabe:
=== EXAMPLE 优化器收敛对比 === SGD : 初始loss=25.0, 最终loss=1.9234 Momentum : 初始loss=25.0, 最终loss=0.0021
Konvergenzkurvenvergleich
Andere Erweiterungen