Visualisiere die Auswirkung unterschiedlicher Lernraten.

Führen Sie für dieselbe Funktion den Gradientenabstieg mit zu kleiner, geeigneter und zu großer Lernrate aus und sehen Sie direkt den Vergleich dreier typischer Kurven.

Nach Abschluss dieser Fallstudie werden Sie verstehen:Die Lernrate ist der wichtigste Hyperparameter beim Gradientenabstieg – ist sie zu klein eingestellt, geht es zu langsam; ist sie zu groß, divergiert es.


Einführung in den Alltag

Nach Hause fahren – wie stark sollten Sie aufs Gaspedal treten?

10 Kilometer von zu Hause entfernt. Zu leicht aufs Gaspedal treten (Lernrate zu klein) – eine Stunde fahren und immer noch nicht angekommen. Zu stark aufs Gaspedal treten (Lernrate zu groß) – übers Ziel hinausschießen, wenden und wieder Gas geben, erneut hinausschießen, hin- und herschwingen. Genau die richtige Dosierung (geeignete Lernrate) – kommen Sie sanft an.

Die Wahl der Lernrate beim Gradientenabstieg und die Gaspedalsteuerung beim Fahren stehen vor genau demselben Problem.


Intuitives Verständnis.

Die Zielfunktion \(f(x) = x^2\), mit Minimum bei \(x=0\). Der Gradient ist \(f'(x) = 2x\).

Aktualisierungsregel: \(x_{t+1} = x_t - \eta \cdot 2x_t = x_t \cdot (1 - 2\eta)\). Wenn \(\eta < 0.5\), konvergiert es; wenn \(\eta > 1.0\), divergiert es.

lr=0.01 ist zu klein Die Konvergenz ist extrem langsam; nach 30 Schritten hat es sich nur ein kleines Stück bewegt.
Geeignet lr=0.2 Schnelle und stabile Konvergenz gegen 0.
Lernrate zu groß, lr=1.05 Oszillierend und divergierend, entfernt sich immer weiter.

Praktische Python-Übung

example

import numpy as np

def f(x): return x ** 2
def grad(x): return 2 * x

def run_gd(lr, steps=30, x0=8.0):
    x = x0
    history = [x]
    for _ in range(steps):
        x = x - lr * grad(x)
        history.append(x)
        if abs(x) > 1e6: break
    return history

settings = {
    Zu klein (lr=0.01): 0.01,
    Geeignet (lr=0.2):  0.2,
    Zu groß (lr=1.05): 1.05,
}
results = {name: run_gd(lr) for name, lr in settings.items()}

print(BEISPIEL Vergleich von drei Lernraten nach 30 Schritten:\n")
print(f{'Lernraten-Einstellung':<20} {'End-x':<12} {'f(x)':<14} {'Beurteilung'})
print("-" * 56)
for name, hist in results.items():
    x_final = hist[-1]
    judgement = (Konvergiert if abs(x_final) < 0.01
                 else Konvergiert noch if abs(x_final) < 3
                 else Divergenz)
    print(f"{name:<20} {x_final:<12.4f} {f(x_final):<14.6f} {judgement}")

# Analyse: Wie viele Schritte sind nötig, damit |x| < 0.01?
print("\nWie viele Schritte braucht BEISPIEL, um auf |x| < 0.01 zu konvergieren?)
for name, lr in settings.items():
    x = 8.0
    for step in range(1, 1001):
        x = x - lr * grad(x)
        if abs(x) < 0.01:
            print(f{name}: benötigt {step} Schritte)
            break
    else:
        print(f{name}: Keine Konvergenz innerhalb von 1000 Schritten)
EXAMPLE 三种学习率 30 步后对比:

学习率设置             最终 x        f(x)           判断
--------------------------------------------------------
过小 (lr=0.01)        4.3219       18.678861      收敛中
合适 (lr=0.2)         0.0000       0.000000       已收敛
过大 (lr=1.05)        -34.5929     1196.668701    发散

EXAMPLE 需要多少步收敛到 |x| < 0.01?
  过小 (lr=0.01): 需要 377 步
  合适 (lr=0.2):  需要 20 步
  过大 (lr=1.05): 1000 步内无法收敛

Anwendungsszenarien in der KI

SzeneErklärung
Lernraten-PlanungIm tatsächlichen Training wird häufig "Lernratenabfall" verwendet – anfangs groß, dann klein, mit schneller Konvergenz in der frühen Phase und Feinjustierung in der späteren Phase.
AufwärmphaseBeim Training eines Transformers wird zunächst mit einer sehr kleinen Lernrate aufgewärmt und diese dann schrittweise erhöht – um anfängliche Schwingungen zu vermeiden.
Adam adaptivPasst die Lernrate für jeden Parameter automatisch an – der Fall "Optimizer-Vergleich" zeigt dies im Detail.
Weitere Erweiterungen