Visualisiere die Auswirkung unterschiedlicher Lernraten.
Führen Sie für dieselbe Funktion den Gradientenabstieg mit zu kleiner, geeigneter und zu großer Lernrate aus und sehen Sie direkt den Vergleich dreier typischer Kurven.
Nach Abschluss dieser Fallstudie werden Sie verstehen:Die Lernrate ist der wichtigste Hyperparameter beim Gradientenabstieg – ist sie zu klein eingestellt, geht es zu langsam; ist sie zu groß, divergiert es.
Einführung in den Alltag
Nach Hause fahren – wie stark sollten Sie aufs Gaspedal treten?
10 Kilometer von zu Hause entfernt. Zu leicht aufs Gaspedal treten (Lernrate zu klein) – eine Stunde fahren und immer noch nicht angekommen. Zu stark aufs Gaspedal treten (Lernrate zu groß) – übers Ziel hinausschießen, wenden und wieder Gas geben, erneut hinausschießen, hin- und herschwingen. Genau die richtige Dosierung (geeignete Lernrate) – kommen Sie sanft an.
Die Wahl der Lernrate beim Gradientenabstieg und die Gaspedalsteuerung beim Fahren stehen vor genau demselben Problem.
Intuitives Verständnis.
Die Zielfunktion \(f(x) = x^2\), mit Minimum bei \(x=0\). Der Gradient ist \(f'(x) = 2x\).
Aktualisierungsregel: \(x_{t+1} = x_t - \eta \cdot 2x_t = x_t \cdot (1 - 2\eta)\). Wenn \(\eta < 0.5\), konvergiert es; wenn \(\eta > 1.0\), divergiert es.
Praktische Python-Übung
example
def f(x): return x ** 2
def grad(x): return 2 * x
def run_gd(lr, steps=30, x0=8.0):
x = x0
history = [x]
for _ in range(steps):
x = x - lr * grad(x)
history.append(x)
if abs(x) > 1e6: break
return history
settings = {
Zu klein (lr=0.01): 0.01,
Geeignet (lr=0.2): 0.2,
Zu groß (lr=1.05): 1.05,
}
results = {name: run_gd(lr) for name, lr in settings.items()}
print(BEISPIEL Vergleich von drei Lernraten nach 30 Schritten:\n")
print(f{'Lernraten-Einstellung':<20} {'End-x':<12} {'f(x)':<14} {'Beurteilung'})
print("-" * 56)
for name, hist in results.items():
x_final = hist[-1]
judgement = (Konvergiert if abs(x_final) < 0.01
else Konvergiert noch if abs(x_final) < 3
else Divergenz)
print(f"{name:<20} {x_final:<12.4f} {f(x_final):<14.6f} {judgement}")
# Analyse: Wie viele Schritte sind nötig, damit |x| < 0.01?
print("\nWie viele Schritte braucht BEISPIEL, um auf |x| < 0.01 zu konvergieren?)
for name, lr in settings.items():
x = 8.0
for step in range(1, 1001):
x = x - lr * grad(x)
if abs(x) < 0.01:
print(f{name}: benötigt {step} Schritte)
break
else:
print(f{name}: Keine Konvergenz innerhalb von 1000 Schritten)
EXAMPLE 三种学习率 30 步后对比: 学习率设置 最终 x f(x) 判断 -------------------------------------------------------- 过小 (lr=0.01) 4.3219 18.678861 收敛中 合适 (lr=0.2) 0.0000 0.000000 已收敛 过大 (lr=1.05) -34.5929 1196.668701 发散 EXAMPLE 需要多少步收敛到 |x| < 0.01? 过小 (lr=0.01): 需要 377 步 合适 (lr=0.2): 需要 20 步 过大 (lr=1.05): 1000 步内无法收敛
Anwendungsszenarien in der KI
| Szene | Erklärung |
|---|---|
| Lernraten-Planung | Im tatsächlichen Training wird häufig "Lernratenabfall" verwendet – anfangs groß, dann klein, mit schneller Konvergenz in der frühen Phase und Feinjustierung in der späteren Phase. |
| Aufwärmphase | Beim Training eines Transformers wird zunächst mit einer sehr kleinen Lernrate aufgewärmt und diese dann schrittweise erhöht – um anfängliche Schwingungen zu vermeiden. |
| Adam adaptiv | Passt die Lernrate für jeden Parameter automatisch an – der Fall "Optimizer-Vergleich" zeigt dies im Detail. |