Funktionen und Grenzwerte -- Die Startlinie der Analysis
Die Analysis ist die mathematische Maschine des KI-Trainingsprozesses. Bevor man Ableitungen lernt, sollte man zunächst das Konzept von Funktionen wiederholen und dann "Grenzwerte" verstehen — die Kernidee der Analysis.
Was ist ein Grenzwert?
Ein Grenzwert beschreibt, "welchem Wert sich f(x) nähert, wenn x sich einem bestimmten Punkt unendlich weit nähert, ohne ihn zu erreichen."
Zum Beispiel: \( f(x) = \frac{x^2-1}{x-1} \) ist bei x=1 nicht definiert. Aber wenn x sich 1 nähert, nähert sich f(x) 2.
Linksseitiger Grenzwert
x → 1⁻ (Annäherung von links)
f(0.999) → 2
Grenzwert
Links- und rechtsseitiger Grenzwert sind gleich → der Grenzwert existiert
\( \lim_{x\to 1} f(x) = 2 \)
Rechtsseitiger Grenzwert
x → 1⁺ (Annäherung von rechts)
f(1.001) → 2
Stetig = keine Unterbrechungen
f(x) ist stetig an der Stelle a: \( \lim_{x\to a} f(x) = f(a) \)— Der Grenzwert an dieser Stelle ist gleich dem Funktionswert an dieser Stelle.
Die meisten Verlustfunktionen (MSE, Kreuzentropie) sind stetig und differenzierbar — dies ist die Voraussetzung für die Optimierung mit Gradientenabstieg.
Beispiele aus dem Alltag
Momentangeschwindigkeit
Sie möchten die Geschwindigkeit im exakten Moment der 3. Sekunde wissen. Aber das Zeitintervall eines "Augenblicks" ist 0, und die Verschiebung ist ebenfalls 0, also ist 0/0 bedeutungslos.
Die Lösung der Analysis: Man nimmt immer kürzere Zeitintervalle und schaut, welchem Wert sich die Durchschnittsgeschwindigkeit nähert. Der angenäherte Wert ist die Momentangeschwindigkeit — also die Ableitung.
Mathematische Definition
\[ \lim_{x \to a} f(x) = L \]Grenzwert-Rechenregeln: Der Grenzwert einer Summe, Differenz, eines Produkts oder Quotienten = die Summe, Differenz, das Produkt oder der Quotient der Grenzwerte (sofern der Grenzwert des Nenners nicht 0 ist).
Praktische Übung mit Python
Beispiel
def f(x):
return (x**2 - 1) / (x - 1)
print("=== lim_{x->1} (x^2-1)/(x-1) = 2 ===")
# Annäherung von links und rechts
for delta in [0.1, 0.01, 0.001, 0.0001]:
print(f"x = {1-delta:.4f}, f(x) = {f(1-delta):.6f}")
print(f"x = {1+delta:.4f}, f(x) = {f(1+delta):.6f}")
print("→ Egal von welcher Seite man sich nähert, f(x) nähert sich 2")
=== lim_{x->1} (x^2-1)/(x-1) = 2 ===
x = 0.9000, f(x) = 1.900000
x = 1.1000, f(x) = 2.100000
x = 0.9900, f(x) = 1.990000
x = 1.0100, f(x) = 2.010000
→ 无论从哪边逼近,f(x)都趋近于 2
Anwendungsszenarien in der KI
Die Definition eines Gradienten hängt von Grenzwerten ab
Die Definition der Ableitung selbst ist ein Grenzwert: \( f'(x) = \lim_{h \to 0} \frac{f(x+h)-f(x)}{h} \). Obwohl die Gradientenberechnung beim Backpropagation analytische Differentiation statt numerischer Grenzwerte verwendet, ist die Idee der Grenzwerte entscheidend für das Verständnis, dass "die Lernrate nicht zu groß sein darf" — eine zu große Lernrate entspricht einer Approximation der Ableitung mit einem zu großen Wert von \(h\).
Stetigkeitsanforderungen von Verlustfunktionen
Der Gradientenabstieg erfordert, dass die Verlustfunktion fast überall differenzierbar ist. MSE und Kreuzentropie sind beide glatt und stetig — dies ist die Voraussetzung dafür, dass sie zu Standard-Verlustfunktionen geworden sind. Hinge Loss (in SVM verwendet) ist am Knickpunkt nicht differenzierbar und muss durch einen Subgradienten ersetzt werden.
Wahl der Aktivierungsfunktionen
ReLU ist bei x=0 nicht differenzierbar (die links- und rechtsseitigen Ableitungen sind ungleich), aber in der Praxis wird stattdessen der Subgradient 0 verwendet, und das Modell kann trotzdem normal trainieren. LeakyReLU und GELU sind überall differenzierbar, und ihr Gradientenfluss ist glatter.
Weitere Erweiterungen