Funktionen und Graphen
In diesem Kapitel werden wir die Graphen häufiger Funktionen visuell darstellen; die Form eines Graphen zu verstehen ist wichtiger als Formeln auswendig zu lernen.
Verlustfunktionsflächen und Aktivierungsfunktionen sind im Wesentlichen Varianten dieser Grundformen. Jede Funktion wird mit einem umschaltbaren interaktiven Graphen geliefert; das Umschalten und Ziehen per Hand ist weitaus effektiver, als statische Abbildungen anzusehen.
Warum man speziell lernen sollte, "Graphen zu lesen"
Mathematische Formeln beschreiben "Regeln", während Graphen beschreiben, "wie die Regeln aussehen".
Viele Kernprobleme des Deep Learning sind im Wesentlichen Probleme der "Kurven- oder Flächenform":
| Deep-Learning-Problem | Zugrunde liegendes Formproblem |
|---|---|
| Warum manche Verlustfunktionen leichter zu optimieren sind | Prüfen Sie, ob ihre Oberfläche "schalenförmig" ist (konvexe Funktion) |
| Warum Sigmoid langsameres Training verursacht | Sehen Sie, wie "flach" ihr Graph an beiden Enden ist |
| Warum ReLU zur Standardwahl wurde | Sehen Sie, wie "einfach" ihr Graph ist |
Wenn Sie jede Funktion mit Fragen wie "Welche Form ist das? Wie sind die Enden? Wie ist die Mitte?" betrachten, hilft Ihnen das, sie sich besser zu merken, als Formeln stumpf auswendig zu lernen.
Fünf grundlegende Funktionsgraphen
Lineare Funktion: y = kx + b
Ihre Form ist eine Gerade.k ist die Steigung und bestimmt Grad und Richtung der Neigung (k>0 steigt nach rechts an, k<0 fällt nach rechts ab);b ist der Achsenabschnitt und bestimmt den Punkt, an dem die Gerade die y-Achse schneidet.
Sowohl der Definitionsbereich als auch der Wertebereich umfassen alle reellen Zahlen, und die Änderungsrate (Steigung) ist überall gleich; das ist die Bedeutung des Wortes "linear".
Rolle in der KI: die grundlegendste Operation eines NeuronsSie ist genau eine lineare Funktion im hochdimensionalen Raum. Gewichte steuern Richtung und Grad der Neigung, und der Bias steuert die Gesamtverschiebung.
Quadratische Funktion: y = ax² + bx + c
Ihre Form ist eine Parabel.Nach oben geöffnet (schalenförmig), hat einen Minimalwert;Nach unten geöffnet (umgekehrte Schale), hat einen Maximalwert.
Der Scheitelpunkt ist der Extrempunkt der Kurve und kann durch quadratische Ergänzung gefunden werden:Der Graph ist symmetrisch zur vertikalen Geraden durch den Scheitelpunkt.
Rolle in der KI: Die einfachste konvexe Funktion sieht so aus. Der mittlere quadratische Fehler (MSE) approximiert in vielen vereinfachten Szenarien diese "schalenförmige" Oberfläche—der Gradientenabstieg findet leicht den tiefsten Punkt auf einer schalenförmigen Oberfläche, denn egal in welche Richtung Sie absteigen, bewegen Sie sich auf denselben Talboden zu.
Exponentialfunktion: y = aˣ (a>0 und a≠1)
Die Form ist eine Kurve, die mit beschleunigter Geschwindigkeit ansteigt (wenn a>1) oder kontinuierlich abfällt (wenn 0<a<1); sie berührt nie die x-Achse, welche ihre horizontale Asymptote ist.
Der Definitionsbereich ist die Menge aller reellen Zahlen, und der Wertebereich istWenn die Eingabe linear wächst, wächst die Ausgabe "explosiv"—das ist die Kerneigenschaft der Exponentialfunktion.
Rolle in der KI: in Softmax,und der exponentielle Abfall im Momentum-Term des Adam-Optimierers nutzen beide die Eigenschaften des "Verstärkens von Unterschieden" oder des "allmählichen Vergessens".
Logarithmusfunktion: y = logₐx (a>0 und a≠1)
Sie ist genau das "Spiegelbild" der Exponentialfunktion (mit der Geraden y=x als Symmetrieachse). Die Kurve steigt von x=0 aus schnell an, dann wird das Wachstum immer langsamer.
Der Definitionsbereich ist, und der Wertebereich ist die Menge aller reellen Zahlen. Je größer die Eingabe, desto langsamer das Wachstum—genau das Gegenteil der Exponentialfunktion.
Rolle in der KI: In der Kreuzentropie-Verlustfunktion nutzt esgenau die Form des Logarithmus—"extrem steil nahe 0, abflachend nahe 1"—je sicherer das Modell falsch liegt, desto schwerer die Strafe.
Trigonometrische Funktionen: y = sin(x), y = cos(x)
Die Form ist eine Welle, die sich kontinuierlich wiederholt (Periodizität) und immer zwischen -1 und 1 schwingt (Beschränktheit). sin(x) startet am Ursprung und geht nach oben; cos(x) erreicht seinen Maximalwert 1 bei x=0.
Die Periode ist, und der Wertebereich ist。
Rolle in der KI: Transformer-Positionskodierung überlagert direkt sin/cos-Wellenformen unterschiedlicher Frequenzen, um eine eindeutige und doch reguläre "Koordinate" für jede Position in der Sequenz zu erzeugen (in Kapitel 3 ausgeführt).
Drei wichtige KI-Aktivierungsfunktionen
Aktivierungsfunktionen sind die "Quelle der Nichtlinearität" für jede Schicht eines neuronalen Netzwerks, und ihre Formen bestimmen direkt, wie einfach oder schwierig das Training ist.
sigmoid:σ(x) = 1 / (1 + e⁻ˣ)
Die Form ist eine S-förmige Kurve, die langsam von 0 auf 1 ansteigt, in der Mitte (nahe x=0) am schnellsten steigt und an beiden Enden abflacht.
Der Wertebereich ist ein offenes Intervall, oft als 'Wahrscheinlichkeit' interpretiert.
Der größte Nebeneffekt: Die Steigung an beiden Enden nähert sich 0.Wenn der Absolutwert der Eingabe groß ist (z. B. x=10 oder x=-10), ist die Sigmoid-Kurve nahezu flach und der Gradient nahezu null.
In tiefen Netzwerken, wenn viele Schichten alle Sigmoid verwenden, wird der Gradient während der Backpropagation Schicht für Schicht durch diese "flachen Bereiche" abgeschwächt und kann die früheren Schichten letztlich nicht erreichen—das ist...Das Problem des verschwindenden GradientenDer intuitivste geometrische Ursprung.
ReLU:f(x) = max(0, x)
Die Form ist eine stückweise lineare Linie: Wenn x<0, schmiegt sie sich an die x-Achse (Ausgabe ist immer 0), und wenn x≥0, ist sie eine Gerade mit Steigung 1.
Die Ableitung ist auf der negativen Halbachse immer 0 und auf der positiven Halbachse immer 1. Es gibt keinen Prozess des "allmählichen Abflachens" wie bei Sigmoid, und die Berechnung ist extrem einfach (nur ein Vergleich erforderlich).
Der Gradient auf der positiven Halbachse ist immer 1 und nimmt nicht ab, wenn die Eingabe größer wird, was das Problem des verschwindenden Gradienten stark lindert. Das ist der intuitive Grund, warum ReLU zur Standard-Aktivierungsfunktion wurde.
Es hat auch sein eigenes Problem: Der Gradient auf der negativen Halbachse ist immer 0, was dazu führen kann, dass einige Neuronen "sterben" und nicht mehr aktualisiert werden—dies lässt sich direkt an der Form des Bildes erkennen.
tanh:f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)
Eine S-förmige Kurve, sehr ähnlich zu Sigmoid, aber im Ursprung zentriert, mit einem Wertebereich von...。
Im Vergleich zu Sigmoid ist die Ausgabe von tanh um 0 zentriert. Wenn der Mittelwert der Eingabe der nächsten Schicht nahe 0 liegt, ist das Training tendenziell stabiler—das ist der Grund, warum tanh in bestimmten Szenarien beliebter ist.
Aber es löst nicht das grundlegende Problem des "Abflachens an beiden Enden", was auch der Hintergrund dafür ist, warum ReLU-Familienfunktionen später populär wurden.
Warum Cross-Entropy -log(p) verwendet
In binären Klassifikationsproblemen ist die Wahrscheinlichkeit, dass das Modell die "richtige Klasse" vorhersagt, ..., ist die Cross-Entropy-Loss。
Intuitiv könnte man denken: Verwende, wäre der Verlust nicht einfacher? Wenn man die beiden Kurven zusammenlegt, ist der Unterschied sofort sichtbar.
Beispiele
import math
# ---- Teil 1: Die sigmoid-Ableitung nimmt ab, wenn |x| zunimmt ----
def sigmoid(x):
return 1 / (1 + math.exp(-x))
def sigmoid_grad(x):
s = sigmoid(x)
return s * (1 - s) # Ableitungsformel von sigmoid
print(sigmoid_grad(0)) # Am Höhepunkt: 0.25, bereits der Maximalwert der sigmoid-Ableitung
print(sigmoid_grad(5)) # Wenn |x|=5: weniger als 0.007 bleibt übrig
print(sigmoid_grad(10)) # Wenn |x|=10: etwa 0.0000456, der Gradient verschwindet fast
# ---- Teil 2: Das Wachstum der -log(p)-Strafe ----
for p in [1.0, 0.5, 0.1, 0.01]:
print(p, -math.log(p)) # Je kleiner p, desto steiler die Strafe; bei p=0.01 hat die Strafe bereits 4.6 erreicht
Das Ausführen des obigen Codes erzeugt die folgende Ausgabe:
0.25 0.006648056670790155 4.5395807735957664e-05 1.0 0.0 0.5 0.6931471805599453 0.1 2.302585092994046 0.01 4.605170185988091
Zwei Zahlen sollte man sich merken: Der Höchstwert der sigmoid-Ableitung beträgt nur0.25; wenn p von 0.5 auf 0.01 fällt,steigt die Strafe von 0.69 auf 4.6.
Drei Szenarien zur Anwendung der "Formintuition"
| Szenario | Welche Form suchen | Kriterium |
|---|---|---|
| Beurteilen, ob die Verlustfunktion leicht zu optimieren ist | Ob die Oberfläche nahe an 'schüsselförmig' (konvex) ist | Je näher an einer Schüsselform, desto leichter findet der Gradientenabstieg das globale Minimum; eine holprige (nicht konvexe) Oberfläche kann in einem lokalen Optimum hängen bleiben |
| Beurteilen, ob die Aktivierungsfunktion das Training verlangsamt | Ob sich die beiden Enden des Graphen 'abflachen' | Je flacher, desto offensichtlicher das Problem des verschwindenden Gradienten |
| Beurteilen, ob eine Funktion für die Wahrscheinlichkeitsausgabe geeignet ist | Ob der Wertebereich beschränkt ist | Nur wenn der Wertebereich auf ein Intervall wie (0,1) komprimiert ist, kann er als Wahrscheinlichkeit interpretiert werden; dies ist der direkte Grund, warum sigmoid und softmax gewählt werden |
Übung: Beurteile ohne Blick auf Formeln, nur aus der Intuition heraus—zwischen ReLU und sigmoid: Welche eignet sich besser als letzte Schicht des Netzwerks für 'binäre Klassifikations-Wahrscheinlichkeitsausgabe'? Warum?
Klicken Sie, um die Antwort anzuzeigen
sigmoid ist besser geeignet, weil sein Wertebereichist, was natürlich als 'die Wahrscheinlichkeit, zu einer bestimmten Klasse zu gehören' interpretiert werden kann.
Der Wertebereich von ReLU ist, er hat keine obere Grenze, daher kann er nicht direkt als Wahrscheinlichkeit verwendet werden.
Kapitelzusammenfassung
| Funktion | Form-Schlüsselwörter | Entsprechendes KI-Konzept |
|---|---|---|
| Lineare Funktion | Gerade Linie, überall gleiche Steigung | Gewichtete Summe des Neurons wx+b |
| Quadratische Funktion | Schüsselförmig / umgekehrt schüsselförmig | Oberfläche der Verlustfunktion (Intuition konvexer Funktionen) |
| Exponentialfunktion | Beschleunigter Anstieg oder Abfall | softmax, Momentum-Term |
| Logarithmische Funktion | Das Wachstum wird immer langsamer. | Cross-Entropy-Verlust |
| Trigonometrische Funktionen | Periodische Wellen | Positionskodierung |
| sigmoid | S-förmig, an beiden Enden abgeflacht. | Wahrscheinlichkeitsausgabe, die Quelle verschwindender Gradienten. |
| ReLU | Linienzug, negative Halbachse kehrt zu null zurück. | Standard-Aktivierungsfunktion |
| tanh | S-förmig, um 0 zentriert. | Szenarien, die eine "Ausgabe mit Mittelwert null" erfordern. |