Funktionen und Graphen

In diesem Kapitel werden wir die Graphen häufiger Funktionen visuell darstellen; die Form eines Graphen zu verstehen ist wichtiger als Formeln auswendig zu lernen.

Verlustfunktionsflächen und Aktivierungsfunktionen sind im Wesentlichen Varianten dieser Grundformen. Jede Funktion wird mit einem umschaltbaren interaktiven Graphen geliefert; das Umschalten und Ziehen per Hand ist weitaus effektiver, als statische Abbildungen anzusehen.


Warum man speziell lernen sollte, "Graphen zu lesen"

Mathematische Formeln beschreiben "Regeln", während Graphen beschreiben, "wie die Regeln aussehen".

Viele Kernprobleme des Deep Learning sind im Wesentlichen Probleme der "Kurven- oder Flächenform":

Deep-Learning-ProblemZugrunde liegendes Formproblem
Warum manche Verlustfunktionen leichter zu optimieren sindPrüfen Sie, ob ihre Oberfläche "schalenförmig" ist (konvexe Funktion)
Warum Sigmoid langsameres Training verursachtSehen Sie, wie "flach" ihr Graph an beiden Enden ist
Warum ReLU zur Standardwahl wurdeSehen Sie, wie "einfach" ihr Graph ist

Wenn Sie jede Funktion mit Fragen wie "Welche Form ist das? Wie sind die Enden? Wie ist die Mitte?" betrachten, hilft Ihnen das, sie sich besser zu merken, als Formeln stumpf auswendig zu lernen.


Fünf grundlegende Funktionsgraphen

Lineare Funktion: y = kx + b

Ihre Form ist eine Gerade.k ist die Steigung und bestimmt Grad und Richtung der Neigung (k>0 steigt nach rechts an, k<0 fällt nach rechts ab);b ist der Achsenabschnitt und bestimmt den Punkt, an dem die Gerade die y-Achse schneidet.

Sowohl der Definitionsbereich als auch der Wertebereich umfassen alle reellen Zahlen, und die Änderungsrate (Steigung) ist überall gleich; das ist die Bedeutung des Wortes "linear".

Rolle in der KI: die grundlegendste Operation eines NeuronsSie ist genau eine lineare Funktion im hochdimensionalen Raum. Gewichte steuern Richtung und Grad der Neigung, und der Bias steuert die Gesamtverschiebung.

Quadratische Funktion: y = ax² + bx + c

Ihre Form ist eine Parabel.Nach oben geöffnet (schalenförmig), hat einen Minimalwert;Nach unten geöffnet (umgekehrte Schale), hat einen Maximalwert.

Der Scheitelpunkt ist der Extrempunkt der Kurve und kann durch quadratische Ergänzung gefunden werden:Der Graph ist symmetrisch zur vertikalen Geraden durch den Scheitelpunkt.

Rolle in der KI: Die einfachste konvexe Funktion sieht so aus. Der mittlere quadratische Fehler (MSE) approximiert in vielen vereinfachten Szenarien diese "schalenförmige" Oberfläche—der Gradientenabstieg findet leicht den tiefsten Punkt auf einer schalenförmigen Oberfläche, denn egal in welche Richtung Sie absteigen, bewegen Sie sich auf denselben Talboden zu.

Exponentialfunktion: y = aˣ (a>0 und a≠1)

Die Form ist eine Kurve, die mit beschleunigter Geschwindigkeit ansteigt (wenn a>1) oder kontinuierlich abfällt (wenn 0<a<1); sie berührt nie die x-Achse, welche ihre horizontale Asymptote ist.

Der Definitionsbereich ist die Menge aller reellen Zahlen, und der Wertebereich istWenn die Eingabe linear wächst, wächst die Ausgabe "explosiv"—das ist die Kerneigenschaft der Exponentialfunktion.

Rolle in der KI: in Softmax,und der exponentielle Abfall im Momentum-Term des Adam-Optimierers nutzen beide die Eigenschaften des "Verstärkens von Unterschieden" oder des "allmählichen Vergessens".

Logarithmusfunktion: y = logₐx (a>0 und a≠1)

Sie ist genau das "Spiegelbild" der Exponentialfunktion (mit der Geraden y=x als Symmetrieachse). Die Kurve steigt von x=0 aus schnell an, dann wird das Wachstum immer langsamer.

Der Definitionsbereich ist, und der Wertebereich ist die Menge aller reellen Zahlen. Je größer die Eingabe, desto langsamer das Wachstum—genau das Gegenteil der Exponentialfunktion.

Rolle in der KI: In der Kreuzentropie-Verlustfunktion nutzt esgenau die Form des Logarithmus—"extrem steil nahe 0, abflachend nahe 1"—je sicherer das Modell falsch liegt, desto schwerer die Strafe.

Trigonometrische Funktionen: y = sin(x), y = cos(x)

Die Form ist eine Welle, die sich kontinuierlich wiederholt (Periodizität) und immer zwischen -1 und 1 schwingt (Beschränktheit). sin(x) startet am Ursprung und geht nach oben; cos(x) erreicht seinen Maximalwert 1 bei x=0.

Die Periode ist, und der Wertebereich ist。

Rolle in der KI: Transformer-Positionskodierung überlagert direkt sin/cos-Wellenformen unterschiedlicher Frequenzen, um eine eindeutige und doch reguläre "Koordinate" für jede Position in der Sequenz zu erzeugen (in Kapitel 3 ausgeführt).

Interaktive Demo: Galerie von fünf grundlegenden Funktionsgraphen
Klicken Sie auf die Schaltfläche, um Funktionen zu wechseln; die Infokarte unten aktualisiert gleichzeitig Formeigenschaften und KI-Rollen.

Drei wichtige KI-Aktivierungsfunktionen

Aktivierungsfunktionen sind die "Quelle der Nichtlinearität" für jede Schicht eines neuronalen Netzwerks, und ihre Formen bestimmen direkt, wie einfach oder schwierig das Training ist.

sigmoid:σ(x) = 1 / (1 + e⁻ˣ)

Die Form ist eine S-förmige Kurve, die langsam von 0 auf 1 ansteigt, in der Mitte (nahe x=0) am schnellsten steigt und an beiden Enden abflacht.

Der Wertebereich ist ein offenes Intervall, oft als 'Wahrscheinlichkeit' interpretiert.

Der größte Nebeneffekt: Die Steigung an beiden Enden nähert sich 0.Wenn der Absolutwert der Eingabe groß ist (z. B. x=10 oder x=-10), ist die Sigmoid-Kurve nahezu flach und der Gradient nahezu null.

In tiefen Netzwerken, wenn viele Schichten alle Sigmoid verwenden, wird der Gradient während der Backpropagation Schicht für Schicht durch diese "flachen Bereiche" abgeschwächt und kann die früheren Schichten letztlich nicht erreichen—das ist...Das Problem des verschwindenden GradientenDer intuitivste geometrische Ursprung.

ReLU:f(x) = max(0, x)

Die Form ist eine stückweise lineare Linie: Wenn x<0, schmiegt sie sich an die x-Achse (Ausgabe ist immer 0), und wenn x≥0, ist sie eine Gerade mit Steigung 1.

Die Ableitung ist auf der negativen Halbachse immer 0 und auf der positiven Halbachse immer 1. Es gibt keinen Prozess des "allmählichen Abflachens" wie bei Sigmoid, und die Berechnung ist extrem einfach (nur ein Vergleich erforderlich).

Der Gradient auf der positiven Halbachse ist immer 1 und nimmt nicht ab, wenn die Eingabe größer wird, was das Problem des verschwindenden Gradienten stark lindert. Das ist der intuitive Grund, warum ReLU zur Standard-Aktivierungsfunktion wurde.

Es hat auch sein eigenes Problem: Der Gradient auf der negativen Halbachse ist immer 0, was dazu führen kann, dass einige Neuronen "sterben" und nicht mehr aktualisiert werden—dies lässt sich direkt an der Form des Bildes erkennen.

tanh:f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)

Eine S-förmige Kurve, sehr ähnlich zu Sigmoid, aber im Ursprung zentriert, mit einem Wertebereich von...。

Im Vergleich zu Sigmoid ist die Ausgabe von tanh um 0 zentriert. Wenn der Mittelwert der Eingabe der nächsten Schicht nahe 0 liegt, ist das Training tendenziell stabiler—das ist der Grund, warum tanh in bestimmten Szenarien beliebter ist.

Aber es löst nicht das grundlegende Problem des "Abflachens an beiden Enden", was auch der Hintergrund dafür ist, warum ReLU-Familienfunktionen später populär wurden.

Interaktive Demo: Aktivierungsfunktion und ihre Ableitung
Wechsle die Aktivierungsfunktion. Die durchgezogene Linie ist die Funktion selbst, und die gestrichelte Linie ist ihre Ableitung (Steigung). Beachte den Höhepunkt der Ableitungskurve und den Abfall an beiden Enden.
Der Maximalwert der sigmoid-Ableitung beträgt nur 0.25, und bei |x| > 4 ist sie nahezu 0 -- nach der Multiplikation über mehrere Schichten verschwindet der Gradient schnell; dies ist die geometrische Quelle des "verschwindenden Gradienten".

Warum Cross-Entropy -log(p) verwendet

In binären Klassifikationsproblemen ist die Wahrscheinlichkeit, dass das Modell die "richtige Klasse" vorhersagt, ..., ist die Cross-Entropy-Loss。

Intuitiv könnte man denken: Verwende, wäre der Verlust nicht einfacher? Wenn man die beiden Kurven zusammenlegt, ist der Unterschied sofort sichtbar.

Interaktive Demo: Strafvergleich von -log(p) vs. 1-p
Ziehe den Schieberegler, um die vom Modell vorhergesagte Wahrscheinlichkeit p zu ändern, und beobachte den Unterschied der Strafe, die die beiden Verlustfunktionen ausgeben. Wenn p sehr klein ist (das Modell liegt selbstsicher falsch), ist die Strafe von -log(p) viel größer als 1-p.
Blau ist -log(p), grün ist 1-p. Ersteres schießt gegen Unendlich, wenn p → 0, während letzteres höchstens 1 erreicht.

Beispiele

# Von Hand durchrechnen: verschwindende Gradienten und die -log(p)-Strafe
import math

# ---- Teil 1: Die sigmoid-Ableitung nimmt ab, wenn |x| zunimmt ----
def sigmoid(x):
    return 1 / (1 + math.exp(-x))

def sigmoid_grad(x):
    s = sigmoid(x)
    return s * (1 - s)     # Ableitungsformel von sigmoid

print(sigmoid_grad(0))    # Am Höhepunkt: 0.25, bereits der Maximalwert der sigmoid-Ableitung
print(sigmoid_grad(5))    # Wenn |x|=5: weniger als 0.007 bleibt übrig
print(sigmoid_grad(10))   # Wenn |x|=10: etwa 0.0000456, der Gradient verschwindet fast

# ---- Teil 2: Das Wachstum der -log(p)-Strafe ----
for p in [1.0, 0.5, 0.1, 0.01]:
    print(p, -math.log(p))   # Je kleiner p, desto steiler die Strafe; bei p=0.01 hat die Strafe bereits 4.6 erreicht

Das Ausführen des obigen Codes erzeugt die folgende Ausgabe:

0.25
0.006648056670790155
4.5395807735957664e-05
1.0 0.0
0.5 0.6931471805599453
0.1 2.302585092994046
0.01 4.605170185988091

Zwei Zahlen sollte man sich merken: Der Höchstwert der sigmoid-Ableitung beträgt nur0.25; wenn p von 0.5 auf 0.01 fällt,steigt die Strafe von 0.69 auf 4.6.


Drei Szenarien zur Anwendung der "Formintuition"

SzenarioWelche Form suchenKriterium
Beurteilen, ob die Verlustfunktion leicht zu optimieren istOb die Oberfläche nahe an 'schüsselförmig' (konvex) istJe näher an einer Schüsselform, desto leichter findet der Gradientenabstieg das globale Minimum; eine holprige (nicht konvexe) Oberfläche kann in einem lokalen Optimum hängen bleiben
Beurteilen, ob die Aktivierungsfunktion das Training verlangsamtOb sich die beiden Enden des Graphen 'abflachen'Je flacher, desto offensichtlicher das Problem des verschwindenden Gradienten
Beurteilen, ob eine Funktion für die Wahrscheinlichkeitsausgabe geeignet istOb der Wertebereich beschränkt istNur wenn der Wertebereich auf ein Intervall wie (0,1) komprimiert ist, kann er als Wahrscheinlichkeit interpretiert werden; dies ist der direkte Grund, warum sigmoid und softmax gewählt werden

Übung: Beurteile ohne Blick auf Formeln, nur aus der Intuition heraus—zwischen ReLU und sigmoid: Welche eignet sich besser als letzte Schicht des Netzwerks für 'binäre Klassifikations-Wahrscheinlichkeitsausgabe'? Warum?

Klicken Sie, um die Antwort anzuzeigen

sigmoid ist besser geeignet, weil sein Wertebereichist, was natürlich als 'die Wahrscheinlichkeit, zu einer bestimmten Klasse zu gehören' interpretiert werden kann.

Der Wertebereich von ReLU ist, er hat keine obere Grenze, daher kann er nicht direkt als Wahrscheinlichkeit verwendet werden.


Kapitelzusammenfassung

FunktionForm-SchlüsselwörterEntsprechendes KI-Konzept
Lineare FunktionGerade Linie, überall gleiche SteigungGewichtete Summe des Neurons wx+b
Quadratische FunktionSchüsselförmig / umgekehrt schüsselförmigOberfläche der Verlustfunktion (Intuition konvexer Funktionen)
ExponentialfunktionBeschleunigter Anstieg oder Abfallsoftmax, Momentum-Term
Logarithmische FunktionDas Wachstum wird immer langsamer.Cross-Entropy-Verlust
Trigonometrische FunktionenPeriodische WellenPositionskodierung
sigmoidS-förmig, an beiden Enden abgeflacht.Wahrscheinlichkeitsausgabe, die Quelle verschwindender Gradienten.
ReLULinienzug, negative Halbachse kehrt zu null zurück.Standard-Aktivierungsfunktion
tanhS-förmig, um 0 zentriert.Szenarien, die eine "Ausgabe mit Mittelwert null" erfordern.
Weitere Erweiterungen