Einführung in Optimierungsprobleme -- Zielfunktionen, Variablen und Nebenbedingungen
Optimierung bedeutet, die Parameter zu finden, die die Zielfunktion minimieren.KI-Training = Optimierung der Verlustfunktion.
Konzeptanalyse
Drei Elemente von Optimierungsproblemen
| Element | Bedeutung | Entsprechung im KI-Training |
|---|---|---|
| Zielfunktion | Zu minimierende Funktion | Verlustfunktion J(θ) |
| Entscheidungsvariablen | Größen, die angepasst werden können | Modellparameter θ |
| Einschränkungen | Restriktionen für Variablen | Normalerweise ohne Nebenbedingungen |
Konvexe vs. nicht-konvexe Funktionen
Konvexe Funktion
Schüsselförmig; die Strecke zwischen zwei beliebigen Punkten liegt über der Kurve
Lokales Optimum = globales Optimum
Z. B. MSE-Verlust bei linearer Regression
Nicht-konvexe Funktion
Hat mehrere Täler und Gipfel
Kann nur lokale Optima finden
Z. B. Verlust tiefer neuronaler Netze
Die Verlustfunktion tiefer neuronaler Netze ist stark nicht-konvex – aber in der Praxis sind die durch Gradientenabstieg gefundenen lokalen Optima normalerweise gut genug.
Alltagsbeispiele
Auswahl der kürzesten Route
Es gibt drei Wege von zu Hause zur Schule: 5 Minuten, 8 Minuten, 12 Minuten.
Entscheidungsvariable = welche Route gewählt wird, Zielfunktion = benötigte Zeit, Ziel = Zeit minimieren.
Das ist einfach – probieren Sie einfach alle drei Routen aus. Aber KI-Modelle haben Millionen von Parametern, wodurch es unmöglich ist, alle Kombinationen aufzuzählen.
Deshalb ist Gradientenabstieg nötig – Schritt für Schritt zur optimalen Lösung entlang der durch den Gradienten angegebenen Richtung.
Python-Praxisübung
Beispiel
# Konvexe Funktion f(x) = x^2, globales Optimum bei x=0
# Nicht-konvexe Funktion f(x) = sin(x) + 0.1*x^2, mit mehreren lokalen Optima
def f_convex(x): return x**2
def f_nonconvex(x): return np.sin(x) + 0.1*x**2
# Gradientenabstieg von verschiedenen Startpunkten aus durchführen (ausführlich im nächsten Kapitel), nicht-konvex kann zu verschiedenen lokalen Optima konvergieren
print(Eine nicht-konvexe Funktion kann von unterschiedlichen Startpunkten aus unterschiedliche lokale Optima erreichen)
print(Dies ist etwas, worauf man beim Tuning von Deep-Learning-Hyperparametern achten sollte)
Ausgabe:
Non-convex functions may reach different local optima from different starting points. This is something to note when tuning deep learning hyperparameters.
3D-Vergleich von konvexen vs. nicht-konvexen Funktionen
Das linke Bild unten ist eine konvexe Funktion f(x,y)=x²+y² (Schüsselform, eindeutiges globales Optimum), das rechte Bild ist eine nicht-konvexe Funktion (mehrere lokale Optima).
Durch Drehen des Blickwinkels erhält man ein intuitives Gefühl für den Unterschied zwischen "konvex = einzelnes Tal" und "nicht-konvex = mehrere Täler":
Anwendungsszenarien in der KI
Der gesamte Trainingsprozess = großskalige Optimierung
Das Training eines Modells auf GPT-Niveau bedeutet, den optimalen Punkt in einem Raum von Hunderten Billionen Dimensionen zu finden. Die Verlustfunktion J(θ) ist eine Hyperfläche in diesem Raum, und der Gradientenabstieg bewegt sich allmählich entlang dieser Fläche nach unten. Das gesamte Training kann mehrere Wochen dauern und Millionen von Dollar an Rechenleistung verbrauchen – nur um eine Reihe von Parametern zu finden, die den Verlust so klein wie möglich machen.
Konvex vs. nicht-konvex: Theorie und Praxis
Lineare Regression und SVM-Optimierungsprobleme sind konvex – Gradientenabstieg garantiert das Finden des globalen Optimums. Aber die Verlustfläche tiefer neuronaler Netze ist stark nicht-konvex, mit unzähligen lokalen Optima und Sattelpunkten. In der Praxis generalisieren die durch SGD gefundenen lokalen Optima jedoch meist gut – große Batches neigen dazu, zu "scharfen" lokalen Optima zu konvergieren (schlechte Generalisierung), während kleine Batches dazu neigen, zu "flachen" lokalen Optima zu konvergieren (gute Generalisierung).
Visualisierung der Verlustlandschaft
Durch die Projektion der hochdimensionalen Verlustfläche auf 2D entdeckten Forscher, dass die Verlustlandschaften tiefer Netze eine "Schluchtstruktur" aufweisen – obwohl nicht-konvex, führt das Folgen des Schluchtgrunds fast immer zu einer sehr guten Lösung. Dies erklärt, warum zufällige Initialisierung + SGD im Deep Learning so robust ist.
Andere Erweiterungen