Taylor-Entwicklung -- jede Funktion durch Polynome approximieren.

Jede glatte Funktion kann in der Nähe eines Punktes durch ein Polynom approximiert werden.

Die Taylor-Entwicklung erster Ordnung ist die Grundlage des Gradientenabstiegs, und die Entwicklung zweiter Ordnung führt zum Newton-Verfahren. Für dieses Kapitel reicht es, sie zu verstehen; auf die Details der Herleitung muss nicht näher eingegangen werden.


Konzeptanalyse

Taylor erster Ordnung = lineare Approximation (Grundlage des Gradientenabstiegs)

\[ f(x) \approx f(a) + f'(a)(x - a) \]

Das bedeutet: „Zeichne eine Tangente am Punkt a und verwende den Wert der Tangente, um den Funktionswert zu approximieren.“

Taylor zweiter Ordnung = Krümmung berücksichtigen.

\[ f(x) \approx f(a) + f'(a)(x - a) + \frac{f''(a)}{2}(x - a)^2 \]

Das Hinzufügen des Terms zweiter Ordnung erfasst die „Krümmung“ der Funktion – das ist die Idee hinter dem Newton-Verfahren.

Entwicklungen wichtiger Funktionen

FunktionEntwicklung bei x=0
\( e^x \)\( 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots \)
\( \sin x \)\( x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots \)

Der Gradientenabstieg verwendet nur Informationen erster Ordnung (Richtung). Das Newton-Verfahren verwendet Informationen zweiter Ordnung (Krümmung), konvergiert schneller, aber zu höheren Rechenkosten.


Alltagsbeispiel

Schätze sin(0.1): sin(0)=0, sin'(0)=cos(0)=1. Näherung erster Ordnung: 0 + 1×0.1 = 0.1.

Der wahre Wert ist ungefähr 0.0998 – nur mit Addition und Multiplikation wurde eine hochpräzise Näherung erzielt.


Python-Praxisübung

Beispiel

import numpy as np

x0 = 0.5
true_val = np.sin(x0)
print(fTaylor-Näherung von sin({x0}) im Vergleich zum wahren Wert {true_val:.8f}:)

# Berechne manuell die ersten paar Terme der Taylor-Entwicklung
import math
approx = 0.0
for n in range(6):
    if n % 2 == 1:  Die geradzahligen Terme sind 0.
        coef = (-1)**((n-1)//2) / math.factorial(n)
        approx += coef * x0**n
        err = abs(approx - true_val)
        print(f"{n} Terme: {approx:.8f} Fehler: {err:.2e}")

Ausgabe:

sin(0.5) 的泰勒近似 vs 真实值 0.47942554:
  1项: 0.50000000  误差: 2.06e-02
  3项: 0.47916667  误差: 2.59e-04
  5项: 0.47942708  误差: 1.54e-06

Anwendungsszenarien in der KI.

Gradientenabstieg = Taylor-Näherung erster Ordnung.

Der Gradientenabstieg geht davon aus, dass die Verlustfunktion lokal durch eine Taylor-Entwicklung erster Ordnung (lineare Approximation) approximiert werden kann. Ein Schritt in Richtung des negativen Gradienten entspricht der optimalen Aktualisierung unter der Näherung erster Ordnung. Deshalb benötigt der Gradientenabstieg eine kleine Lernrate – ist die Lernrate zu groß, verlässt man den Bereich, in dem die lineare Approximation gültig ist.

Newton-Verfahren = Taylor-Optimierung zweiter Ordnung.

Wenn Terme zweiter Ordnung hinzugefügt werden (unter Verwendung der Hesse-Matrix), kann die Verlustfunktion lokal genau durch eine quadratische Funktion approximiert werden, und man kann direkt zum Optimum der quadratischen Näherung springen. Theoretisch konvergiert dies schneller, aber die Hesse-Matrix hat die Größe des Quadrats der Anzahl der Parameter – ein Modell mit einer Million Parametern würde eine Hesse-Matrix im Billionenbereich erfordern, was Berechnung und Speicherung unpraktisch macht.

Zielfunktion von XGBoost

XGBoost verwendet die Taylor-Entwicklung zweiter Ordnung der Verlustfunktion, um das Ziel in jeder Iteration zu approximieren, und nutzt dabei auch den Gradienten erster Ordnung und die Hesse-Matrix zweiter Ordnung (in XGBoost „hess“ genannt). Im Vergleich zu GBDT, das nur den Gradienten erster Ordnung verwendet, konvergiert es schneller und ist stabiler. Dies ist die erfolgreichste Anwendung von Informationen zweiter Ordnung im industriellen ML.


Weitere Erweiterungen