Maximum-Likelihood-Schätzung und Maximum-A-Posteriori-Schätzung
MLE und MAP sind zwei Kernmethoden der statistischen Inferenz.Das Wesen des Trainings neuronaler Netze ≈ Maximum-Likelihood-Schätzung.
Konzeptanalyse
Angenommen, du hast eine Menge beobachteter Daten und glaubst, dass diese Daten aus einem bekannten Typ von Wahrscheinlichkeitsverteilung stammen (z. B. Normalverteilung), aber du kennst die Parameter dieser Verteilung nicht (Mittelwert μ und Standardabweichung σ).
MLE und MAP beantworten dieselbe Frage: Was ist angesichts der Daten der vernünftigste Parameterwert?
Der Unterschied besteht darin, dass MLE nur die Daten selbst betrachtet, während MAP zusätzlich dein Vorwissen über die Parameter heranzieht.
Likelihood vs. Wahrscheinlichkeit: Zwei Sichtweisen auf dieselbe Sache
Wahrscheinlichkeit P(data|parameters): Parameter sind fest, es wird gefragt: „Wie wahrscheinlich ist es, diese Daten zu beobachten, wenn diese Parameter gegeben sind?“
Likelihood L(parameters|data): Daten sind fest, es wird gefragt: „Welcher Parameterwert erzeugt diese Daten am wahrscheinlichsten?“
Der Wert der Likelihood-Funktion selbst ist nicht normalisiert (die Summe muss nicht 1 sein); ihre Bedeutung liegt imVergleich der relativen Plausibilität verschiedener Parameterwerte。
MLE: Welche Parameter erzeugen diese Daten am wahrscheinlichsten?
\[ \hat{\theta}_{\text{MLE}} = \arg\max_\theta P(D | \theta) \]Wenn man nur die Daten betrachtet, wähle die Parameter, die die beobachteten Daten am wahrscheinlichsten erzeugen.
Warum den Logarithmus nehmen?
- Produkt wird zur Summe: numerisch stabiler (verhindert Underflow)
- Differenzierung ist einfacher: Der Logarithmus verwandelt Multiplikation in Addition
- Ändert die Extrema nicht: log ist eine monoton wachsende Funktion
MAP: Einbeziehung von Vorwissen
\[ \hat{\theta}_{\text{MAP}} = \arg\max_\theta P(\theta | D) = \arg\max_\theta P(D | \theta) \cdot P(\theta) \]MAP = MLE + Prior P(θ). Wenn der Prior eine Gleichverteilung ist, gilt MAP = MLE.
MLE betrachtet nur die Daten, MAP betrachtet auch den Prior. Wenn viele Daten vorliegen, wird der Einfluss des Priors verwässert, und MAP nähert sich MLE an.
Wenn wenige Daten vorliegen, wirkt der Prior als "Regularisierung" — L2-Regularisierung ≡ MAP mit einem Gauß-Prior.
Praxisbeispiel
Schätzung des durchschnittlichen Tagesumsatzes
Tagesumsätze eines Online-Shops an 10 aufeinanderfolgenden Tagen: [23, 25, 22, 24, 26, 23, 25, 24, 22, 24].
Nehmen Sie an, die Umsätze folgen einer Normalverteilung. Die MLE-Schätzung des Mittelwerts = der Durchschnitt dieser Zahlen ≈ 23.8.
Intuitiv würden Sie das auch tun — MLE übersetzt Intuition lediglich in Mathematik.
Praktische Übung mit Python
Beispiel
np.random.seed(42)
data = np.random.normal(5.0, 2.0, 100) # Wahres μ=5, σ=2
# MLE: μ = Stichprobenmittelwert
mu_mle = np.mean(data)
print(f"MLE μ = {mu_mle:.3f} (wahr=5.0)")
# MAP: Prior μ ~ N(0, 1), schrumpft in Richtung des Priors
prior_mu, prior_var = 0.0, 1.0
n = len(data)
mu_map = (prior_mu/prior_var + n*mu_mle/np.std(data)**2) / (1/prior_var + n/np.std(data)**2)
print(f"MAP μ = {mu_map:.3f} (Kompromiss zwischen MLE und Prior 0)")
Ausgabe beim Ausführen:
MLE μ = 4.968 (真实=5.0) MAP μ = 4.776 (在MLE和先验0之间折中)
Anwendungsszenarien in der KI
Design der Verlustfunktion = MLE
Die Minimierung des Kreuzentropieverlusts ≈ Maximum-Likelihood-Schätzung unter der Annahme einer Multinomialverteilung. Die Minimierung des MSE ≈ MLE unter der Annahme einer normalverteilten Fehlerverteilung. Die Verlustfunktion wird nicht willkürlich gewählt — jede Verlustfunktion entspricht einer impliziten Annahme über die Wahrscheinlichkeitsverteilung.
L2-Regularisierung = MAP mit Gauß-Prior
Das Hinzufügen von \( \lambda\|w\|^2 \) zur Verlustfunktion ist äquivalent zur Annahme, dass der Prior der Gewichte w \( N(0, 1/\lambda) \) ist. MAP schafft einen Kompromiss zwischen Daten-Likelihood und Prior — wenn Daten knapp sind, dominiert der Prior (Gewichte tendieren gegen 0); wenn Daten reichlich vorhanden sind, dominiert die Likelihood.
L1-Regularisierung = MAP mit Laplace-Prior
Das Hinzufügen von \( \lambda\|w\|_1 \) zur Verlustfunktion ist äquivalent zur Annahme, dass der Prior der Gewichte w eine \( Laplace(0, 1/\lambda) \)-Verteilung ist. Die Laplace-Verteilung ist bei 0 spitz — MAP neigt dazu, sparse Lösungen zu erzeugen (viele Gewichte exakt 0), was eine automatische Merkmalsauswahl ermöglicht.
Bayessche neuronale Netze
Die Gewichte eines gewöhnlichen neuronalen Netzes sind deterministische Punktschätzungen (MLE/MAP). Ein bayessches neuronales Netz ordnet jedem Gewicht eine Wahrscheinlichkeitsverteilung (Posterior) zu, und auch die Ausgabe ist eine Wahrscheinlichkeitsverteilung — wodurch eine natürliche Unsicherheitsschätzung ermöglicht wird. Bei der Vorhersage können Sie mehrfach Stichproben der Gewichte ziehen und die Varianz der Ausgaben betrachten, um die Zuversicht des Modells in seine eigenen Vorhersagen zu beurteilen.
Weitere Erweiterungen