Maximum-Likelihood-Schätzung findet die "wahrscheinlichsten" Verteilungsparameter

Suchen Sie bei einer gegebenen Datenmenge nach Mittelwert und Varianz, die die Likelihood-Funktion maximieren, und vergleichen Sie, ob die Ergebnisse mit np.mean / np.std übereinstimmen.

Nach Abschluss dieses Falls werden Sie verstehen:Die Parameter, die "die Wahrscheinlichkeit des Auftretens der Daten maximieren", sind genau der Stichprobenmittelwert und die Stichprobenstandardabweichung.


Praktische Einführung

Schätzen Sie das durchschnittliche Gewicht der Fische in einem Teich

Du kennst nicht das Durchschnittsgewicht aller Fische im Teich. Aber du hast 200 Fische gefangen und gewogen. Natürlich fragst du dich: Welche Art von "Durchschnittsgewicht" würde das Ereignis "genau diese Gewichte dieser 200 Fische zu wiegen" am wahrscheinlichsten machen?

Die Intuition sagt dir, dass das Durchschnittsgewicht der 200 Fische eine sehr gute Schätzung ist. Die Maximum-Likelihood-Schätzung (MLE) mathematisiert diese Intuition: Finde den Parameterwert, der die Wahrscheinlichkeit maximiert, diese Datenmenge zu beobachten.


Mathematische Definition

Log-Likelihood der Gauß-Verteilung

\[ \log L(\mu, \sigma) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2 \]

Analytische Lösung der MLE

\[ \hat{\mu}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{x}, \quad \hat{\sigma}_{\text{MLE}} = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2} \]

Das ist kein Zufall. Die analytische Lösung der MLE für eine Gauß-Verteilung ist genau der Stichprobenmittelwert und die Stichprobenstandardabweichung.


Praktische Python-Übung

Beispiel

import numpy as np
np.random.seed(3)

true_mu, true_sigma = 5.0, 2.0
data = np.random.normal(true_mu, true_sigma, size=200)

# Gaußsche Log-Likelihood-Funktion
def log_likelihood(mu, sigma, data):
    n = len(data)
    return (-n/2) * np.log(2 * np.pi * sigma**2) \
           - np.sum((data - mu)**2) / (2 * sigma**2)

# Brute-Force-Gittersuche für MLE
mu_grid = np.linspace(3, 7, 100)
sigma_grid = np.linspace(0.5, 4, 100)
best_ll = -np.inf
best_mu, best_sigma = None, None

for mu in mu_grid:
    for sigma in sigma_grid:
        ll = log_likelihood(mu, sigma, data)
        if ll > best_ll:
            best_ll = ll
            best_mu, best_sigma = mu, sigma

print("=" * 55)
print("BEISPIEL-Ergebnis der Maximum-Likelihood-Schätzung (MLE)")
print("=" * 55)
print(f"Gittersuche MLE: mu={best_mu:.4f}, sigma={best_sigma:.4f}")
print(f"Direkte Formel: mu={data.mean():.4f}, sigma={data.std():.4f}")
print(f"Wahre Erzeugungsparameter: mu={true_mu}, sigma={true_sigma}")
print(f"\nFazit: MLE = np.mean/np.std — kein Zufall, sondern ein mathematisches Theorem")
=======================================================
EXAMPLE 最大似然估计 (MLE) 结果
=======================================================
网格搜索 MLE: mu=4.9394,  sigma=2.0480
公式直接算:   mu=4.9394,  sigma=2.0480
真实生成参数: mu=5.0, sigma=2.0

结论: MLE = np.mean/np.std —— 不是巧合,是数学定理

Anwendungsszenarien in der KI

SzenarioZusammenhang mit MLE
Cross-Entropy-VerlustMinimierung der Cross-Entropy bei Klassifikationsaufgaben = MLE der kategorialen Verteilung
MSE-VerlustMinimierung des MSE bei Regressionsaufgaben = MLE unter der Annahme, dass der Fehler einer Gauß-Verteilung folgt
ParameterinitialisierungInitialisierung der Modellparameter mit Datenstatistiken — im Wesentlichen die Intuition der MLE.
Weitere Erweiterungen