Maximum-Likelihood-Schätzung findet die "wahrscheinlichsten" Verteilungsparameter
Suchen Sie bei einer gegebenen Datenmenge nach Mittelwert und Varianz, die die Likelihood-Funktion maximieren, und vergleichen Sie, ob die Ergebnisse mit np.mean / np.std übereinstimmen.
Nach Abschluss dieses Falls werden Sie verstehen:Die Parameter, die "die Wahrscheinlichkeit des Auftretens der Daten maximieren", sind genau der Stichprobenmittelwert und die Stichprobenstandardabweichung.
Praktische Einführung
Schätzen Sie das durchschnittliche Gewicht der Fische in einem Teich
Du kennst nicht das Durchschnittsgewicht aller Fische im Teich. Aber du hast 200 Fische gefangen und gewogen. Natürlich fragst du dich: Welche Art von "Durchschnittsgewicht" würde das Ereignis "genau diese Gewichte dieser 200 Fische zu wiegen" am wahrscheinlichsten machen?
Die Intuition sagt dir, dass das Durchschnittsgewicht der 200 Fische eine sehr gute Schätzung ist. Die Maximum-Likelihood-Schätzung (MLE) mathematisiert diese Intuition: Finde den Parameterwert, der die Wahrscheinlichkeit maximiert, diese Datenmenge zu beobachten.
Mathematische Definition
Log-Likelihood der Gauß-Verteilung
\[ \log L(\mu, \sigma) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2 \]Analytische Lösung der MLE
\[ \hat{\mu}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{x}, \quad \hat{\sigma}_{\text{MLE}} = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2} \]Das ist kein Zufall. Die analytische Lösung der MLE für eine Gauß-Verteilung ist genau der Stichprobenmittelwert und die Stichprobenstandardabweichung.
Praktische Python-Übung
Beispiel
np.random.seed(3)
true_mu, true_sigma = 5.0, 2.0
data = np.random.normal(true_mu, true_sigma, size=200)
# Gaußsche Log-Likelihood-Funktion
def log_likelihood(mu, sigma, data):
n = len(data)
return (-n/2) * np.log(2 * np.pi * sigma**2) \
- np.sum((data - mu)**2) / (2 * sigma**2)
# Brute-Force-Gittersuche für MLE
mu_grid = np.linspace(3, 7, 100)
sigma_grid = np.linspace(0.5, 4, 100)
best_ll = -np.inf
best_mu, best_sigma = None, None
for mu in mu_grid:
for sigma in sigma_grid:
ll = log_likelihood(mu, sigma, data)
if ll > best_ll:
best_ll = ll
best_mu, best_sigma = mu, sigma
print("=" * 55)
print("BEISPIEL-Ergebnis der Maximum-Likelihood-Schätzung (MLE)")
print("=" * 55)
print(f"Gittersuche MLE: mu={best_mu:.4f}, sigma={best_sigma:.4f}")
print(f"Direkte Formel: mu={data.mean():.4f}, sigma={data.std():.4f}")
print(f"Wahre Erzeugungsparameter: mu={true_mu}, sigma={true_sigma}")
print(f"\nFazit: MLE = np.mean/np.std — kein Zufall, sondern ein mathematisches Theorem")
======================================================= EXAMPLE 最大似然估计 (MLE) 结果 ======================================================= 网格搜索 MLE: mu=4.9394, sigma=2.0480 公式直接算: mu=4.9394, sigma=2.0480 真实生成参数: mu=5.0, sigma=2.0 结论: MLE = np.mean/np.std —— 不是巧合,是数学定理
Anwendungsszenarien in der KI
| Szenario | Zusammenhang mit MLE |
|---|---|
| Cross-Entropy-Verlust | Minimierung der Cross-Entropy bei Klassifikationsaufgaben = MLE der kategorialen Verteilung |
| MSE-Verlust | Minimierung des MSE bei Regressionsaufgaben = MLE unter der Annahme, dass der Fehler einer Gauß-Verteilung folgt |
| Parameterinitialisierung | Initialisierung der Modellparameter mit Datenstatistiken — im Wesentlichen die Intuition der MLE. |