L'estimation par maximum de vraisemblance trouve les paramètres de distribution « les plus probables »

Étant donné un jeu de données, recherchez la moyenne et la variance qui maximisent la fonction de vraisemblance, et comparez si les résultats sont cohérents avec np.mean / np.std.

Après avoir terminé ce cas, vous comprendrez :Les paramètres qui « maximisent la probabilité que les données se produisent » sont exactement la moyenne et l'écart type de l'échantillon.


Introduction en situation réelle

Devinez le poids moyen des poissons dans un étang

Vous ne connaissez pas le poids moyen de tous les poissons de l'étang. Mais vous avez pêché 200 poissons et les avez pesés. Vous vous demandez naturellement : quel type de « poids moyen » rendrait l'événement « peser exactement ces poids pour ces 200 poissons » le plus probable ?

L'intuition vous dit que le poids moyen des 200 poissons est une très bonne estimation. L'estimation par maximum de vraisemblance (MLE) mathématise cette intuition : trouvez la valeur du paramètre qui maximise la probabilité d'observer cet ensemble de données.


Définition mathématique

Log-vraisemblance de la distribution gaussienne

\[ \log L(\mu, \sigma) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2 \]

Solution analytique du MLE

\[ \hat{\mu}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{x}, \quad \hat{\sigma}_{\text{MLE}} = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2} \]

Ce n'est pas une coïncidence. La solution analytique de l'estimation par maximum de vraisemblance (MLE) pour une distribution gaussienne est exactement la moyenne et l'écart-type de l'échantillon.


Exercice pratique Python

Exemple

import numpy as np
np.random.seed(3)

true_mu, true_sigma = 5.0, 2.0
data = np.random.normal(true_mu, true_sigma, size=200)

# Fonction de log-vraisemblance gaussienne
def log_likelihood(mu, sigma, data):
    n = len(data)
    return (-n/2) * np.log(2 * np.pi * sigma**2) \
           - np.sum((data - mu)**2) / (2 * sigma**2)

# Recherche par force brute sur grille pour le MLE
mu_grid = np.linspace(3, 7, 100)
sigma_grid = np.linspace(0.5, 4, 100)
best_ll = -np.inf
best_mu, best_sigma = None, None

for mu in mu_grid:
    for sigma in sigma_grid:
        ll = log_likelihood(mu, sigma, data)
        if ll > best_ll:
            best_ll = ll
            best_mu, best_sigma = mu, sigma

print("=" * 55)
print("EXEMPLE Résultat de l'estimation du maximum de vraisemblance (MLE)")
print("=" * 55)
print(f"Recherche par grille MLE : mu={best_mu:.4f}, sigma={best_sigma:.4f}")
print(f"Formule directe : mu={data.mean():.4f}, sigma={data.std():.4f}")
print(f"Paramètres de génération réels : mu={true_mu}, sigma={true_sigma}")
print(f"\nConclusion : MLE = np.mean/np.std — non pas une coïncidence, mais un théorème mathématique")
=======================================================
EXAMPLE 最大似然估计 (MLE) 结果
=======================================================
网格搜索 MLE: mu=4.9394,  sigma=2.0480
公式直接算:   mu=4.9394,  sigma=2.0480
真实生成参数: mu=5.0, sigma=2.0

结论: MLE = np.mean/np.std —— 不是巧合,是数学定理

Scénarios d'application en IA

ScénarioLien avec le MLE
Perte d'entropie croiséeMinimiser l'entropie croisée dans les tâches de classification = MLE de la distribution catégorielle
Perte MSEMinimiser MSE dans les tâches de régression = MLE en supposant que l'erreur suit une distribution gaussienne
Initialisation des paramètresInitialiser les paramètres du modèle avec les statistiques des données—essentiellement l'intuition du MLE.
Autres extensions