L'estimation par maximum de vraisemblance trouve les paramètres de distribution « les plus probables »
Étant donné un jeu de données, recherchez la moyenne et la variance qui maximisent la fonction de vraisemblance, et comparez si les résultats sont cohérents avec np.mean / np.std.
Après avoir terminé ce cas, vous comprendrez :Les paramètres qui « maximisent la probabilité que les données se produisent » sont exactement la moyenne et l'écart type de l'échantillon.
Introduction en situation réelle
Devinez le poids moyen des poissons dans un étang
Vous ne connaissez pas le poids moyen de tous les poissons de l'étang. Mais vous avez pêché 200 poissons et les avez pesés. Vous vous demandez naturellement : quel type de « poids moyen » rendrait l'événement « peser exactement ces poids pour ces 200 poissons » le plus probable ?
L'intuition vous dit que le poids moyen des 200 poissons est une très bonne estimation. L'estimation par maximum de vraisemblance (MLE) mathématise cette intuition : trouvez la valeur du paramètre qui maximise la probabilité d'observer cet ensemble de données.
Définition mathématique
Log-vraisemblance de la distribution gaussienne
\[ \log L(\mu, \sigma) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2 \]Solution analytique du MLE
\[ \hat{\mu}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{x}, \quad \hat{\sigma}_{\text{MLE}} = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2} \]Ce n'est pas une coïncidence. La solution analytique de l'estimation par maximum de vraisemblance (MLE) pour une distribution gaussienne est exactement la moyenne et l'écart-type de l'échantillon.
Exercice pratique Python
Exemple
np.random.seed(3)
true_mu, true_sigma = 5.0, 2.0
data = np.random.normal(true_mu, true_sigma, size=200)
# Fonction de log-vraisemblance gaussienne
def log_likelihood(mu, sigma, data):
n = len(data)
return (-n/2) * np.log(2 * np.pi * sigma**2) \
- np.sum((data - mu)**2) / (2 * sigma**2)
# Recherche par force brute sur grille pour le MLE
mu_grid = np.linspace(3, 7, 100)
sigma_grid = np.linspace(0.5, 4, 100)
best_ll = -np.inf
best_mu, best_sigma = None, None
for mu in mu_grid:
for sigma in sigma_grid:
ll = log_likelihood(mu, sigma, data)
if ll > best_ll:
best_ll = ll
best_mu, best_sigma = mu, sigma
print("=" * 55)
print("EXEMPLE Résultat de l'estimation du maximum de vraisemblance (MLE)")
print("=" * 55)
print(f"Recherche par grille MLE : mu={best_mu:.4f}, sigma={best_sigma:.4f}")
print(f"Formule directe : mu={data.mean():.4f}, sigma={data.std():.4f}")
print(f"Paramètres de génération réels : mu={true_mu}, sigma={true_sigma}")
print(f"\nConclusion : MLE = np.mean/np.std — non pas une coïncidence, mais un théorème mathématique")
======================================================= EXAMPLE 最大似然估计 (MLE) 结果 ======================================================= 网格搜索 MLE: mu=4.9394, sigma=2.0480 公式直接算: mu=4.9394, sigma=2.0480 真实生成参数: mu=5.0, sigma=2.0 结论: MLE = np.mean/np.std —— 不是巧合,是数学定理
Scénarios d'application en IA
| Scénario | Lien avec le MLE |
|---|---|
| Perte d'entropie croisée | Minimiser l'entropie croisée dans les tâches de classification = MLE de la distribution catégorielle |
| Perte MSE | Minimiser MSE dans les tâches de régression = MLE en supposant que l'erreur suit une distribution gaussienne |
| Initialisation des paramètres | Initialiser les paramètres du modèle avec les statistiques des données—essentiellement l'intuition du MLE. |