Оценка максимального правдоподобия находит «наиболее вероятные» параметры распределения

Для заданного набора данных найдите среднее и дисперсию, которые максимизируют функцию правдоподобия, и сравните, согласуются ли результаты с np.mean / np.std.

После завершения этого примера вы поймёте:Параметры, которые «максимизируют вероятность появления данных», — это в точности выборочное среднее и выборочное стандартное отклонение.


Введение из реальной жизни

Угадайте средний вес рыбы в пруду

Вы не знаете средний вес всех рыб в пруду. Но вы поймали 200 рыб и взвесили их. Вы, естественно, задаётесь вопросом: какой «средний вес» сделает событие «получить при взвешивании именно такие веса у этих 200 рыб» наиболее вероятным?

Интуиция подсказывает вам, что средний вес этих 200 рыб — очень хорошая оценка. Оценка максимального правдоподобия (MLE) придаёт этой интуиции математическую форму: найдите значение параметра, которое максимизирует вероятность наблюдения этого набора данных.


Математическое определение

Логарифмическое правдоподобие гауссова распределения

\[ \log L(\mu, \sigma) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2 \]

Аналитическое решение MLE

\[ \hat{\mu}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{x}, \quad \hat{\sigma}_{\text{MLE}} = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2} \]

Это не совпадение. Аналитическое решение MLE для нормального распределения — это в точности выборочное среднее и выборочное стандартное отклонение.


Практическое занятие по Python

Пример

import numpy as np
np.random.seed(3)

true_mu, true_sigma = 5.0, 2.0
data = np.random.normal(true_mu, true_sigma, size=200)

# Функция логарифмического правдоподобия для нормального распределения
def log_likelihood(mu, sigma, data):
    n = len(data)
    return (-n/2) * np.log(2 * np.pi * sigma**2) \
           - np.sum((data - mu)**2) / (2 * sigma**2)

# Поиск по сетке полным перебором для MLE
mu_grid = np.linspace(3, 7, 100)
sigma_grid = np.linspace(0.5, 4, 100)
best_ll = -np.inf
best_mu, best_sigma = None, None

for mu in mu_grid:
    for sigma in sigma_grid:
        ll = log_likelihood(mu, sigma, data)
        if ll > best_ll:
            best_ll = ll
            best_mu, best_sigma = mu, sigma

print("=" * 55)
print("ПРИМЕР Результат оценки максимального правдоподобия (MLE)")
print("=" * 55)
print(f"Поиск по сетке MLE: mu={best_mu:.4f}, sigma={best_sigma:.4f}")
print(f"Прямая формула: mu={data.mean():.4f}, sigma={data.std():.4f}")
print(f"Истинные параметры генерации: mu={true_mu}, sigma={true_sigma}")
print(f"\nВывод: MLE = np.mean/np.std — не совпадение, а математическая теорема")
=======================================================
EXAMPLE 最大似然估计 (MLE) 结果
=======================================================
网格搜索 MLE: mu=4.9394,  sigma=2.0480
公式直接算:   mu=4.9394,  sigma=2.0480
真实生成参数: mu=5.0, sigma=2.0

结论: MLE = np.mean/np.std —— 不是巧合,是数学定理

Сценарии применения в ИИ

СценарийСвязь с MLE
Кросс-энтропийная потеряМинимизация кросс-энтропии в задачах классификации = MLE для категориального распределения
Потеря MSEМинимизация MSE в задачах регрессии = MLE в предположении, что ошибка подчиняется гауссовскому распределению
Инициализация параметровИнициализация параметров модели статистиками данных — по сути, интуиция MLE.
Другие расширения