Оценка максимального правдоподобия находит «наиболее вероятные» параметры распределения
Для заданного набора данных найдите среднее и дисперсию, которые максимизируют функцию правдоподобия, и сравните, согласуются ли результаты с np.mean / np.std.
После завершения этого примера вы поймёте:Параметры, которые «максимизируют вероятность появления данных», — это в точности выборочное среднее и выборочное стандартное отклонение.
Введение из реальной жизни
Угадайте средний вес рыбы в пруду
Вы не знаете средний вес всех рыб в пруду. Но вы поймали 200 рыб и взвесили их. Вы, естественно, задаётесь вопросом: какой «средний вес» сделает событие «получить при взвешивании именно такие веса у этих 200 рыб» наиболее вероятным?
Интуиция подсказывает вам, что средний вес этих 200 рыб — очень хорошая оценка. Оценка максимального правдоподобия (MLE) придаёт этой интуиции математическую форму: найдите значение параметра, которое максимизирует вероятность наблюдения этого набора данных.
Математическое определение
Логарифмическое правдоподобие гауссова распределения
\[ \log L(\mu, \sigma) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i - \mu)^2 \]Аналитическое решение MLE
\[ \hat{\mu}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^{n} x_i = \bar{x}, \quad \hat{\sigma}_{\text{MLE}} = \sqrt{\frac{1}{n}\sum (x_i - \bar{x})^2} \]Это не совпадение. Аналитическое решение MLE для нормального распределения — это в точности выборочное среднее и выборочное стандартное отклонение.
Практическое занятие по Python
Пример
np.random.seed(3)
true_mu, true_sigma = 5.0, 2.0
data = np.random.normal(true_mu, true_sigma, size=200)
# Функция логарифмического правдоподобия для нормального распределения
def log_likelihood(mu, sigma, data):
n = len(data)
return (-n/2) * np.log(2 * np.pi * sigma**2) \
- np.sum((data - mu)**2) / (2 * sigma**2)
# Поиск по сетке полным перебором для MLE
mu_grid = np.linspace(3, 7, 100)
sigma_grid = np.linspace(0.5, 4, 100)
best_ll = -np.inf
best_mu, best_sigma = None, None
for mu in mu_grid:
for sigma in sigma_grid:
ll = log_likelihood(mu, sigma, data)
if ll > best_ll:
best_ll = ll
best_mu, best_sigma = mu, sigma
print("=" * 55)
print("ПРИМЕР Результат оценки максимального правдоподобия (MLE)")
print("=" * 55)
print(f"Поиск по сетке MLE: mu={best_mu:.4f}, sigma={best_sigma:.4f}")
print(f"Прямая формула: mu={data.mean():.4f}, sigma={data.std():.4f}")
print(f"Истинные параметры генерации: mu={true_mu}, sigma={true_sigma}")
print(f"\nВывод: MLE = np.mean/np.std — не совпадение, а математическая теорема")
======================================================= EXAMPLE 最大似然估计 (MLE) 结果 ======================================================= 网格搜索 MLE: mu=4.9394, sigma=2.0480 公式直接算: mu=4.9394, sigma=2.0480 真实生成参数: mu=5.0, sigma=2.0 结论: MLE = np.mean/np.std —— 不是巧合,是数学定理
Сценарии применения в ИИ
| Сценарий | Связь с MLE |
|---|---|
| Кросс-энтропийная потеря | Минимизация кросс-энтропии в задачах классификации = MLE для категориального распределения |
| Потеря MSE | Минимизация MSE в задачах регрессии = MLE в предположении, что ошибка подчиняется гауссовскому распределению |
| Инициализация параметров | Инициализация параметров модели статистиками данных — по сути, интуиция MLE. |