Оценка максимального правдоподобия и максимальная апостериорная оценка

MLE и MAP — два основных метода статистического вывода.Суть обучения нейронных сетей ≈ оценка максимального правдоподобия.


Анализ концепции

Предположим, у вас есть набор наблюдаемых данных, и вы считаете, что эти данные происходят из известного типа вероятностного распределения (например, нормального распределения), но вы не знаете параметры этого распределения (среднее μ и стандартное отклонение σ).

MLE и MAP отвечают на один и тот же вопрос: при заданных данных какое значение параметра наиболее разумно?

Разница в том, что MLE учитывает только сами данные, тогда как MAP также опирается на ваши априорные знания о параметрах.

Правдоподобие против вероятности: два способа взглянуть на одно и то же

Вероятность P(data|parameters): параметры фиксированы, задаётся вопрос: «При этих параметрах какова вероятность наблюдать эти данные?»

Правдоподобие L(parameters|data): данные фиксированы, задаётся вопрос: «Какое значение параметра наиболее вероятно порождает эти данные?»

Значение самой функции правдоподобия не нормировано (сумма не обязана быть равна 1); его значимость состоит всравнении относительной правдоподобности различных значений параметров。

MLE: какие параметры с наибольшей вероятностью порождают эти данные?

\[ \hat{\theta}_{\text{MLE}} = \arg\max_\theta P(D | \theta) \]

Глядя только на данные, выберите параметры, которые с наибольшей вероятностью порождают наблюдаемые данные.

Зачем брать логарифм?

  • Произведение превращается в сумму: численно устойчивее (предотвращает антипереполнение)
  • Дифференцировать проще: логарифм превращает умножение в сложение
  • Не изменяет экстремумы: логарифм — монотонно возрастающая функция

MAP: учёт априорных знаний

\[ \hat{\theta}_{\text{MAP}} = \arg\max_\theta P(\theta | D) = \arg\max_\theta P(D | \theta) \cdot P(\theta) \]

MAP = MLE + априорное распределение P(θ). Когда априорное распределение равномерное, MAP = MLE.

MLE учитывает только данные, MAP также учитывает априорное распределение. Когда данных много, влияние априорного распределения ослабляется, и MAP приближается к MLE.

Когда данных мало, априорное распределение действует как «регуляризация» — L2-регуляризация ≡ MAP с гауссовским априорным распределением.


Пример из реальной жизни

Оценивание среднего объёма ежедневных продаж

Ежедневные продажи интернет-магазина за 10 последовательных дней: [23, 25, 22, 24, 26, 23, 25, 24, 22, 24].

Предположим, что продажи подчиняются нормальному распределению. MLE-оценка среднего = среднее этих чисел ≈ 23.8.

Интуитивно вы поступили бы так же — MLE просто превращает интуицию в математику.


Практическое занятие по Python

Пример

import numpy as np

np.random.seed(42)
data = np.random.normal(5.0, 2.0, 100)  # Истинные μ=5, σ=2

# MLE: μ = выборочное среднее
mu_mle = np.mean(data)
print(f"MLE μ = {mu_mle:.3f} (истинное=5.0)")

# MAP: априорное μ ~ N(0, 1), стягивается к априорному
prior_mu, prior_var = 0.0, 1.0
n = len(data)
mu_map = (prior_mu/prior_var + n*mu_mle/np.std(data)**2) / (1/prior_var + n/np.std(data)**2)
print(f"MAP μ = {mu_map:.3f} (компромисс между MLE и априорным 0)")

Вывод при запуске:

MLE μ = 4.968 (真实=5.0)
MAP μ = 4.776 (在MLE和先验0之间折中)

Сценарии применения в ИИ

Проектирование функции потерь = MLE

Минимизация кросс-энтропийной функции потерь ≈ оценка максимального правдоподобия в предположении о мультиномиальном распределении. Минимизация MSE ≈ MLE в предположении о нормальном распределении ошибок. Функция потерь выбирается не произвольно — каждая функция потерь соответствует неявному предположению о вероятностном распределении.

L2-регуляризация = MAP с гауссовским априорным распределением

Добавление \( \lambda\|w\|^2 \) к функции потерь эквивалентно предположению, что априорное распределение весов w — \( N(0, 1/\lambda) \). MAP является компромиссом между правдоподобием данных и априорным распределением — когда данных мало, доминирует априорное распределение (веса стремятся к 0); когда данных много, доминирует правдоподобие.

L1-регуляризация = MAP с априорным распределением Лапласа

Добавление \( \lambda\|w\|_1 \) к функции потерь эквивалентно предположению, что априорное распределение весов w — это распределение \( Laplace(0, 1/\lambda) \). Распределение Лапласа имеет острый пик в 0 — MAP склонна давать разреженные решения (многие веса равны точно 0), что обеспечивает автоматический отбор признаков.

Байесовские нейронные сети

Веса обычной нейронной сети — это детерминированные точечные оценки (MLE/MAP). Байесовская нейронная сеть ставит в соответствие каждому весу распределение вероятностей (апостериорное), и выход также является распределением вероятностей — таким образом обеспечивается естественная оценка неопределённости. Во время предсказания можно несколько раз сэмплировать веса и смотреть на дисперсию выходов, чтобы судить об уверенности модели в собственных предсказаниях.


Другие расширения