Симуляция подбрасывания монеты для байесовского обновления

Смоделируйте процесс многократного подбрасывания монеты и с помощью формулы Байеса обновляйте в реальном времени распределение уверенности в том, смещена ли монета.

После завершения этого примера вы поймёте:Суть байесовского метода — каждый раз, когда наблюдаются новые данные, обновляйте своё убеждение один раз с помощью функции правдоподобия.


Введение на реальном примере

Можно ли доверять новому коллеге?

В первый день вы не знаете нового коллегу (априорная вероятность: он может быть надёжным или ненадёжным, по 50 %). На первой неделе он каждый раз выполняет задачи в срок (новое свидетельство), и вы начинаете думать: «вероятно, он надёжен». На второй неделе он снова выполняет всё в срок (ещё одно свидетельство), и ваше суждение становится более уверенным.

Ваше суждение — это апостериорная вероятность, результат постоянного пересмотра первоначального суждения с учётом новых свидетельств. В этом заключается интуиция байесовского обновления.


Интуитивное понимание

У нас есть монета, но мы не знаем вероятность выпадения орла. Априорное распределение: до бросков мы считаем возможной любую вероятность орла (от 0 до 1). Правдоподобие: каждый раз, видя результат, мы обновляемся, используя «вероятность увидеть этот результат, если вероятность орла равна theta». Апостериорное распределение: обновлённое распределение убеждений — чем больше данных, тем сильнее распределение концентрируется вокруг истинного значения.


Математическое определение

\[ P(\theta \mid \text{данные}) = \frac{P(\text{данные} \mid \theta) \cdot P(\theta)}{P(\text{данные})} \] \[ \text{апостериорное}_t \propto \text{правдоподобие}(\text{ } t\text{-го результата} \mid \theta) \times \text{апостериорное}_{t-1} \]

Практическое занятие по Python

Пример

import numpy as np
np.random.seed(1)

true_p = 0.75  # Истинная вероятность выпадения орла (представим, что мы её не знаем)
theta_grid = np.linspace(0, 1, 200)

# Априорное распределение: считать все theta равновероятными
prior = np.ones_like(theta_grid)
prior /= prior.sum()

# Симуляция подбрасывания монеты 40 раз
flips = np.random.binomial(1, true_p, size=40)

posterior = prior.copy()
print("ПРИМЕР процесса байесовского обновления (истинная theta=0.75):\n")
for i, outcome in enumerate(flips, start=1):
    likelihood = theta_grid if outcome == 1 else (1 - theta_grid)
    posterior = posterior * likelihood
    posterior /= posterior.sum()

    if i % 10 == 0:
        est = theta_grid[np.argmax(posterior)]
        print(f" После {i:2d} бросков, наиболее вероятно theta={est:.3f}")

# Сравнение неопределённости
prior_std = np.sqrt(np.sum(theta_grid**2 * prior) - np.sum(theta_grid * prior)**2)
post_std = np.sqrt(np.sum(theta_grid**2 * posterior) - np.sum(theta_grid * posterior)**2)
print(f"\nПРИМЕР стандартное отклонение априорного распределения: {prior_std:.4f} -> стандартное отклонение апостериорного распределения: {post_std:.4f} (уменьшилось в {prior_std/post_std:.1f} раз))
EXAMPLE 贝叶斯更新过程 (真实 theta=0.75):

  抛 10 次后,最可能的 theta=0.754
  抛 20 次后,最可能的 theta=0.769
  抛 30 次后,最可能的 theta=0.759
  抛 40 次后,最可能的 theta=0.774

EXAMPLE 先验标准差: 0.2890 -> 后验标准差: 0.0642 (缩小了 4.5 倍)

Сценарии применения в ИИ

СценаРоль байесовских методов
Наивная байесовская классификацияТеорема Байеса + предположение о независимости признаков → классический классификатор
Байесовская оптимизацияИспользовать априорное распределение + наблюдаемые данные → апостериорный гауссовский процесс → направлять поиск гиперпараметров.
Вариационный выводАппроксимация сложных апостериорных распределений простыми распределениями: математические основы VAE
Другие расширения