Теорема Байеса -- использование новых свидетельств для обновления вашего суждения
Теорема Байеса — краеугольный камень вероятностного рассуждения.Априорное убеждение + новые свидетельства → обновлённое убеждение.
Анализ концепции
P(E) — нормирующий множитель: \( P(E) = P(E|H)P(H) + P(E|\text{not }H)P(\text{not }H) \).
Основная идея:Непрерывно обновлять наше суждение с учётом новых данных. Это базовый шаблон всех байесовских методов.
Повседневный пример
Ловушка ложноположительного результата при тестировании на заболевание
У некоторого заболевания распространённость составляет 0.1%, а точность теста — 99%. Если ваш тест положительный, фактическая вероятность наличия заболевания составляет всего около 9%.
Почему? Потому что заболевание крайне редкое, абсолютное число ложноположительных результатов (1% здоровых людей, ошибочно диагностированных как больные) намного превышает истинно положительные.
Теорема Байеса раскрывает этот контринтуитивный вывод:Когда априорная вероятность крайне мала, даже очень точный тест означает, что положительный результат, скорее всего, ложноположительный.。
Практическое занятие по Python
Пример
P_H = 0.001 # Априорная вероятность: распространённость 0.1%
P_E_given_H = 0.99 # Чувствительность 99%
P_E_given_notH = 0.01 # Частота ложноположительных результатов 1%
P_E = P_E_given_H * P_H + P_E_given_notH * (1 - P_H)
P_H_given_E = P_E_given_H * P_H / P_E
print("=== ПРИМЕР: Тестирование на заболевание ===")
print(f"Априорная распространённость: {P_H:.1%}")
print(f"После положительного теста фактическая вероятность заболевания: {P_H_given_E:.1%}")
print(f"Вывод: при крайне низкой базовой вероятности ложноположительные результаты намного превышают истинно положительные")
Вывод:
=== EXAMPLE 疾病检测 === 先验患病率: 0.1% 检测阳性后,实际患病概率: 9.0% 结论:极低基础概率下,假阳性远超真阳性
Сценарии применения в ИИ
Наивный байесовский классификатор
Предполагая, что признаки условно независимы, используйте теорему Байеса, чтобы вычислить апостериорную вероятность P(категория|признаки), и выберите категорию с наибольшей апостериорной вероятностью. Это удивительно хорошо работает в классификации текстов (фильтрация спама, анализ тональности) — хотя «наивное» предположение о независимости часто не выполняется на практике, точность классификации всё равно очень высока.
Байесовская оптимизация для настройки гиперпараметров
При выборе гиперпараметров, таких как скорость обучения и число слоёв, каждый запуск обучения занимает много времени. Байесовская оптимизация использует гауссовский процесс в качестве априорного распределения, обновляет апостериорное распределение на основе оценённых комбинаций гиперпараметров (свидетельств) и интеллектуально выбирает следующий наиболее перспективный набор гиперпараметров. Она гораздо эффективнее, чем поиск по сетке и случайный поиск.
Вариационный автоэнкодер (VAE)
Энкодер VAE выдаёт среднее μ и дисперсию σ² латентного распределения, затем использует KL-дивергенцию, чтобы ограничить это распределение близостью к стандартному нормальному априорному распределению N(0,1). Здешняя схема «априорное → апостериорное» — это теорема Байеса: априорное распределение — N(0,1), правдоподобие исходит из ошибки реконструкции декодера, а апостериорное — это распределение, выдаваемое энкодером.
Другие расширения