Основы теории вероятностей -- пространство элементарных исходов, события и условная вероятность
Теория вероятностей — ключевой инструмент ИИ для работы с неопределённостью.От выходов классификатора до сэмплирования генеративных моделей — вероятность повсюду.
Анализ концепции
Пространство элементарных исходов
Множество всех возможных исходов
Бросание игральной кости: {1,2,3,4,5,6}
Event
Подмножество пространства элементарных исходов
Чётное = {2,4,6}
Вероятность P(A)
Вероятность наступления A, [0,1]
0 = невозможно, 1 = достоверно
Условная вероятность: обновление суждения на основе частичной информации
\[ P(A|B) = \frac{P(A \cap B)}{P(B)} \]Интуиция: сузить пространство элементарных исходов до множества, где наступает B, и посмотреть, какую долю в нём занимает A.
Закон полной вероятности: суммирование по случаям
\[ P(A) = \sum_i P(A|B_i) P(B_i) \]Повседневные примеры
Закон больших чисел
Подбросьте монету 10 раз — может выпасть 4 орла и 6 решек. Подбросьте её 10,000 раз — доля орлов наверняка будет очень близка к 0.5.
Чем больше испытаний, тем устойчивее частота — это основа теории вероятностей.
Практическое занятие по Python
Пример
# Проверка закона больших чисел
for n in [10, 100, 1000, 10000]:
tosses = np.random.choice(['H','T'], size=n)
freq = np.mean(tosses == 'H')
print(f"ПРИМЕР: монету подбрасывали {n:5d} раз, частота выпадения орла={freq:.4f}")
# Задача Монти Холла: при смене выбора выигрыш составляет 2/3
def monty_hall(switch=True, trials=10000):
wins = 0
for _ in range(trials):
car = np.random.randint(0, 3)
choice = np.random.randint(0, 3)
revealed = np.random.choice([d for d in range(3) if d != car and d != choice])
if switch:
choice = [d for d in range(3) if d != choice and d != revealed][0]
wins += (choice == car)
return wins/trials
print(f"\n"Монти Холл: без переключения={monty_hall(False):.3f}, с переключением={monty_hall(True):.3f} (теоретически: 1/3, 2/3)")
Вывод:
EXAMPLE 掷 10次, 正面频率=0.8000 EXAMPLE 掷 100次, 正面频率=0.5500 EXAMPLE 掷 1000次, 正面频率=0.4870 EXAMPLE 掷10000次, 正面频率=0.4987 蒙提霍尔: 不换=0.329, 换=0.663 (理论: 1/3, 2/3)
Сценарии применения в ИИ
Выход классификатора = распределение вероятностей
Softmax выдаёт вероятность для каждого класса, а сумма вероятностей по всем классам равна 1. Модель не просто сообщает: «это кот», она также сообщает: «80% вероятность, что это кот, 15% — собака, 5% — что-то другое». Такой вероятностный вывод критически важен для оценки рисков и калибровки уверенности.
Генеративная модель = сэмплирование из распределения вероятностей
VAE выполняет выборку из обученного латентного распределения, чтобы генерировать новые изображения, GAN выполняет выборку из распределения случайного шума, чтобы генерировать реалистичные изображения, а диффузионные модели начинают с чистого шума и постепенно удаляют шум, чтобы генерировать высококачественные изображения. Основная операция всех этих процессов генерации — «выборка из некоторого распределения вероятностей».
Стохастическая политика в обучении с подкреплением
В методах градиента политики действия агента не детерминированы, а выбираются из распределения вероятностей, выдаваемого сетью политики (например, 70% влево, 30% вправо). Эта случайность обеспечивает исследование — если всегда выбирать действие с наибольшей вероятностью, можно никогда не обнаружить лучшую политику.
Другие расширения