Основы теории вероятностей -- пространство элементарных исходов, события и условная вероятность

Теория вероятностей — ключевой инструмент ИИ для работы с неопределённостью.От выходов классификатора до сэмплирования генеративных моделей — вероятность повсюду.


Анализ концепции

Пространство элементарных исходов

Множество всех возможных исходов

Бросание игральной кости: {1,2,3,4,5,6}

Event

Подмножество пространства элементарных исходов

Чётное = {2,4,6}

Вероятность P(A)

Вероятность наступления A, [0,1]

0 = невозможно, 1 = достоверно

Условная вероятность: обновление суждения на основе частичной информации

\[ P(A|B) = \frac{P(A \cap B)}{P(B)} \]

Интуиция: сузить пространство элементарных исходов до множества, где наступает B, и посмотреть, какую долю в нём занимает A.

Закон полной вероятности: суммирование по случаям

\[ P(A) = \sum_i P(A|B_i) P(B_i) \]

Повседневные примеры

Закон больших чисел

Подбросьте монету 10 раз — может выпасть 4 орла и 6 решек. Подбросьте её 10,000 раз — доля орлов наверняка будет очень близка к 0.5.

Чем больше испытаний, тем устойчивее частота — это основа теории вероятностей.


Практическое занятие по Python

Пример

import numpy as np

# Проверка закона больших чисел
for n in [10, 100, 1000, 10000]:
    tosses = np.random.choice(['H','T'], size=n)
    freq = np.mean(tosses == 'H')
    print(f"ПРИМЕР: монету подбрасывали {n:5d} раз, частота выпадения орла={freq:.4f}")

# Задача Монти Холла: при смене выбора выигрыш составляет 2/3
def monty_hall(switch=True, trials=10000):
    wins = 0
    for _ in range(trials):
        car = np.random.randint(0, 3)
        choice = np.random.randint(0, 3)
        revealed = np.random.choice([d for d in range(3) if d != car and d != choice])
        if switch:
            choice = [d for d in range(3) if d != choice and d != revealed][0]
        wins += (choice == car)
    return wins/trials

print(f"\n"Монти Холл: без переключения={monty_hall(False):.3f}, с переключением={monty_hall(True):.3f} (теоретически: 1/3, 2/3)")

Вывод:

EXAMPLE 掷   10次, 正面频率=0.8000
EXAMPLE 掷  100次, 正面频率=0.5500
EXAMPLE 掷 1000次, 正面频率=0.4870
EXAMPLE 掷10000次, 正面频率=0.4987

蒙提霍尔: 不换=0.329, 换=0.663 (理论: 1/3, 2/3)

Сценарии применения в ИИ

Выход классификатора = распределение вероятностей

Softmax выдаёт вероятность для каждого класса, а сумма вероятностей по всем классам равна 1. Модель не просто сообщает: «это кот», она также сообщает: «80% вероятность, что это кот, 15% — собака, 5% — что-то другое». Такой вероятностный вывод критически важен для оценки рисков и калибровки уверенности.

Генеративная модель = сэмплирование из распределения вероятностей

VAE выполняет выборку из обученного латентного распределения, чтобы генерировать новые изображения, GAN выполняет выборку из распределения случайного шума, чтобы генерировать реалистичные изображения, а диффузионные модели начинают с чистого шума и постепенно удаляют шум, чтобы генерировать высококачественные изображения. Основная операция всех этих процессов генерации — «выборка из некоторого распределения вероятностей».

Стохастическая политика в обучении с подкреплением

В методах градиента политики действия агента не детерминированы, а выбираются из распределения вероятностей, выдаваемого сетью политики (например, 70% влево, 30% вправо). Эта случайность обеспечивает исследование — если всегда выбирать действие с наибольшей вероятностью, можно никогда не обнаружить лучшую политику.


Другие расширения