Дискретные случайные величины -- от бросания кубика до функции массы вероятности

Случайная величина формализует «случайные события» как математический инструмент.Дискретная случайная величина принимает конечное или счётное число значений.


Анализ концепции

Случайная величина

Случайная величина = переменная, значение которой неопределённо, при этом с каждым значением связана вероятность.

PMF (функция массы вероятности)

\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]

Распределение Бернулли

Одно испытание, два исхода: P(успех)=p, P(неудача)=1-p. Математическое моделирование для задач бинарной классификации.

Биномиальное распределение

\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]

Вероятность k успехов в n независимых испытаниях Бернулли.


Примеры из реальной жизни

Бросание кубика: X — выпавшее значение, P(X=1)=1/6, P(X=2)=1/6, ...

Подбросьте монету 10 раз; число выпадений орла X подчиняется биномиальному распределению Binomial(10, 0.5), и наиболее вероятное значение равно 5.


Практическое занятие по Python

Пример

import numpy as np

# PMF для броска кубика
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
    print(f"Значение {v}: {np.mean(rolls==v):.4f}")

# Бернулли
print(f"\n"Бернулли p=0.3, 1000 испытаний, доля успехов={np.random.binomial(1,0.3,1000).mean():.3f}")

# Биномиальное распределение: Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"Биномиальное распределение n=10,p=0.3: наиболее вероятное k={k_best} (теоретическое=np=3)")

Вывод:

点数1: 0.1628
点数2: 0.1661
点数3: 0.1686
点数4: 0.1686
点数5: 0.1637
点数6: 0.1702

伯努利 p=0.3, 1000次试验, 成功率=0.295
二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)

Интерактивный график PMF биномиального распределения

Функция массы вероятности (PMF) биномиального распределения Binomial(n=10, p=0.3). Настройте ползунок, чтобы наблюдать форму распределения при разных значениях p:


Сценарии применения в ИИ

Метки бинарной классификации = распределение Бернулли

Логистическая регрессия и бинарные классификаторы моделируют метку y ∈ {0,1} как распределение Бернулли: P(y=1|x) = \sigma(wx+b), P(y=0|x) = 1-\sigma(wx+b). Потери бинарной кросс-энтропии — это отрицательное логарифмическое правдоподобие при этом предположении. Поэтому выходной слой для задач бинарной классификации использует Sigmoid + BCE.

Многоклассовая классификация = категориальное распределение (одно испытание мультиномиального распределения)

При многоклассовой классификации метки являются one-hot-векторами, а вероятности каждого класса, выдаваемые Softmax, в сумме дают 1. Это эквивалентно одному броску n-гранной «кости» с разными вероятностями для каждой грани. При этом предположении потеря кросс-энтропии равна отрицательному логарифмическому правдоподобию.

Регуляризация Dropout = испытание Бернулли

Во время обучения каждый нейрон сохраняется с вероятностью p (испытание Бернулли) и отбрасывается с вероятностью 1-p. Это эквивалентно обучению другой подсети на каждой итерации, что даёт эффект ансамблевого обучения. Во время тестирования все нейроны активны, но выходы масштабируются на p в качестве компенсации.

Исследование в обучении с подкреплением = выборка из дискретного распределения

DQN часто использует ε-жадную стратегию: с вероятностью ε выбирается случайное действие (Бернулли), а с вероятностью 1-ε выбирается оптимальное действие. Это простейшая стратегия исследования, гарантирующая, что агент не застрянет навсегда в неоптимальной политике.