Дискретные случайные величины -- от бросания кубика до функции массы вероятности
Случайная величина формализует «случайные события» как математический инструмент.Дискретная случайная величина принимает конечное или счётное число значений.
Анализ концепции
Случайная величина
Случайная величина = переменная, значение которой неопределённо, при этом с каждым значением связана вероятность.
PMF (функция массы вероятности)
\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]Распределение Бернулли
Одно испытание, два исхода: P(успех)=p, P(неудача)=1-p. Математическое моделирование для задач бинарной классификации.
Биномиальное распределение
\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]Вероятность k успехов в n независимых испытаниях Бернулли.
Примеры из реальной жизни
Бросание кубика: X — выпавшее значение, P(X=1)=1/6, P(X=2)=1/6, ...
Подбросьте монету 10 раз; число выпадений орла X подчиняется биномиальному распределению Binomial(10, 0.5), и наиболее вероятное значение равно 5.
Практическое занятие по Python
Пример
# PMF для броска кубика
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
print(f"Значение {v}: {np.mean(rolls==v):.4f}")
# Бернулли
print(f"\n"Бернулли p=0.3, 1000 испытаний, доля успехов={np.random.binomial(1,0.3,1000).mean():.3f}")
# Биномиальное распределение: Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"Биномиальное распределение n=10,p=0.3: наиболее вероятное k={k_best} (теоретическое=np=3)")
Вывод:
点数1: 0.1628 点数2: 0.1661 点数3: 0.1686 点数4: 0.1686 点数5: 0.1637 点数6: 0.1702 伯努利 p=0.3, 1000次试验, 成功率=0.295 二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)
Интерактивный график PMF биномиального распределения
Функция массы вероятности (PMF) биномиального распределения Binomial(n=10, p=0.3). Настройте ползунок, чтобы наблюдать форму распределения при разных значениях p:
Сценарии применения в ИИ
Метки бинарной классификации = распределение Бернулли
Логистическая регрессия и бинарные классификаторы моделируют метку y ∈ {0,1} как распределение Бернулли: P(y=1|x) = \sigma(wx+b), P(y=0|x) = 1-\sigma(wx+b). Потери бинарной кросс-энтропии — это отрицательное логарифмическое правдоподобие при этом предположении. Поэтому выходной слой для задач бинарной классификации использует Sigmoid + BCE.
Многоклассовая классификация = категориальное распределение (одно испытание мультиномиального распределения)
При многоклассовой классификации метки являются one-hot-векторами, а вероятности каждого класса, выдаваемые Softmax, в сумме дают 1. Это эквивалентно одному броску n-гранной «кости» с разными вероятностями для каждой грани. При этом предположении потеря кросс-энтропии равна отрицательному логарифмическому правдоподобию.
Регуляризация Dropout = испытание Бернулли
Во время обучения каждый нейрон сохраняется с вероятностью p (испытание Бернулли) и отбрасывается с вероятностью 1-p. Это эквивалентно обучению другой подсети на каждой итерации, что даёт эффект ансамблевого обучения. Во время тестирования все нейроны активны, но выходы масштабируются на p в качестве компенсации.
Исследование в обучении с подкреплением = выборка из дискретного распределения
DQN часто использует ε-жадную стратегию: с вероятностью ε выбирается случайное действие (Бернулли), а с вероятностью 1-ε выбирается оптимальное действие. Это простейшая стратегия исследования, гарантирующая, что агент не застрянет навсегда в неоптимальной политике.