離散確率変数 -- サイコロ投げから確率質量関数へ

確率変数は「ランダムな事象」を数学の道具として形式化する。離散確率変数は、有限個または可算個の値を取る。


概念の解説

確率変数

確率変数 = 値が確定しない変数であり、各値に対応する確率が存在する。

PMF(確率質量関数)

\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]

ベルヌーイ分布

1回の試行、2つの結果:P(成功)=p、P(失敗)=1-p。二値分類問題の数学的モデル化。

二項分布

\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]

n回の独立なベルヌーイ試行で、成功がk回となる確率。


身近な例

サイコロ投げ:Xは出た目であり、P(X=1)=1/6、P(X=2)=1/6、...。

コインを10回投げ、表が出た回数Xは二項分布Binomial(10, 0.5)に従い、最も可能性が高いのは5回。


Python での実践

実例

import numpy as np

# サイコロ投げのPMF
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
    print(f"出目{v}: {np.mean(rolls==v):.4f}")

# ベルヌーイ
print(f"\n"ベルヌーイ p=0.3、1000回試行、成功率={np.random.binomial(1,0.3,1000).mean():.3f}")

# 二項分布 Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"二項分布 n=10,p=0.3: 最も可能性が高い k={k_best} (理論=np=3)")

実行結果:

点数1: 0.1628
点数2: 0.1661
点数3: 0.1686
点数4: 0.1686
点数5: 0.1637
点数6: 0.1702

伯努利 p=0.3, 1000次试验, 成功率=0.295
二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)

二項分布のPMFインタラクティブグラフ

二項分布 Binomial(n=10, p=0.3) の確率質量関数(PMF)。スライダーを調整して、異なる p 値における分布の形状を確認してください:


AIでの応用シーン

二値分類ラベル = ベルヌーイ分布

ロジスティック回帰や二値分類器は、ラベル y ∈ {0,1} をベルヌーイ分布としてモデル化する:P(y=1|x) = \sigma(wx+b)、P(y=0|x) = 1-\sigma(wx+b)。二値交差エントロピー損失は、この仮定の下での負の対数尤度である。これが二値分類タスクの出力層で Sigmoid + BCE を使う理由である。

多クラス分類 = カテゴリ分布(多項分布の1回の試行)

多クラス分類ではラベルは one-hot ベクトルであり、Softmax の出力における各クラスの確率の合計は 1 になる。これは、面ごとに確率が異なる n 面の「サイコロ」を1回振る試行に相当する。交差エントロピー損失は、この仮定の下で負の対数尤度に等しくなる。

Dropout正則化 = ベルヌーイ試行

トレーニング時は各ニューロンが確率 p で保持され(ベルヌーイ試行)、確率 1-p でドロップされる。これは毎回の反復で異なるサブネットワークを学習することに相当し、アンサンブル学習の効果をもたらす。テスト時はすべてのニューロンが活性化するが、出力に p を掛けてスケール補正を行う。

強化学習における探索 = 離散分布からのサンプリング

DQN ではよく ε-グリーディ方策を使用する:ε の確率でランダムに行動を選び(ベルヌーイ)、1-ε の確率で最適な行動を選ぶ。これは最も単純な探索戦略であり、エージェントが永遠に次善の方策に閉じ込められないことを保証する。