離散確率変数 -- サイコロ投げから確率質量関数へ
確率変数は「ランダムな事象」を数学の道具として形式化する。離散確率変数は、有限個または可算個の値を取る。
概念の解説
確率変数
確率変数 = 値が確定しない変数であり、各値に対応する確率が存在する。
PMF(確率質量関数)
\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]ベルヌーイ分布
1回の試行、2つの結果:P(成功)=p、P(失敗)=1-p。二値分類問題の数学的モデル化。
二項分布
\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]n回の独立なベルヌーイ試行で、成功がk回となる確率。
身近な例
サイコロ投げ:Xは出た目であり、P(X=1)=1/6、P(X=2)=1/6、...。
コインを10回投げ、表が出た回数Xは二項分布Binomial(10, 0.5)に従い、最も可能性が高いのは5回。
Python での実践
実例
# サイコロ投げのPMF
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
print(f"出目{v}: {np.mean(rolls==v):.4f}")
# ベルヌーイ
print(f"\n"ベルヌーイ p=0.3、1000回試行、成功率={np.random.binomial(1,0.3,1000).mean():.3f}")
# 二項分布 Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"二項分布 n=10,p=0.3: 最も可能性が高い k={k_best} (理論=np=3)")
実行結果:
点数1: 0.1628 点数2: 0.1661 点数3: 0.1686 点数4: 0.1686 点数5: 0.1637 点数6: 0.1702 伯努利 p=0.3, 1000次试验, 成功率=0.295 二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)
二項分布のPMFインタラクティブグラフ
二項分布 Binomial(n=10, p=0.3) の確率質量関数(PMF)。スライダーを調整して、異なる p 値における分布の形状を確認してください:
AIでの応用シーン
二値分類ラベル = ベルヌーイ分布
ロジスティック回帰や二値分類器は、ラベル y ∈ {0,1} をベルヌーイ分布としてモデル化する:P(y=1|x) = \sigma(wx+b)、P(y=0|x) = 1-\sigma(wx+b)。二値交差エントロピー損失は、この仮定の下での負の対数尤度である。これが二値分類タスクの出力層で Sigmoid + BCE を使う理由である。
多クラス分類 = カテゴリ分布(多項分布の1回の試行)
多クラス分類ではラベルは one-hot ベクトルであり、Softmax の出力における各クラスの確率の合計は 1 になる。これは、面ごとに確率が異なる n 面の「サイコロ」を1回振る試行に相当する。交差エントロピー損失は、この仮定の下で負の対数尤度に等しくなる。
Dropout正則化 = ベルヌーイ試行
トレーニング時は各ニューロンが確率 p で保持され(ベルヌーイ試行)、確率 1-p でドロップされる。これは毎回の反復で異なるサブネットワークを学習することに相当し、アンサンブル学習の効果をもたらす。テスト時はすべてのニューロンが活性化するが、出力に p を掛けてスケール補正を行う。
強化学習における探索 = 離散分布からのサンプリング
DQN ではよく ε-グリーディ方策を使用する:ε の確率でランダムに行動を選び(ベルヌーイ)、1-ε の確率で最適な行動を選ぶ。これは最も単純な探索戦略であり、エージェントが永遠に次善の方策に閉じ込められないことを保証する。