Diskrete Zufallsvariablen -- Vom Würfeln zur Wahrscheinlichkeitsmassefunktion

Eine Zufallsvariable formalisiert "zufällige Ereignisse" als mathematisches Werkzeug.Eine diskrete Zufallsvariable nimmt eine endliche oder abzählbare Anzahl von Werten an.


Konzeptanalyse

Zufallsvariable

Zufallsvariable = eine Variable, deren Wert unsicher ist und bei der jedem Wert eine Wahrscheinlichkeit zugeordnet ist.

PMF (Wahrscheinlichkeitsmassefunktion)

\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]

Bernoulli-Verteilung

Ein Versuch, zwei Ergebnisse: P(Erfolg)=p, P(Misserfolg)=1-p. Mathematische Modellierung für binäre Klassifikationsprobleme.

Binomialverteilung

\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]

Die Wahrscheinlichkeit für k Erfolge in n unabhängigen Bernoulli-Versuchen.


Beispiele aus der Praxis

Einen Würfel werfen: X ist die Augenzahl, P(X=1)=1/6, P(X=2)=1/6, ...

Eine Münze 10-mal werfen; die Anzahl der Kopf-Ergebnisse X folgt einer Binomialverteilung Binomial(10, 0.5), und der wahrscheinlichste Wert ist 5.


Praktische Python-Übung

Beispiel

import numpy as np

# PMF beim Würfeln
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
    print(f"Value {v}: {np.mean(rolls==v):.4f}")

# Bernoulli
print(f"\nBernoulli p=0.3, 1000 Versuche, Erfolgsrate={np.random.binomial(1,0.3,1000).mean():.3f}")

# Binomialverteilung: Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"Binomialverteilung n=10,p=0.3: wahrscheinlichstes k={k_best} (theoretisch=np=3)")

Ausgabe:

点数1: 0.1628
点数2: 0.1661
点数3: 0.1686
点数4: 0.1686
点数5: 0.1637
点数6: 0.1702

伯努利 p=0.3, 1000次试验, 成功率=0.295
二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)

Interaktives PMF-Diagramm der Binomialverteilung

Wahrscheinlichkeitsmassefunktion (PMF) der Binomialverteilung Binomial(n=10, p=0.3). Passen Sie den Schieberegler an, um die Form der Verteilung bei verschiedenen p-Werten zu beobachten:


Anwendungsszenarien in der KI

Binäre Klassifikationslabels = Bernoulli-Verteilung

Logistische Regression und binäre Klassifikatoren modellieren das Label y ∈ {0,1} als Bernoulli-Verteilung: P(y=1|x) = \sigma(wx+b), P(y=0|x) = 1-\sigma(wx+b). Der binäre Cross-Entropy-Verlust ist die negative Log-Likelihood unter dieser Annahme. Deshalb verwendet die Ausgabeschicht für binäre Klassifikationsaufgaben Sigmoid + BCE.

Multiklassen-Klassifikation = kategorische Verteilung (ein einzelner Versuch einer Multinomialverteilung)

Bei der Multi-Klasse-Klassifikation sind Labels One-Hot-Vektoren, und die von Softmax ausgegebenen Wahrscheinlichkeiten jeder Klasse summieren sich zu 1. Dies entspricht einem einzelnen Wurf eines n-seitigen "Würfels" mit unterschiedlichen Wahrscheinlichkeiten für jede Seite. Unter dieser Annahme entspricht der Cross-Entropy-Verlust der negativen Log-Likelihood.

Dropout-Regularisierung = Bernoulli-Versuch

Während des Trainings wird jedes Neuron mit Wahrscheinlichkeit p (einem Bernoulli-Versuch) beibehalten und mit Wahrscheinlichkeit 1-p verworfen. Dies entspricht dem Training eines anderen Teilnetzwerks bei jeder Iteration, wodurch ein Ensemble-Lerneffekt erzielt wird. Zur Testzeit sind alle Neuronen aktiv, aber die Ausgaben werden zur Kompensation mit p skaliert.

Exploration im Reinforcement Learning = Sampling aus einer diskreten Verteilung

DQN verwendet häufig die ε-greedy-Strategie: Mit Wahrscheinlichkeit ε wird eine zufällige Aktion gewählt (Bernoulli), und mit Wahrscheinlichkeit 1-ε wird die optimale Aktion gewählt. Dies ist die einfachste Explorationsstrategie, die sicherstellt, dass der Agent nicht für immer in einer suboptimalen Policy feststeckt.