Diskrete Zufallsvariablen -- Vom Würfeln zur Wahrscheinlichkeitsmassefunktion
Eine Zufallsvariable formalisiert "zufällige Ereignisse" als mathematisches Werkzeug.Eine diskrete Zufallsvariable nimmt eine endliche oder abzählbare Anzahl von Werten an.
Konzeptanalyse
Zufallsvariable
Zufallsvariable = eine Variable, deren Wert unsicher ist und bei der jedem Wert eine Wahrscheinlichkeit zugeordnet ist.
PMF (Wahrscheinlichkeitsmassefunktion)
\[ P(X = x_k) = p_k, \quad \sum_k p_k = 1 \]Bernoulli-Verteilung
Ein Versuch, zwei Ergebnisse: P(Erfolg)=p, P(Misserfolg)=1-p. Mathematische Modellierung für binäre Klassifikationsprobleme.
Binomialverteilung
\[ P(X=k) = \binom{n}{k} p^k (1-p)^{n-k} \]Die Wahrscheinlichkeit für k Erfolge in n unabhängigen Bernoulli-Versuchen.
Beispiele aus der Praxis
Einen Würfel werfen: X ist die Augenzahl, P(X=1)=1/6, P(X=2)=1/6, ...
Eine Münze 10-mal werfen; die Anzahl der Kopf-Ergebnisse X folgt einer Binomialverteilung Binomial(10, 0.5), und der wahrscheinlichste Wert ist 5.
Praktische Python-Übung
Beispiel
# PMF beim Würfeln
rolls = np.random.randint(1, 7, size=10000)
for v in range(1, 7):
print(f"Value {v}: {np.mean(rolls==v):.4f}")
# Bernoulli
print(f"\nBernoulli p=0.3, 1000 Versuche, Erfolgsrate={np.random.binomial(1,0.3,1000).mean():.3f}")
# Binomialverteilung: Binomial(10, 0.3)
samples = np.random.binomial(10, 0.3, 10000)
k_best = np.bincount(samples).argmax()
print(f"Binomialverteilung n=10,p=0.3: wahrscheinlichstes k={k_best} (theoretisch=np=3)")
Ausgabe:
点数1: 0.1628 点数2: 0.1661 点数3: 0.1686 点数4: 0.1686 点数5: 0.1637 点数6: 0.1702 伯努利 p=0.3, 1000次试验, 成功率=0.295 二项分布 n=10,p=0.3: 最可能 k=3 (理论=np=3)
Interaktives PMF-Diagramm der Binomialverteilung
Wahrscheinlichkeitsmassefunktion (PMF) der Binomialverteilung Binomial(n=10, p=0.3). Passen Sie den Schieberegler an, um die Form der Verteilung bei verschiedenen p-Werten zu beobachten:
Anwendungsszenarien in der KI
Binäre Klassifikationslabels = Bernoulli-Verteilung
Logistische Regression und binäre Klassifikatoren modellieren das Label y ∈ {0,1} als Bernoulli-Verteilung: P(y=1|x) = \sigma(wx+b), P(y=0|x) = 1-\sigma(wx+b). Der binäre Cross-Entropy-Verlust ist die negative Log-Likelihood unter dieser Annahme. Deshalb verwendet die Ausgabeschicht für binäre Klassifikationsaufgaben Sigmoid + BCE.
Multiklassen-Klassifikation = kategorische Verteilung (ein einzelner Versuch einer Multinomialverteilung)
Bei der Multi-Klasse-Klassifikation sind Labels One-Hot-Vektoren, und die von Softmax ausgegebenen Wahrscheinlichkeiten jeder Klasse summieren sich zu 1. Dies entspricht einem einzelnen Wurf eines n-seitigen "Würfels" mit unterschiedlichen Wahrscheinlichkeiten für jede Seite. Unter dieser Annahme entspricht der Cross-Entropy-Verlust der negativen Log-Likelihood.
Dropout-Regularisierung = Bernoulli-Versuch
Während des Trainings wird jedes Neuron mit Wahrscheinlichkeit p (einem Bernoulli-Versuch) beibehalten und mit Wahrscheinlichkeit 1-p verworfen. Dies entspricht dem Training eines anderen Teilnetzwerks bei jeder Iteration, wodurch ein Ensemble-Lerneffekt erzielt wird. Zur Testzeit sind alle Neuronen aktiv, aber die Ausgaben werden zur Kompensation mit p skaliert.
Exploration im Reinforcement Learning = Sampling aus einer diskreten Verteilung
DQN verwendet häufig die ε-greedy-Strategie: Mit Wahrscheinlichkeit ε wird eine zufällige Aktion gewählt (Bernoulli), und mit Wahrscheinlichkeit 1-ε wird die optimale Aktion gewählt. Dies ist die einfachste Explorationsstrategie, die sicherstellt, dass der Agent nicht für immer in einer suboptimalen Policy feststeckt.