Informationsgehalt und Entropie -- Unsicherheit quantifizieren

Die Informationstheorie liefert der KI mathematische Werkzeuge zur Quantifizierung von "Information" und "Unsicherheit".

Je unwahrscheinlicher ein Ereignis ist, desto mehr Information trägt es, sobald es eintritt.


Konzeptanalyse

Die Informationstheorie versucht, eine grundlegende Frage zu beantworten:Wie quantifizieren wir die Menge an "Information", die in einer Nachricht enthalten ist?

Zentrale Erkenntnis: Der Informationsgehalt ist umgekehrt proportional zur Wahrscheinlichkeit eines Ereignisses — je unwahrscheinlicher ein Ereignis ist, desto mehr Information liefert es, sobald es eintritt.

Warum ist der Informationsgehalt als -log P(x) definiert?

Diese Definition umfasst drei der natürlichsten Intuitionen:

  • Umgekehrte Beziehung: Je kleiner P(x) ist (je überraschender), desto größer sollte I(x) sein. Das negative Vorzeichen gewährleistet dies.
  • Additivität: Der Informationsgehalt zweier unabhängiger Ereignisse, die gemeinsam eintreten, ist gleich der Summe ihrer einzelnen Informationsgehalte. Der Logarithmus verwandelt das Produkt der Wahrscheinlichkeiten in eine Addition der Informationsgehalte: \( -\log(p_1 \cdot p_2) = -\log p_1 + (-\log p_2) \)
  • Sichere Ereignisse sind null: Wenn ein sicheres Ereignis P=1 hat, \( -\log 1 = 0 \) — bekannte Tatsachen liefern keine Information.

Informationsgehalt (Selbstinformation)

\[ I(x) = -\log P(x) \]

Basis 2 → Einheit Bits, Basis e → Einheit Nats. In der KI wird häufig der natürliche Logarithmus verwendet (praktisch für die Differentiation).

Entropie: Erwartungswert des Informationsgehalts

\[ H(X) = -\sum_x P(x) \log P(x) \]

Entropie misst die Unsicherheit der gesamten Wahrscheinlichkeitsverteilung.

  • Sichere Ereignisse (P=1): H = 0 (überhaupt keine Unsicherheit)
  • Gleichverteilung: H erreicht sein Maximum (am unsichersten)

Höhere Entropie = schwerer vorherzusagen. Dies liefert die theoretische Grundlage für Split-Kriterien von Entscheidungsbäumen (Informationsgewinn) und Explorationsstrategien im Reinforcement Learning.


Praxisbeispiele

Nachrichtenwert

"Morgen wird die Sonne aufgehen" → Informationsgehalt ≈ 0 (das wusstest du bereits).

「明天Yes 8 levelground震」→ extrem hoher Informationsgehalt (ein extrem seltenes Ereignis ist eingetreten).

Je überraschender die Nachricht, desto größer der Informationsgehalt — das ist die Intuition hinter I(x) = -log P(x).


Python-Praxisübung

Beispiel

import numpy as np

def entropy(probs):
    probs = np.array(probs)
    probs = probs[probs > 0]
    return -np.sum(probs * np.log(probs))

print("Sichere Verteilung [1,0,0]:", entropy([1,0,0]))         # 0
print("2-Klassen-Gleichverteilung [0.5,0.5]:", entropy([0.5,0.5]))     # 0.693
print("10-Klassen-Gleichverteilung:", entropy([0.1]*10))                # 2.303
print("Verzerrt [0.9,0.05,0.05]:", entropy([0.9,0.05,0.05]))  # 0.394

Ausgabe:

确定分布 [1,0,0]: 0.0
2类均匀 [0.5,0.5]: 0.6931471805599453
10类均匀: 2.302585092994046
有偏 [0.9,0.05,0.05]: 0.3944479480436973

Entropiekurve für binäre Klassifikation


Anwendungsszenarien in der KI

Kriterium für Entscheidungsbaum-Aufteilung: Informationsgewinn

Wenn ein Entscheidungsbaum ein Aufteilungsmerkmal wählt, berechnet er die Differenz der Entropie vor und nach der Aufteilung — Informationsgewinn = H(vor der Aufteilung) - H(nach der Aufteilung). Er wählt das Merkmal und den Aufteilungspunkt mit dem größten Informationsgewinn. Die Algorithmen C4.5 und ID3 basieren beide auf diesem Prinzip.

Kreuzentropie-Verlust = Minimierung der Differenz zwischen vorhergesagter Verteilung und wahrer Verteilung

Bei Klassifikationsaufgaben ist die Entropie der wahren Verteilung p (One-Hot-Labels) H(p)=0, und die Kreuzentropie H(p,q) entspricht KL(p||q). Kreuzentropie minimieren = die vorhergesagte Verteilung q so nah wie möglich an die wahre Verteilung p bringen. Das nächste Kapitel wird dies ausführen.

Entropie-Regularisierung im Reinforcement Learning

Der SAC-Algorithmus (Soft Actor-Critic) fügt dem Optimierungsziel einen Policy-Entropie-Term hinzu: Belohnung maximieren + \( \alpha \cdot H(\pi) \). Dies ermutigt die Policy, ein gewisses Maß an Zufälligkeit beizubehalten (nicht zu sicher zu sein), fördert die Exploration und verhindert vorzeitige Konvergenz zu suboptimalen Policies. \(\alpha\) ist der Entropie-Regularisierungskoeffizient und steuert die Balance zwischen Exploration und Exploitation.

Entropie bei der Modellkalibrierung

Ein guter Klassifikator hat nicht nur eine hohe Genauigkeit, sondern die Entropie seiner vorhergesagten Verteilung sollte auch die tatsächliche Unsicherheit widerspiegeln. Wenn das Modell auf Out-of-Distribution-(OOD-)Stichproben trifft, sollte die Entropie der Softmax-Ausgabe idealerweise hoch sein (nahe an einer Gleichverteilung), was "Ich bin unsicher" anzeigt. Wenn die Entropie sehr niedrig ist, aber die Vorhersage falsch ist, ist das Modell übermäßig selbstsicher.


Weitere Erweiterungen