Manuell berechneter Kreuzentropie-Verlust

Konstruieren Sie eine Vorhersagereihe vom „zufälligen Raten“ bis zum „sehr sicheren“ Urteil und beobachten Sie, wie der Kreuzentropie-Wert entsprechend sinkt.

Nach Abschluss dieser Fallstudie werden Sie verstehen:Warum Klassifikationsaufgaben Kreuzentropie statt MSE verwenden — sie bestraft selbstsichere, aber falsche Vorhersagen „stärker“ als MSE.


Einführung aus dem Alltag

Prüfungsbewertung — Falsche Antworten sind schlimmer als keine Antwort

Die Leistung zweier Studierender bei einer Single-Choice-Frage (Antwort ist A): Xiaohong sagt eine Wahrscheinlichkeit von 0.5 für A voraus (unsicher, aber richtige Richtung), Xiaoming sagt eine Wahrscheinlichkeit von 0.95 für C voraus (sehr selbstsicher falsch). Xiaohong ist unsicher, aber richtungsmäßig korrekt; Xiaoming liegt nicht nur falsch, sondern ist auch sehr selbstsicher — ein solcher Fehler ist unverzeihlicher.

Der Cross-Entropy-Verlust ist wie dieser Bewertungsstandard:Belohne Zuversicht, wenn Vorhersagen korrekt sind, bestrafe Zuversicht, wenn Vorhersagen falsch sind.


Intuitive Vorstellung

Das wahre Label ist "cat" (One-Hot = [1, 0, 0]). Simuliere die Ausgabe des Modells von "zufälligem Raten" bis "mit dem Training genauer werdend":

  • Völlig zufälliges Raten [0.33, 0.33, 0.34] → Verlust 1.10
  • Sehr zuversichtlich und korrekt [0.98, 0.01, 0.01] → Verlust 0.02
  • Sehr zuversichtlich, aber falsch [0.02, 0.9, 0.08] → Verlust 3.91 (fast 4-mal höher als zufälliges Raten!)

Der letzte Wert verdient Beachtung: denn -log(0.02) ≈ 3.91, während -log(0.33) ≈ 1.10.


Mathematische Definition

\[ H(p, q) = -\sum_{i=1}^{C} p_i \cdot \log(q_i) \]

\(p\) ist die wahre Verteilung (One-Hot), \(q\) ist die vorhergesagte Verteilung. Für eine "zuversichtliche, aber falsche" Vorhersage gilt: Cross-Entropy = -log(0.02) ≈ 3.91, MSE = (1-0.02)^2 ≈ 0.96. Die Strafe der Cross-Entropy ist 12-mal so hoch wie die von MSE.


Python-Praxisübung

Beispiel

import numpy as np

def cross_entropy(p_true, q_pred, eps=1e-12):
    q_pred = np.clip(q_pred, eps, 1 - eps)
    return -np.sum(p_true * np.log(q_pred))

# Wahres Label: cat (Klasse 0)
p_true = np.array([1, 0, 0])  # [cat, dog, bird]

predictions = {
    "Völlig zufälliges Raten (gleichverteilt)": np.array([0.33, 0.33, 0.34]),
    "Leichtes Gefühl": np.array([0.5, 0.3, 0.2]),
    "Allmählich zuverlässig werdend": np.array([0.7, 0.2, 0.1]),
    "Besser trainiert": np.array([0.9, 0.07, 0.03]),
    "Sehr zuversichtlich und korrekt": np.array([0.98, 0.01, 0.01]),
    "Sehr zuversichtlich, aber falsch!": np.array([0.02, 0.9, 0.08]),
}

print(BEISPIEL Cross-Entropy-Verlustvergleich (Wahr: cat=[1,0,0])\n")
print(f"{'Vorhersagebeschreibung':<20} {'Verlust':<10} {'Analyse'}")
print("-" * 52)
for name, q in predictions.items():
    loss = cross_entropy(p_true, q)
    if loss > 2: analysis = "Kritischer Fehler!"
    elif loss > 0.5: analysis = "Richtungsmäßig korrekt, aber unsicher"
    else: analysis = "Sehr gut"
    print(f"{name:<20} {loss:<10.4f} {analysis}")

# Vergleich MSE vs. Cross-Entropy
q_bad = predictions["Sehr zuversichtlich, aber falsch!"]
mse_bad = np.mean((p_true - q_bad) ** 2)
ce_bad = cross_entropy(p_true, q_bad)
print(f"\nBEISPIEL Zuversichtlich, aber falsch: MSE={mse_bad:.4f}, Cross-Entropy={ce_bad:.4f} (hart {ce_bad/mse_bad:.0f}x))
EXAMPLE 交叉熵损失对比 (真实: 猫=[1,0,0])

预测描述               损失        分析
----------------------------------------------------
完全瞎猜 (均匀)        1.0986     方向对但不确定
有点感觉               0.6931     方向对但不确定
逐渐靠谱               0.3567     很好
训练较好               0.1054     很好
非常自信且正确         0.0202     很好
非常自信但错误!       3.9120     严重错误!

EXAMPLE 自信但错误时: MSE=0.3260, 交叉熵=3.9120 (严厉 12x)

Anwendungsszenarien in der KI

SzenarioVerwendete Verlustfunktion
BildklassifikationMultiklassen-Cross-Entropy (CategoricalCrossEntropy)
SprachmodellSumme der Cross-Entropy an jeder Token-Position — die Zielfunktion für das GPT-Training
WissensdestillationVerwende die Soft-Labels des Lehrermodells für Cross-Entropy
Weitere Erweiterungen