Кросс-энтропийная потеря, вычисленная вручную

Постройте последовательность предсказаний от «случайного угадывания» до «очень уверенного» и понаблюдайте, как значение кросс-энтропии соответственно уменьшается.

После завершения этого практического примера вы поймёте:Почему в задачах классификации используется кросс-энтропия, а не MSE — она наказывает уверенные, но неверные предсказания более «сурово», чем MSE.


Введение на реальном примере

Оценивание экзамена — неправильные ответы хуже, чем отсутствие ответа

Двое студентов отвечают на вопрос с одним правильным вариантом (ответ — A): Сяохун предсказывает вероятность 0.5 для A (неуверенно, но в правильном направлении), Сяомин предсказывает вероятность 0.95 для C (очень уверенно, но неправильно). Сяохун неуверен, но направление верное; Сяомин не только ошибается, но и очень уверен — такая ошибка гораздо менее простительна.

Кросс-энтропийная потеря — как этот критерий оценивания:Поощрять уверенность, когда предсказания верны; наказывать уверенность, когда предсказания неверны.


Интуитивное понимание

Истинная метка — «cat» (one-hot = [1, 0, 0]). Смоделируйте выход модели от «случайного угадывания» до «становится всё точнее по мере обучения»:

  • Полностью случайное угадывание [0.33, 0.33, 0.34] → потеря 1.10
  • Очень уверенно и правильно [0.98, 0.01, 0.01] → потеря 0.02
  • Очень уверенно, но неправильно [0.02, 0.9, 0.08] → потеря 3.91 (почти в 4 раза выше, чем при случайном угадывании!)

Последнее значение заслуживает внимания: потому что -log(0.02) ≈ 3.91, тогда как -log(0.33) ≈ 1.10.


Математическое определение

\[ H(p, q) = -\sum_{i=1}^{C} p_i \cdot \log(q_i) \]

\(p\) — истинное распределение (one-hot), \(q\) — предсказанное распределение. Для «уверенного, но неправильного» предсказания кросс-энтропия = -log(0.02) ≈ 3.91, MSE = (1-0.02)^2 ≈ 0.96. Штраф кросс-энтропии в 12 раз больше, чем у MSE.


Практическое занятие по Python

Пример

import numpy as np

def cross_entropy(p_true, q_pred, eps=1e-12):
    q_pred = np.clip(q_pred, eps, 1 - eps)
    return -np.sum(p_true * np.log(q_pred))

# Истинная метка: cat (класс 0)
p_true = np.array([1, 0, 0])  # [cat, dog, bird]

predictions = {
    "Полностью случайное угадывание (равномерное)": np.array([0.33, 0.33, 0.34]),
    "Слабое предчувствие": np.array([0.5, 0.3, 0.2]),
    "Постепенно становится надёжным": np.array([0.7, 0.2, 0.1]),
    "Лучше обученный": np.array([0.9, 0.07, 0.03]),
    "Очень уверенный и правильный": np.array([0.98, 0.01, 0.01]),
    "Очень уверенный, но неправильный!": np.array([0.02, 0.9, 0.08]),
}

print(ПРИМЕР Сравнение кросс-энтропийных потерь (Истина: cat=[1,0,0])\n")
print(f"{'Описание предсказания':<20} {'Потеря':<10} {'Анализ'}")
print("-" * 52)
for name, q in predictions.items():
    loss = cross_entropy(p_true, q)
    if loss > 2: analysis = "Критическая ошибка!"
    elif loss > 0.5: analysis = "Верно по направлению, но неуверенно"
    else: analysis = "Очень хорошо"
    print(f"{name:<20} {loss:<10.4f} {analysis}")

# Сравнение MSE и кросс-энтропии
q_bad = predictions["Очень уверенно, но неверно!"]
mse_bad = np.mean((p_true - q_bad) ** 2)
ce_bad = cross_entropy(p_true, q_bad)
print(f"\nПРИМЕР Уверенно, но неверно: MSE={mse_bad:.4f}, Кросс-энтропия={ce_bad:.4f} (жестко: {ce_bad/mse_bad:.0f}x))
EXAMPLE 交叉熵损失对比 (真实: 猫=[1,0,0])

预测描述               损失        分析
----------------------------------------------------
完全瞎猜 (均匀)        1.0986     方向对但不确定
有点感觉               0.6931     方向对但不确定
逐渐靠谱               0.3567     很好
训练较好               0.1054     很好
非常自信且正确         0.0202     很好
非常自信但错误!       3.9120     严重错误!

EXAMPLE 自信但错误时: MSE=0.3260, 交叉熵=3.9120 (严厉 12x)

Сценарии применения в ИИ

СценарийИспользуемая функция потерь
Классификация изображенийМногоклассовая кросс-энтропия (CategoricalCrossEntropy)
Языковая модельСумма кросс-энтропии на каждой позиции токена — целевая функция для обучения GPT
Дистилляция знанийИспользовать мягкие метки модели-учителя для кросс-энтропии
Другие расширения