Кросс-энтропийная потеря, вычисленная вручную
Постройте последовательность предсказаний от «случайного угадывания» до «очень уверенного» и понаблюдайте, как значение кросс-энтропии соответственно уменьшается.
После завершения этого практического примера вы поймёте:Почему в задачах классификации используется кросс-энтропия, а не MSE — она наказывает уверенные, но неверные предсказания более «сурово», чем MSE.
Введение на реальном примере
Оценивание экзамена — неправильные ответы хуже, чем отсутствие ответа
Двое студентов отвечают на вопрос с одним правильным вариантом (ответ — A): Сяохун предсказывает вероятность 0.5 для A (неуверенно, но в правильном направлении), Сяомин предсказывает вероятность 0.95 для C (очень уверенно, но неправильно). Сяохун неуверен, но направление верное; Сяомин не только ошибается, но и очень уверен — такая ошибка гораздо менее простительна.
Кросс-энтропийная потеря — как этот критерий оценивания:Поощрять уверенность, когда предсказания верны; наказывать уверенность, когда предсказания неверны.
Интуитивное понимание
Истинная метка — «cat» (one-hot = [1, 0, 0]). Смоделируйте выход модели от «случайного угадывания» до «становится всё точнее по мере обучения»:
- Полностью случайное угадывание [0.33, 0.33, 0.34] → потеря 1.10
- Очень уверенно и правильно [0.98, 0.01, 0.01] → потеря 0.02
- Очень уверенно, но неправильно [0.02, 0.9, 0.08] → потеря 3.91 (почти в 4 раза выше, чем при случайном угадывании!)
Последнее значение заслуживает внимания: потому что -log(0.02) ≈ 3.91, тогда как -log(0.33) ≈ 1.10.
Математическое определение
\[ H(p, q) = -\sum_{i=1}^{C} p_i \cdot \log(q_i) \]\(p\) — истинное распределение (one-hot), \(q\) — предсказанное распределение. Для «уверенного, но неправильного» предсказания кросс-энтропия = -log(0.02) ≈ 3.91, MSE = (1-0.02)^2 ≈ 0.96. Штраф кросс-энтропии в 12 раз больше, чем у MSE.
Практическое занятие по Python
Пример
def cross_entropy(p_true, q_pred, eps=1e-12):
q_pred = np.clip(q_pred, eps, 1 - eps)
return -np.sum(p_true * np.log(q_pred))
# Истинная метка: cat (класс 0)
p_true = np.array([1, 0, 0]) # [cat, dog, bird]
predictions = {
"Полностью случайное угадывание (равномерное)": np.array([0.33, 0.33, 0.34]),
"Слабое предчувствие": np.array([0.5, 0.3, 0.2]),
"Постепенно становится надёжным": np.array([0.7, 0.2, 0.1]),
"Лучше обученный": np.array([0.9, 0.07, 0.03]),
"Очень уверенный и правильный": np.array([0.98, 0.01, 0.01]),
"Очень уверенный, но неправильный!": np.array([0.02, 0.9, 0.08]),
}
print(ПРИМЕР Сравнение кросс-энтропийных потерь (Истина: cat=[1,0,0])\n")
print(f"{'Описание предсказания':<20} {'Потеря':<10} {'Анализ'}")
print("-" * 52)
for name, q in predictions.items():
loss = cross_entropy(p_true, q)
if loss > 2: analysis = "Критическая ошибка!"
elif loss > 0.5: analysis = "Верно по направлению, но неуверенно"
else: analysis = "Очень хорошо"
print(f"{name:<20} {loss:<10.4f} {analysis}")
# Сравнение MSE и кросс-энтропии
q_bad = predictions["Очень уверенно, но неверно!"]
mse_bad = np.mean((p_true - q_bad) ** 2)
ce_bad = cross_entropy(p_true, q_bad)
print(f"\nПРИМЕР Уверенно, но неверно: MSE={mse_bad:.4f}, Кросс-энтропия={ce_bad:.4f} (жестко: {ce_bad/mse_bad:.0f}x))
EXAMPLE 交叉熵损失对比 (真实: 猫=[1,0,0]) 预测描述 损失 分析 ---------------------------------------------------- 完全瞎猜 (均匀) 1.0986 方向对但不确定 有点感觉 0.6931 方向对但不确定 逐渐靠谱 0.3567 很好 训练较好 0.1054 很好 非常自信且正确 0.0202 很好 非常自信但错误! 3.9120 严重错误! EXAMPLE 自信但错误时: MSE=0.3260, 交叉熵=3.9120 (严厉 12x)
Сценарии применения в ИИ
| Сценарий | Используемая функция потерь |
|---|---|
| Классификация изображений | Многоклассовая кросс-энтропия (CategoricalCrossEntropy) |
| Языковая модель | Сумма кросс-энтропии на каждой позиции токена — целевая функция для обучения GPT |
| Дистилляция знаний | Использовать мягкие метки модели-учителя для кросс-энтропии |