Кросс-энтропия и дивергенция KL -- измерение различия между распределениями

Кросс-энтропия — наиболее часто используемая функция потерь для задач классификации.Дивергенция KL измеряет, насколько различаются два вероятностных распределения.


Анализ концепции

В предыдущей главе мы узнали об энтропии — измерении неупорядоченности одного распределения самого по себе. Два понятия в этой главе измеряютразличие между двумя распределениями, что напрямую определяет построение функций потерь в задачах классификации.

Кросс-энтропия

\[ H(p, q) = -\sum_x p(x) \log q(x) \]

Смысл: сколько информации в среднем расходуется при кодировании данных из истинного распределения p с помощью предсказанного распределения q.

Дивергенция KL (относительная энтропия)

\[ D_{KL}(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} = \underbrace{H(p,q)}_{\text{cross-entropy}} - \underbrace{H(p)}_{\text{true entropy}} \]

Смысл: дополнительная информация, которая тратится впустую после замены p на q. KL ≥ 0, и когда она равна 0, p = q.

Дивергенция KLасимметрична: D_KL(p||q) ≠ D_KL(q||p), поэтому это не настоящее «расстояние».

Когда истинное распределение p является one-hot (детерминированным), H(p) = 0, и кросс-энтропия равна дивергенции KL.

Почему в классификации используется кросс-энтропия, а не MSE?

Градиент кросс-энтропии + Softmax = \( \hat{y} - y \) (предсказание - истина), что просто и эффективно.

Градиент MSE + Softmax стремится к 0, когда предсказание уверенное, — исчезающий градиент, что делает обучение невозможным.


Примеры из реальной жизни

Проектирование кодовой книги

Вы пишете буквы, используя набор кодов (короткие коды представляют частые символы, длинные коды — редкие символы).

Но если ваши коды спроектированы на основе частот английского языка, а вы пишете на китайском, эффективность кодирования низка.

Использование неверного распределения q для кодирования данных из истинного распределения p приводит к трате лишних битов = KL-дивергенция.


Практическое занятие по Python

Пример

import numpy as np

def cross_entropy(p, q):
    return -np.sum(p * np.log(q + 1e-10))

p_true = np.array([1.0, 0.0, 0.0])  # Истина: класс 0

for q, desc in [([0.9,0.05,0.05],"Хорошее предсказание"),
                ([0.4,0.3,0.3],"Неоднозначное"),
                ([0.1,0.8,0.1],"Неверное")]:
    print(f"{desc}: кросс-энтропия={cross_entropy(p_true, q):.4f}")

# Сравнение градиентов CE и MSE
print("\n"Очень плохое предсказание (y_pred=0.01, true=1): градиент CE=-100, градиент MSE=-1.98")
print("CE даёт большой градиент, когда предсказания неверны → быстро обучается")

Вывод при запуске:

好预测: 交叉熵=0.1054
模糊: 交叉熵=0.9163
错误: 交叉熵=2.3026

预测很差(y_pred=0.01, 真=1): CE梯度=-100, MSE梯度=-1.98
CE在预测错误时给出大梯度 → 学得快

Сравнение градиентов кросс-энтропии и MSE


Сценарии применения в ИИ

Стандарт для задач классификации: кросс-энтропийная потеря

nn.CrossEntropyLoss из PyTorch и categorical_crossentropy из TensorFlow — это стандартные функции потерь для задач классификации. Внутри они объединяют Softmax + отрицательное логарифмическое правдоподобие — одна функция потерь выполняет и активацию, и вычисление потерь, а форма градиента чрезвычайно проста: \( \nabla = \hat{y} - y \).

Почему не использовать MSE для классификации? Свойства градиента определяют эффективность

Когда модель предсказывает неверно (например, вероятность истинного класса должна быть близка к 1, но предсказана как 0.01), градиент кросс-энтропии составляет около -100 — это даёт чрезвычайно сильный корректирующий сигнал. У MSE же в той же ситуации градиент всего -1.98 — он почти не обучается. Это объясняет, почему MSE сходится чрезвычайно медленно или даже не сходится в задачах классификации.

KL-дивергенция при дистилляции знаний

Дистилляция знаний: используйте выход Softmax большой модели (учителя) как мягкие метки для обучения маленькой модели (ученика). Ученик должен не только соответствовать истинным меткам, но и минимизировать дивергенцию между своим выходным распределением и распределением учителя с помощью KL-дивергенции. Мягкие метки содержат информацию о сходстве между классами (например, выходные вероятности для «кошки» и «тигра» обе выше, чем для «машины»), что является тёмным знанием, которого нет у one-hot меток.

Регуляризационный член KL-дивергенции в VAE

Функция потерь VAE = ошибка реконструкции + KL(N(μ,σ²) || N(0,I)). Член KL ограничивает латентное распределение, выводимое энкодером, чтобы для каждого образца оно не отклонялось слишком сильно от стандартного нормального — это действует как регуляризатор, обеспечивая непрерывность и гладкость латентного пространства, а образцы из разных классов могут плавно переходить друг в друга в латентном пространстве.

KL-ограничение в RLHF

Модели, такие как ChatGPT, при тонкой настройке с помощью RLHF (обучение с подкреплением на основе обратной связи от людей) добавляют ограничение по дивергенции KL в целевую функцию оптимизации: не позволять текущей политике слишком сильно отклоняться от исходной модели SFT. Это предотвращает выдачу моделью странного текста в угоду модели вознаграждения и сохраняет качество генерации.


Другие расширения