Кросс-энтропия и дивергенция KL -- измерение различия между распределениями
Кросс-энтропия — наиболее часто используемая функция потерь для задач классификации.Дивергенция KL измеряет, насколько различаются два вероятностных распределения.
Анализ концепции
В предыдущей главе мы узнали об энтропии — измерении неупорядоченности одного распределения самого по себе. Два понятия в этой главе измеряютразличие между двумя распределениями, что напрямую определяет построение функций потерь в задачах классификации.
Кросс-энтропия
\[ H(p, q) = -\sum_x p(x) \log q(x) \]Смысл: сколько информации в среднем расходуется при кодировании данных из истинного распределения p с помощью предсказанного распределения q.
Дивергенция KL (относительная энтропия)
\[ D_{KL}(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} = \underbrace{H(p,q)}_{\text{cross-entropy}} - \underbrace{H(p)}_{\text{true entropy}} \]Смысл: дополнительная информация, которая тратится впустую после замены p на q. KL ≥ 0, и когда она равна 0, p = q.
Дивергенция KLасимметрична: D_KL(p||q) ≠ D_KL(q||p), поэтому это не настоящее «расстояние».
Когда истинное распределение p является one-hot (детерминированным), H(p) = 0, и кросс-энтропия равна дивергенции KL.
Почему в классификации используется кросс-энтропия, а не MSE?
Градиент кросс-энтропии + Softmax = \( \hat{y} - y \) (предсказание - истина), что просто и эффективно.
Градиент MSE + Softmax стремится к 0, когда предсказание уверенное, — исчезающий градиент, что делает обучение невозможным.
Примеры из реальной жизни
Проектирование кодовой книги
Вы пишете буквы, используя набор кодов (короткие коды представляют частые символы, длинные коды — редкие символы).
Но если ваши коды спроектированы на основе частот английского языка, а вы пишете на китайском, эффективность кодирования низка.
Использование неверного распределения q для кодирования данных из истинного распределения p приводит к трате лишних битов = KL-дивергенция.
Практическое занятие по Python
Пример
def cross_entropy(p, q):
return -np.sum(p * np.log(q + 1e-10))
p_true = np.array([1.0, 0.0, 0.0]) # Истина: класс 0
for q, desc in [([0.9,0.05,0.05],"Хорошее предсказание"),
([0.4,0.3,0.3],"Неоднозначное"),
([0.1,0.8,0.1],"Неверное")]:
print(f"{desc}: кросс-энтропия={cross_entropy(p_true, q):.4f}")
# Сравнение градиентов CE и MSE
print("\n"Очень плохое предсказание (y_pred=0.01, true=1): градиент CE=-100, градиент MSE=-1.98")
print("CE даёт большой градиент, когда предсказания неверны → быстро обучается")
Вывод при запуске:
好预测: 交叉熵=0.1054 模糊: 交叉熵=0.9163 错误: 交叉熵=2.3026 预测很差(y_pred=0.01, 真=1): CE梯度=-100, MSE梯度=-1.98 CE在预测错误时给出大梯度 → 学得快
Сравнение градиентов кросс-энтропии и MSE
Сценарии применения в ИИ
Стандарт для задач классификации: кросс-энтропийная потеря
nn.CrossEntropyLoss из PyTorch и categorical_crossentropy из TensorFlow — это стандартные функции потерь для задач классификации. Внутри они объединяют Softmax + отрицательное логарифмическое правдоподобие — одна функция потерь выполняет и активацию, и вычисление потерь, а форма градиента чрезвычайно проста: \( \nabla = \hat{y} - y \).
Почему не использовать MSE для классификации? Свойства градиента определяют эффективность
Когда модель предсказывает неверно (например, вероятность истинного класса должна быть близка к 1, но предсказана как 0.01), градиент кросс-энтропии составляет около -100 — это даёт чрезвычайно сильный корректирующий сигнал. У MSE же в той же ситуации градиент всего -1.98 — он почти не обучается. Это объясняет, почему MSE сходится чрезвычайно медленно или даже не сходится в задачах классификации.
KL-дивергенция при дистилляции знаний
Дистилляция знаний: используйте выход Softmax большой модели (учителя) как мягкие метки для обучения маленькой модели (ученика). Ученик должен не только соответствовать истинным меткам, но и минимизировать дивергенцию между своим выходным распределением и распределением учителя с помощью KL-дивергенции. Мягкие метки содержат информацию о сходстве между классами (например, выходные вероятности для «кошки» и «тигра» обе выше, чем для «машины»), что является тёмным знанием, которого нет у one-hot меток.
Регуляризационный член KL-дивергенции в VAE
Функция потерь VAE = ошибка реконструкции + KL(N(μ,σ²) || N(0,I)). Член KL ограничивает латентное распределение, выводимое энкодером, чтобы для каждого образца оно не отклонялось слишком сильно от стандартного нормального — это действует как регуляризатор, обеспечивая непрерывность и гладкость латентного пространства, а образцы из разных классов могут плавно переходить друг в друга в латентном пространстве.
KL-ограничение в RLHF
Модели, такие как ChatGPT, при тонкой настройке с помощью RLHF (обучение с подкреплением на основе обратной связи от людей) добавляют ограничение по дивергенции KL в целевую функцию оптимизации: не позволять текущей политике слишком сильно отклоняться от исходной модели SFT. Это предотвращает выдачу моделью странного текста в угоду модели вознаграждения и сохраняет качество генерации.
Другие расширения