Визуализация KL-дивергенции -- насколько различаются два распределения

Настройте параметры двух гауссовых распределений, вычислите и сравните KL(P||Q) и KL(Q||P), а затем интуитивно почувствуйте асимметрию KL-дивергенции.

После завершения этого примера вы поймёте:KL-дивергенция — это не «расстояние»: если смотреть на Q из P и на P из Q, информационные потери различаются.


Повседневное введение

Использование карты Пекина для поиска пути в Нью-Йорке

У вас есть две карты: настоящая карта Нью-Йорка (P) и карта Пекина (Q). Используя карту Пекина для передвижения по Нью-Йорку, вам нужно приложить дополнительные усилия, чтобы «исправить» неверную информацию на карте — эти дополнительные усилия и есть KL(P||Q). И наоборот, используя карту Нью-Йорка для передвижения по Пекину, дополнительные усилия равны KL(Q||P). Эти два вида дополнительных усилий явно различаются, потому что две карты «ошибаются» по-разному.


Интуитивное понимание

Сценарий A: P~N(0,1), Q~N(2,1) — разные средние, но одинаковая форма, KL-дивергенция почти симметрична.

Сценарий B: P~N(0,1), Q~N(0,3) — одинаковый центр, но разные дисперсии. KL(P||Q) = 1.10 (узкое → широкое, легко), KL(Q||P) = 1.55 (широкое → узкое, сложно). Явно асимметрична — «покрыть узкое распределение широким» гораздо проще, чем «покрыть широкое распределение узким».


Математическое определение

\[ D_{KL}(P \parallel Q) = \sum_{x} P(x) \cdot \log\frac{P(x)}{Q(x)} \] \[ D_{KL}(P \parallel Q) = H(P, Q) - H(P) \]

Собственная энтропия P постоянна, поэтому минимизация кросс-энтропии = минимизация KL-дивергенции.


Практическое занятие по Python

Пример

import numpy as np

def gaussian_pdf(x, mu, sigma):
    return (1 / (sigma * np.sqrt(2 * np.пи))) * \
           np.exp(-(x - mu) ** 2 / (2 * sigma ** 2))

def kl_divergence(p, q, eps=1e-12):
    p = np.clip(p, eps, None)
    q = np.clip(q, eps, None)
    return np.sum(p * np.log(p / q))

x = np.linspace(-10, 10, 2000)
dx = x[1] - x[0]

# Сценарий A: разные средние
P_A = gaussian_pdf(x, mu=0, sigma=1) * dx
Q_A = gaussian_pdf(x, mu=2, sigma=1) * dx

# Сценарий B: разные дисперсии
P_B = gaussian_pdf(x, mu=0, sigma=1) * dx
Q_B = gaussian_pdf(x, mu=0, sigma=3) * dx

print("ПРИМЕР проверки асимметрии KL-дивергенции:\n")
print("Сценарий A: P~N(0,1) vs Q~N(2,1)")
print(f" KL(P||Q) = {kl_divergence(P_A, Q_A):.4f}")
print(f" KL(Q||P) = {kl_divergence(Q_A, P_A):.4f}")

print(f"\nСценарий B: P~N(0,1) vs Q~N(0,3)")
print(f" KL(P||Q) = {kl_divergence(P_B, Q_B):.4f} (узкое -> широкое, легко)")
print(f" KL(Q||P) = {kl_divergence(Q_B, P_B):.4f} (широкое -> узкое, сложно)")
print(f"\nПРИМЕР интуиции: 'покрытие узкого широким' легко (малое KL), 'покрытие широкого узким' сложно (большое KL)")
EXAMPLE KL 散度不对称性验证:

场景 A:P~N(0,1)  vs  Q~N(2,1)
  KL(P||Q) = 2.0000
  KL(Q||P) = 1.9960

场景 B:P~N(0,1)  vs  Q~N(0,3)
  KL(P||Q) = 1.0990  (窄->宽,容易)
  KL(Q||P) = 1.5490  (宽->窄,困难)

EXAMPLE 直觉:'用宽覆盖窄'容易(KL小),'用窄覆盖宽'困难(KL大)

Сценарии применения в ИИ

СценаКак использовать KL-дивергенцию?
VAEСделайте распределение кодирования близким к стандартному нормальному распределению — loss = ошибка реконструкции + KL(encoding || N(0,1))
Дистилляция знанийСделайте предсказанное распределение модели-ученика близким к модели-учителю — минимизируйте KL(teacher||student).
Обучение с подкреплением PPOИспользуйте KL-дивергенцию, чтобы ограничить различие между старой и новой политиками, не позволяя обновлениям быть слишком большими.
Другие расширения