Визуализация KL-дивергенции -- насколько различаются два распределения
Настройте параметры двух гауссовых распределений, вычислите и сравните KL(P||Q) и KL(Q||P), а затем интуитивно почувствуйте асимметрию KL-дивергенции.
После завершения этого примера вы поймёте:KL-дивергенция — это не «расстояние»: если смотреть на Q из P и на P из Q, информационные потери различаются.
Повседневное введение
Использование карты Пекина для поиска пути в Нью-Йорке
У вас есть две карты: настоящая карта Нью-Йорка (P) и карта Пекина (Q). Используя карту Пекина для передвижения по Нью-Йорку, вам нужно приложить дополнительные усилия, чтобы «исправить» неверную информацию на карте — эти дополнительные усилия и есть KL(P||Q). И наоборот, используя карту Нью-Йорка для передвижения по Пекину, дополнительные усилия равны KL(Q||P). Эти два вида дополнительных усилий явно различаются, потому что две карты «ошибаются» по-разному.
Интуитивное понимание
Сценарий A: P~N(0,1), Q~N(2,1) — разные средние, но одинаковая форма, KL-дивергенция почти симметрична.
Сценарий B: P~N(0,1), Q~N(0,3) — одинаковый центр, но разные дисперсии. KL(P||Q) = 1.10 (узкое → широкое, легко), KL(Q||P) = 1.55 (широкое → узкое, сложно). Явно асимметрична — «покрыть узкое распределение широким» гораздо проще, чем «покрыть широкое распределение узким».
Математическое определение
\[ D_{KL}(P \parallel Q) = \sum_{x} P(x) \cdot \log\frac{P(x)}{Q(x)} \] \[ D_{KL}(P \parallel Q) = H(P, Q) - H(P) \]Собственная энтропия P постоянна, поэтому минимизация кросс-энтропии = минимизация KL-дивергенции.
Практическое занятие по Python
Пример
def gaussian_pdf(x, mu, sigma):
return (1 / (sigma * np.sqrt(2 * np.пи))) * \
np.exp(-(x - mu) ** 2 / (2 * sigma ** 2))
def kl_divergence(p, q, eps=1e-12):
p = np.clip(p, eps, None)
q = np.clip(q, eps, None)
return np.sum(p * np.log(p / q))
x = np.linspace(-10, 10, 2000)
dx = x[1] - x[0]
# Сценарий A: разные средние
P_A = gaussian_pdf(x, mu=0, sigma=1) * dx
Q_A = gaussian_pdf(x, mu=2, sigma=1) * dx
# Сценарий B: разные дисперсии
P_B = gaussian_pdf(x, mu=0, sigma=1) * dx
Q_B = gaussian_pdf(x, mu=0, sigma=3) * dx
print("ПРИМЕР проверки асимметрии KL-дивергенции:\n")
print("Сценарий A: P~N(0,1) vs Q~N(2,1)")
print(f" KL(P||Q) = {kl_divergence(P_A, Q_A):.4f}")
print(f" KL(Q||P) = {kl_divergence(Q_A, P_A):.4f}")
print(f"\nСценарий B: P~N(0,1) vs Q~N(0,3)")
print(f" KL(P||Q) = {kl_divergence(P_B, Q_B):.4f} (узкое -> широкое, легко)")
print(f" KL(Q||P) = {kl_divergence(Q_B, P_B):.4f} (широкое -> узкое, сложно)")
print(f"\nПРИМЕР интуиции: 'покрытие узкого широким' легко (малое KL), 'покрытие широкого узким' сложно (большое KL)")
EXAMPLE KL 散度不对称性验证: 场景 A:P~N(0,1) vs Q~N(2,1) KL(P||Q) = 2.0000 KL(Q||P) = 1.9960 场景 B:P~N(0,1) vs Q~N(0,3) KL(P||Q) = 1.0990 (窄->宽,容易) KL(Q||P) = 1.5490 (宽->窄,困难) EXAMPLE 直觉:'用宽覆盖窄'容易(KL小),'用窄覆盖宽'困难(KL大)
Сценарии применения в ИИ
| Сцена | Как использовать KL-дивергенцию? |
|---|---|
| VAE | Сделайте распределение кодирования близким к стандартному нормальному распределению — loss = ошибка реконструкции + KL(encoding || N(0,1)) |
| Дистилляция знаний | Сделайте предсказанное распределение модели-ученика близким к модели-учителю — минимизируйте KL(teacher||student). |
| Обучение с подкреплением PPO | Используйте KL-дивергенцию, чтобы ограничить различие между старой и новой политиками, не позволяя обновлениям быть слишком большими. |