Visualiser la divergence KL -- À quel point deux distributions diffèrent

Ajustez les paramètres de deux distributions gaussiennes, calculez et comparez KL(P||Q) et KL(Q||P), et ressentez intuitivement l’asymétrie de la divergence KL.

Après avoir terminé ce cas, vous comprendrez :La divergence KL n’est pas une « distance » — regarder Q depuis P et regarder P depuis Q, la perte d’information est différente.


Introduction quotidienne

Utiliser une carte de Pékin pour trouver son chemin à New York

Vous avez deux cartes : la vraie carte de New York (P) et la carte de Pékin (Q). Utiliser la carte de Pékin pour marcher à New York vous oblige à fournir un effort supplémentaire pour « corriger » les informations erronées de la carte — cet effort supplémentaire est KL(P||Q). À l’inverse, utiliser la carte de New York pour marcher à Pékin — l’effort supplémentaire est KL(Q||P). Ces deux types d’effort supplémentaire sont clairement différents, car les deux cartes « se trompent » de manières différentes.


Compréhension intuitive

Scénario A : P~N(0,1), Q~N(2,1) — moyennes différentes mais même forme, la KL est presque symétrique.

Scénario B : P~N(0,1), Q~N(0,3) — même centre mais variances différentes. KL(P||Q) = 1.10 (étroite → large, facile), KL(Q||P) = 1.55 (large → étroite, difficile). Clairement asymétrique — « couvrir une distribution étroite avec une large » est bien plus facile que « couvrir une distribution large avec une étroite ».


Définition mathématique

\[ D_{KL}(P \parallel Q) = \sum_{x} P(x) \cdot \log\frac{P(x)}{Q(x)} \] \[ D_{KL}(P \parallel Q) = H(P, Q) - H(P) \]

L'entropie propre de P est constante, donc minimiser l'entropie croisée = minimiser la divergence KL.


Exercice pratique Python

Exemple

import numpy as np

def gaussian_pdf(x, mu, sigma):
    return (1 / (sigma * np.sqrt(2 * np.pi))) * \
           np.exp(-(x - mu) ** 2 / (2 * sigma ** 2))

def kl_divergence(p, q, eps=1e-12):
    p = np.clip(p, eps, None)
    q = np.clip(q, eps, None)
    return np.sum(p * np.log(p / q))

x = np.linspace(-10, 10, 2000)
dx = x[1] - x[0]

# Scénario A: moyennes différentes
P_A = gaussian_pdf(x, mu=0, sigma=1) * dx
Q_A = gaussian_pdf(x, mu=2, sigma=1) * dx

# Scénario B: variances différentes
P_B = gaussian_pdf(x, mu=0, sigma=1) * dx
Q_B = gaussian_pdf(x, mu=0, sigma=3) * dx

print("EXEMPLE de vérification de l'asymétrie de la divergence KL:\n")
print("Scénario A : P~N(0,1) vs Q~N(2,1)")
print(f" KL(P||Q) = {kl_divergence(P_A, Q_A):.4f}")
print(f" KL(Q||P) = {kl_divergence(Q_A, P_A):.4f}")

print(f"\nScénario B : P~N(0,1) vs Q~N(0,3)")
print(f" KL(P||Q) = {kl_divergence(P_B, Q_B):.4f} (étroite -> large, facile)")
print(f" KL(Q||P) = {kl_divergence(Q_B, P_B):.4f} (large -> étroite, difficile)")
print(f"\nEXEMPLE intuition : 'couvrir une étroite avec une large' est facile (KL faible), 'couvrir une large avec une étroite' est difficile (KL élevé)")
EXAMPLE KL 散度不对称性验证:

场景 A:P~N(0,1)  vs  Q~N(2,1)
  KL(P||Q) = 2.0000
  KL(Q||P) = 1.9960

场景 B:P~N(0,1)  vs  Q~N(0,3)
  KL(P||Q) = 1.0990  (窄->宽,容易)
  KL(Q||P) = 1.5490  (宽->窄,困难)

EXAMPLE 直觉:'用宽覆盖窄'容易(KL小),'用窄覆盖宽'困难(KL大)

Scénarios d'application en IA

ScèneComment utiliser la divergence KL ?
VAERendre la distribution d'encodage proche de la normale standard — perte = erreur de reconstruction + KL(encoding || N(0,1))
Distillation de connaissancesRendre la distribution prédite du modèle étudiant proche de celle du modèle enseignant—minimiser KL(teacher||student).
Apprentissage par renforcement PPOUtiliser la divergence KL pour contraindre la différence entre les anciennes et les nouvelles politiques, en empêchant les mises à jour d'être trop grandes.
Autres extensions