Entropía cruzada y divergencia KL -- Midiendo la brecha entre distribuciones
La entropía cruzada es la función de pérdida más utilizada en tareas de clasificación.La divergencia KL mide qué tan diferentes son dos distribuciones de probabilidad.
Análisis de conceptos
En el capítulo anterior aprendimos la entropía, que mide el grado de desorden de una sola distribución. Los dos conceptos de este capítulo midenla brecha entre dos distribuciones, lo que determina directamente el diseño de la función de pérdida en tareas de clasificación.
Entropía cruzada
\[ H(p, q) = -\sum_x p(x) \log q(x) \]Significado: al usar la distribución predicha q para codificar los datos de la distribución real p, ¿cuánta información se gasta en promedio?
Divergencia KL (entropía relativa)
\[ D_{KL}(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} = \underbrace{H(p,q)}_{\text{entropía cruzada}} - \underbrace{H(p)}_{\text{entropía real}} \]Significado: la cantidad adicional de información desperdiciada cuando q reemplaza a p. KL ≥ 0, y cuando es igual a 0, p=q.
Divergencia KLAsimétrica: D_KL(p||q) ≠ D_KL(q||p), no es una verdadera «distancia».
Cuando la distribución real p es one-hot (determinista), H(p)=0, y en ese caso entropía cruzada = divergencia KL.
¿Por qué usar entropía cruzada en clasificación en lugar de MSE?
El gradiente de entropía cruzada + Softmax es \( \hat{y} - y \) (predicción - real), simple y eficiente.
El gradiente de MSE + Softmax tiende a 0 cuando la predicción es confiada — gradiente que se desvanece, no se puede aprender.
Ejemplos cotidianos
Diseño de un libro de códigos
Escribes una carta usando un código (códigos cortos para palabras comunes, códigos largos para palabras raras).
Pero si tu código está diseñado según la frecuencia del inglés y escribes en chino, la codificación es ineficiente.
Los bits adicionales desperdiciados al usar la distribución incorrecta q para codificar los datos de la distribución real p equivalen a la divergencia KL.
Práctica con Python
Ejemplo
def cross_entropy(p, q):
return -np.sum(p * np.log(q + 1e-10))
p_true = np.array([1.0, 0.0, 0.0]) # Real: clase 0
for q, desc in [([0.9,0.05,0.05],"Buena predicción"),
([0.4,0.3,0.3],"Ambiguo"),
([0.1,0.8,0.1],"Incorrecto")]:
print(f"{desc}: entropía cruzada={cross_entropy(p_true, q):.4f}")
# Comparación de los gradientes de CE y MSE
print("\n"Predicción muy mala (y_pred=0.01, real=1): gradiente de CE=-100, gradiente de MSE=-1.98")
print("CE da un gradiente grande cuando la predicción es incorrecta → aprende rápido")
Salida de ejecución:
好预测: 交叉熵=0.1054 模糊: 交叉熵=0.9163 错误: 交叉熵=2.3026 预测很差(y_pred=0.01, 真=1): CE梯度=-100, MSE梯度=-1.98 CE在预测错误时给出大梯度 → 学得快
Comparación de gradientes: entropía cruzada vs MSE
Escenarios de aplicación en IA
Estándar en tareas de clasificación: pérdida de entropía cruzada
nn.CrossEntropyLoss de PyTorch y categorical_crossentropy de TensorFlow son las funciones de pérdida por defecto para tareas de clasificación. Integran internamente Softmax + verosimilitud logarítmica negativa: una sola función de pérdida realiza tanto la activación como el cálculo de la pérdida, y la forma del gradiente es extremadamente simple: \( \nabla = \hat{y} - y \).
¿Por qué la clasificación no usa MSE? Las características del gradiente determinan la eficiencia
Cuando el modelo predice incorrectamente (por ejemplo, la probabilidad de la clase real debería estar cerca de 1 pero se predice 0.01), el gradiente de entropía cruzada es aproximadamente -100, lo que proporciona una señal de corrección muy fuerte. En cambio, el gradiente de MSE en la misma situación es solo -1.98, casi no se puede aprender. Esto explica por qué en tareas de clasificación MSE converge muy lentamente o incluso no converge.
Divergencia KL en destilación de conocimiento
Destilación de conocimiento: se utiliza la salida Softmax de un modelo grande (profesor) como etiquetas blandas para entrenar a un modelo pequeño (estudiante). El estudiante no solo debe coincidir con las etiquetas reales, sino también minimizar la brecha entre su distribución de salida y la del profesor mediante la divergencia KL. Las etiquetas blandas contienen información de similitud entre categorías (por ejemplo, las probabilidades de salida de «gato» y «tigre» son ambas más altas que las de «coche»), lo que constituye conocimiento oscuro que las etiquetas one-hot no tienen.
Término de regularización de divergencia KL en VAE
La función de pérdida de VAE = error de reconstrucción + KL(N(μ,σ²) || N(0,I)). El término KL restringe que la distribución latente generada por el codificador no se aleje demasiado de la normal estándar en cada muestra; esto actúa como regularización, asegurando que el espacio latente sea continuo y suave, y que las muestras de diferentes categorías puedan transicionar suavemente en el espacio latente.
Restricción KL en RLHF
Cuando modelos como ChatGPT se ajustan con RLHF (aprendizaje por refuerzo con retroalimentación humana), se añade una restricción de divergencia KL al objetivo de optimización: no permitir que la política actual se aleje demasiado del modelo SFT inicial. Esto evita que el modelo genere texto extraño para complacer al modelo de recompensa, manteniendo la calidad de la generación.
Otras extensiones