交差エントロピーとKLダイバージェンス -- 分布間の乖離を測る
交差エントロピーは分類タスクで最もよく使われる損失関数です。KL 散度衡量两个概率分布有多不像。 → KLダイバージェンスは2つの確率分布がどれだけ異なるかを測ります。
概念解析 → 概念の解説
前章ではエントロピー——単一の分布自体の乱雑さを測る——を学びました。本章の2つの概念が測るのは2つの分布間の乖離、これは分類タスクにおける損失関数の設計を直接決定します。
交叉熵 → 交差エントロピー
\[ H(p, q) = -\sum_x p(x) \log q(x) \]意味:予測分布 q で実際の分布 p のデータを符号化するとき、平均でどれだけの情報量を使うか。 → 意味:予測分布 q で実際の分布 p のデータを符号化するとき、平均でどれだけの情報量を使うか。
KLダイバージェンス(相対エントロピー)
\[ D_{KL}(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} = \underbrace{H(p,q)}_{\text{交差エントロピー}} - \underbrace{H(p)}_{\text{真のエントロピー}} \]意味:q が p の代わりになったときに余分に浪費される情報量。KL ≥ 0 で、0 に等しいとき p=q。
KL 散度 → KLダイバージェンス非対称 → 非対称:D_KL(p||q) ≠ D_KL(q||p) であり、真の「距離」ではありません。
真の分布 p が one-hot(決定の)である場合、H(p)=0 となり、このとき交差エントロピー = KLダイバージェンス です。
なぜ分類にはMSEではなく交差エントロピーを使うのか?
交差エントロピー + Softmax の勾配 = \( \hat{y} - y \)(予測 - 実際)で、簡潔かつ効率のです。
MSE + Softmax の勾配は予測に自信があるときに 0 に近づきます——勾配消失で学習が進みません。
生活例子 → 身近な例
密码本设计 → コードブック(暗号表)の設計
あなたはあるコード(短いコードは一般的な文字、長いコードは珍しい文字を表す)を使って手紙を書きます。
しかし、もしあなたのコードが英語の頻度に基づいて設計されているのに、中国語で書かれているなら——符号化効率が低い。
誤った分布 q で実際の分布 p のデータを符号化するとき、余分に浪費されるビット = KLダイバージェンス です。
Python 动手实践 → Pythonで実践
実例
def cross_entropy(p, q):
return -np.sum(p * np.log(q + 1e-10))
p_true = np.array([1.0, 0.0, 0.0]) # 真实:类别0 → # 実際:クラス0
for q, desc in [([0.9,0.05,0.05],"好预测" → "良い予測"),
([0.4,0.3,0.3],"模糊" → "曖昧"),
([0.1,0.8,0.1],"错误" → "誤り")]:
print(f"{desc}: 交叉熵={cross_entropy(p_true, q):.4f}" → "{desc}: 交差エントロピー={cross_entropy(p_true, q):.4f}")
# CE と MSE の勾配を比較
print("\n预测很差(y_pred=0.01, 真=1): CE梯度=-100, MSE梯度=-1.98" → "予測が大きく外れた場合(y_pred=0.01, 真=1): CE勾配=-100, MSE勾配=-1.98")
print("CEは予測が誤っているときに大きな勾配をとえる → 学習が速い" → "CEは予測が誤っているときに大きな勾配をとえる → 学習が速い")
実行結果:
好预测: 交叉熵=0.1054 模糊: 交叉熵=0.9163 错误: 交叉熵=2.3026 预测很差(y_pred=0.01, 真=1): CE梯度=-100, MSE梯度=-1.98 CE在预测错误时给出大梯度 → 学得快
交差エントロピー vs MSE 勾配の比較 → 交差エントロピー vs MSE 勾配の比較
AIでの応用シーン
分类任务标配:交叉熵损失 → 分類タスクの標準:交差エントロピー損失
PyTorch の nn.CrossEntropyLoss と TensorFlow の categorical_crossentropy である分类任务の默认损失函数。它内部集成た Softmax + 负に対して数似然——一个损失函数同时完成激活と损失计算,且梯度形式极简:\( \nabla = \hat{y} - y \)。 → PyTorch の nn.CrossEntropyLoss と TensorFlow の categorical_crossentropy は分類タスクのデフォルト損失関数です。内部で Softmax + 負の対数尤度を統合しており——1つの損失関数が活性化と損失計算を同時に実行し、勾配の形も極めて簡潔です:\( \nabla = \hat{y} - y \)。
なぜ分類にMSEを使わないのか?勾配の特性が効率を決める → なぜ分類にMSEを使わないのか?勾配の特性が効率を決める
モデルが誤った予測をしたとき(例:実際のクラスの確率は 1 に近いべきなのに予測が 0.01 の場合)、交差エントロピーの勾配は約 -100 で——非常に強い修正信号をとえます。一方 MSE は同じ状況で勾配が -1.98 しかなく——ほとんど学習が進みません。これが、分類タスクで MSE の収束が極めて遅いか、収束すらしない理由を説明しています。
知識蒸留におけるKLダイバージェンス
知识蒸馏:用大模型(教师)の Softmax 输出として软标签训练小模型(学生)。学生不仅要匹配真实标签,还要通过 KL 散度最小化自己と教师の输出分布差距。软标签包含た类别の間の相似性信息(如「猫」と「虎」输出概率都比「汽车」高),これは one-hot 标签没有の暗知识。 → 知識蒸留:大規模モデル(教師)の Softmax 出力をソフトラベルとして使い、小規模モデル(生徒)を訓練します。生徒は実際のラベルに一致するだけでなく、KLダイバージェンスを通じて教師との出力分布の乖離も最小化する必要があります。ソフトラベルにはクラス間の類似性情報(例:「猫」と「虎」の出力確率がどちらも「自動車」より高い)が含まれており、これは one-hot ラベルにはない暗黙の知識です。
VAEのKLダイバージェンス正則化項
VAE の損失関数 = 再構成誤差 + KL(N(μ,σ²) || N(0,I))。KL 項はエンコーダーが出力する潜に分布が各サンプルで標準正規分布からあまり逸脱しないように制約します——これは正則化の役割を果たし、潜に空間が連続かつ滑らかであることを保証し、異なるクラスのサンプルが潜に空間内で滑らかに遷移できるようにします。
RLHFにおけるKL制約
ChatGPT などのモデルが RLHF(人間のフィードバックによる強化学習)で微調整する際、最適化目標に KL ダイバージェンス制約を追加します。つまり、現在のポリシーが初期の SFT モデルからあまり乖離しないようにします。これにより、モデルが報酬モデルに迎合して奇妙なテキストを出力するのを防ぎ、生成品質を維持します。
其他扩展 → その他の拡張