連鎖律 ― 合成関数の微分の分解術
連鎖律は逆伝播アルゴリズムの数学的な核心である。外側の微分 × 内側の微分、層ごとに伝播していく。
概念の解説
一変数の連鎖律
y = g(x)、z = f(y) のとき:
\[ \frac{dz}{dx} = \frac{dz}{dy} \cdot \frac{dy}{dx} \]逆伝播 = 計算グラフに沿って連鎖律を逆方向に適用すること
逆伝播のとき、勾配は出力から入力へ層ごとに伝播する:各層の「局所勾配」×「上流から伝わってきた勾配」= その層のパラメータの損失に対する勾配。
身近な例
アクセル → 燃料消費
燃料消費は車速に依存し、車速はアクセルの踏み込み量に依存する。
「アクセルをもう少し踏んだら、燃料消費はどれだけ増えるか?」= (燃料消費の車速に対する変化率) × (車速のアクセルに対する変化率)。
これが連鎖律です:変化量を各層で伝え、掛け合わせて全体の影響を得る。
Python で実際に試す
実例
x = sp.Symbol('x')
# f(g(x)): sin(x^2), 外层sin, 内层x^2
d_direct = sp.diff(sp.sin(x**2), x)
d_chain = sp.cos(x**2) * 2*x
print(f"直接求导: {d_direct}")
print(f"链式法则: cos(x^2)·2x = {d_chain}")
print(f"一致: {sp.simplify(d_direct-d_chain)==0}")
# 两层网络反向传播
w, xi, yi = sp.symbols('w x_i y_i')
a = sp.Symbol('a') # 中間変数は単独でシンボルとして定義する
a_expr = w * xi # a の w に関する具体的な式
loss = (a - yi)**2 # loss を記号 a の関数として定義する
dL_da = sp.diff(loss, a) # ∂L/∂a
da_dw = sp.diff(a_expr, w) # ∂a/∂w
dL_dw_chain = dL_da.subs(a, a_expr) * da_dw # 链式法则:代入 a=w*x_i 后相乘
loss_direct = loss.subs(a, a_expr) # loss を w の関数として完全に展開する
dL_dw_direct = sp.diff(loss_direct, w)
print(f"\n链式 ∂L/∂w: {sp.simplify(dL_dw_chain)}")
print(f"直接 ∂L/∂w: {sp.simplify(dL_dw_direct)}")
print(f"一致: {sp.simplify(dL_dw_chain-dL_dw_direct)==0}")
出力:
直接求导: 2*x*cos(x**2) 链式法则: cos(x^2)·2x = 2*x*cos(x**2) 一致: True 链式 ∂L/∂w: 2*x_i*(w*x_i - y_i) 直接 ∂L/∂w: 2*x_i*(w*x_i - y_i) 一致: True
AI での応用シーン
逆伝播 = 計算グラフ上での連鎖律の体系的な適用
PyTorch の autograd エンジンは、テンソル操作ごとに計算グラフを自動的に記録する。loss.backward() を呼び出すと、loss ノードから出発し、計算グラフを逆方向に辿り、各ノードに連鎖律を適用する:局所勾配 × 上流勾配 = 下流勾配。開発者は微分コードを一切手書きする必要がない。
勾配チェック(Gradient Check)
カスタム層や損失関数を手書きした場合、逆伝播の勾配計算が正しいことをどう検証するのか?数値勾配 \( (f(x+h)-f(x-h))/2h \) を「真値」として、autograd が計算した勾配と比較する。相対誤差は 1e-5 未満であるべきだ。これは PyTorch の torch.autograd.gradcheck の原理である。
計算グラフの最適化
深層学習コンパイラ(TensorRT、XLA など)は計算グラフを最適化する:隣接する操作を統合(オペレーター融合)し、メモリの読み書きを減らす。ただし、連鎖律のもとで勾配計算が正しいままであることを保証しなければならない——これはグラフ最適化における重要な制約である。
その他の拡張