手动实现链式法则 → 手動による連鎖律の実装

构造复合函数,手动逐层计算局部梯度并相乘,再用 sympy 验证。 → 複合関数を構築し、手動で層ごとに局所勾配を計算して乗算し、sympyで検証します。

学完本案例你将理解: → このケースを学び終えると、以下のことが理解できます:逆伝播の核心は連鎖律です——各層は自分自身の局所勾配だけを計算し、最終のな勾配は各層の勾配の積になります。


生活引入 → 生活からの導入

ドミノの生産ライン

ある工場には3つの工程があります:原材料 → 半製品A → 半製品B → 完成品。「原材料を1kg多く使うと、最終のな完成品はいくつ増えるか」を知りたいとします。

プロセス全体の公式を最初から導出する必要はありません。各工程は自分自身の「局所的な比率」だけを計算します:半製品Aが1個増える → 半製品Bはいくつ増える?半製品Bが1個増える → 完成品はいくつ増える?3つの比率を掛け合わせると答えになります。

これが → これが链式法则 → 連鎖律——各層は自分自身だけに注目し、最終のな影響 = 各層の影響の積です。 → ——各層は自分自身だけに注目し、最終のな影響 = 各層の影響の積です。


直感的な理解 → 直感的な理解

构造一个三层复合函数: → 3層の複合関数を構築します:

x
u = g(x)
x^2+1
v = f(u)
3*sin(u)
y = h(v)
v^2
\[ \frac{dy}{dx} = \underbrace{\frac{dy}{dv}}_{h'(v)} \cdot \underbrace{\frac{dv}{du}}_{f'(u)} \cdot \underbrace{\frac{du}{dx}}_{g'(x)} \]

Python 动手实践 → Python での実践

実例

import sympy as sp
import numpy as np

def g(x):    return x ** 2 + 1
def f(u):    return 3 * np.sin(u)
def g_prime(x): return 2 * x
def f_prime(u): return 3 * np.cos(u)

x0 = 1.5

# ---- 手动链式法则 ---- → # ---- 手動による連鎖律 ----
u0 = g(x0)
dy_du = f_prime(u0)    # 第2层局部梯度 → # 第2層の局所勾配
du_dx = g_prime(x0)    # 第1层局部梯度 → # 第1層の局所勾配
manual_grad = dy_du * du_dx

print("=" * 55)
print("サンプル 手动链式法则" → "サンプル 手動による連鎖律")
print(f"x0 = {x0}, u = g(x0) = {u0:.4f}")
print(f"dy/du = 3*cos(u) = {dy_du:.4f}")
print(f"du/dx = 2*x0     = {du_dx:.4f}")
print(f"链式相乘: dy/dx = {manual_grad:.4f}" → "連鎖乗算: dy/dx = {manual_grad:.4f}")

# ---- sympy 自动求导(标准答案) ---- → # ---- sympyによる自動微分(標準解答) ----
x = sp.Symbol('x')
y_expr = 3 * sp.sin(x**2 + 1)
auto_grad = float(sp.diff(y_expr, x).subs(x, x0))
print(f"\nサンプル sympy 自动求导 = {auto_grad:.4f}" → サンプル sympy 自動微分 = {auto_grad:.4f}")
print(f"两种方法一致: {np.isclose(manual_grad, auto_grad)}" → "2つの方法は一致: {np.isclose(manual_grad, auto_grad)}")

# ---- 拓展:三层复合 ---- → # ---- 発展:3層複合 ----
def h(v):     return v ** 2
def h_prime(v): return 2 * v
v0 = f(u0)
dy_dv = h_prime(v0)
grad_3layer = dy_dv * dy_du * du_dx

print(f"\nサンプル 三层梯度传递:" → サンプル 3層勾配の伝達:")
print(f" 第3层: {dy_dv:.4f} x 第2层: {dy_du:.4f} x 第1层: {du_dx:.4f} = {grad_3layer:.4f}" → " 第3層: {dy_dv:.4f} x 第2層: {dy_du:.4f} x 第1層: {du_dx:.4f} = {grad_3layer:.4f}")
=======================================================
サンプル 手动链式法则
x0 = 1.5, u = g(x0) = 3.2500
dy/du = 3*cos(u) = -2.9838
du/dx = 2*x0     = 3.0000
链式相乘: dy/dx = -8.9514

サンプル sympy 自动求导 = -8.9514
两种方法一致: True

サンプル 三层梯度传递:
  第3层: 6.5000 x 第2层: -2.9838 x 第1层: 3.0000 = -58.1841

AIにおける応用シーン

场景 → シーン連鎖律との関係
逆伝播ニューラルネットワークの各層は自分自身の局所勾配だけを計算し、それを前の層に渡します
PyTorch autograd各操作を自動的に追跡して計算グラフを構築し、逆方向の際に自動的に連鎖律を適用します
梯度检查 → 勾配チェック手動で逆伝播を実装した後、数値勾配で検証します——これは本ケースの方法1 vs 方法2です
其他扩展 → その他の発展