Ручная реализация правила цепочки

Построить сложную функцию, вручную вычислить локальные градиенты послойно и перемножить их, затем проверить с помощью sympy.

После завершения этого примера вы поймёте:Суть обратного распространения — правило цепочки: каждый слой вычисляет только свой локальный градиент, а итоговый градиент — это произведение градиентов каждого слоя.


Введение на реальном примере

Производственная линия домино

На фабрике есть три процесса: сырьё → полуфабрикат A → полуфабрикат B → готовая продукция. Вы хотите узнать: «Если увеличить количество сырья на 1 кг, сколько дополнительных готовых изделий получится?»

Не нужно выводить формулу для всего процесса с нуля. Каждый процесс вычисляет только своё «локальное соотношение»: если полуфабрикат A увеличивается на 1, на сколько больше станет полуфабриката B? Если полуфабрикат B увеличивается на 1, на сколько больше станет готовой продукции? Перемножьте эти три соотношения — и получите ответ.

Этоправило цепочки— каждый слой заботится только о себе, а итоговое влияние = произведение влияний каждого слоя.


Интуитивное понимание

Постройте трёхслойную сложную функцию:

x
u = g(x)
x^2+1
v = f(u)
3*sin(u)
y = h(v)
v^2
\[ \frac{dy}{dx} = \underbrace{\frac{dy}{dv}}_{h'(v)} \cdot \underbrace{\frac{dv}{du}}_{f'(u)} \cdot \underbrace{\frac{du}{dx}}_{g'(x)} \]

Практическое занятие по Python

Пример

import sympy as sp
import numpy as np

def g(x):    return x ** 2 + 1
def f(u):    return 3 * np.sin(u)
def g_prime(x): return 2 * x
def f_prime(u): return 3 * np.cos(u)

x0 = 1.5

# ---- Правило цепочки вручную ----
u0 = g(x0)
dy_du = f_prime(u0)    # Локальный градиент слоя 2
du_dx = g_prime(x0)    # Локальный градиент слоя 1
manual_grad = dy_du * du_dx

print("=" * 55)
print("ПРИМЕР Правило цепочки вручную")
print(f"x0 = {x0}, u = g(x0) = {u0:.4f}")
print(f"dy/du = 3*cos(u) = {dy_du:.4f}")
print(f"du/dx = 2*x0 = {du_dx:.4f}")
print(f"Умножение по цепочке: dy/dx = {manual_grad:.4f}")

# ---- sympy автоматическое дифференцирование (стандартный ответ) ----
x = sp.Symbol('x')
y_expr = 3 * sp.sin(x**2 + 1)
auto_grad = float(sp.diff(y_expr, x).subs(x, x0))
print(f"\n"ПРИМЕР автоматического дифференцирования sympy = {auto_grad:.4f}")
print(f"Два метода согласуются: {np.isclose(manual_grad, auto_grad)}")

# ---- Расширение: трёхслойная композиция ----
def h(v):     return v ** 2
def h_prime(v): return 2 * v
v0 = f(u0)
dy_dv = h_prime(v0)
grad_3layer = dy_dv * dy_du * du_dx

print(f"\n"ПРИМЕР трёхслойного распространения градиента: ")
print(f" Слой 3: {dy_dv:.4f} x Слой 2: {dy_du:.4f} x Слой 1: {du_dx:.4f} = {grad_3layer:.4f}")
=======================================================
EXAMPLE 手动链式法则
x0 = 1.5, u = g(x0) = 3.2500
dy/du = 3*cos(u) = -2.9838
du/dx = 2*x0     = 3.0000
链式相乘: dy/dx = -8.9514

EXAMPLE sympy 自动求导 = -8.9514
两种方法一致: True

EXAMPLE 三层梯度传递:
  第3层: 6.5000 x 第2层: -2.9838 x 第1层: 3.0000 = -58.1841

Сценарии применения в ИИ

СценарийСвязь с правилом цепочки
Обратное распространениеКаждый слой нейронной сети вычисляет только свой локальный градиент, а затем передаёт его предыдущему слою.
PyTorch autogradАвтоматически отслеживать каждую операцию для построения графа вычислений и автоматически применять правило цепочки во время обратного распространения
Проверка градиентаПосле ручной реализации обратного распространения проверьте с помощью численных градиентов — в этом случае это Метод 1 против Метода 2
Другие расширения