Правило цепочки -- техника декомпозиции для дифференцирования сложных функций
Правило цепочки — математическая душа алгоритма обратного распространения.Внешняя производная × внутренняя производная, распространяемая слой за слоем.
Анализ концепции
Правило цепочки для одной переменной
Если y = g(x), z = f(y), то:
\[ \frac{dz}{dx} = \frac{dz}{dy} \cdot \frac{dy}{dx} \]Обратное распространение = правило цепочки, применённое в обратном направлении вдоль вычислительного графа
Во время обратного распространения градиентраспространяется слой за слоем от выхода ко входу: «локальный градиент» каждого слоя × «градиент, приходящий сверху» = градиент параметров этого слоя по отношению к функции потерь.
Пример из реальной жизни
Педаль газа → расход топлива
Расход топлива зависит от скорости, а скорость зависит от того, насколько глубоко нажата педаль газа.
«Если нажать педаль газа чуть сильнее, насколько увеличится расход топлива?» = (скорость изменения расхода топлива по скорости) × (скорость изменения скорости по нажатию педали газа).
Это правило цепочки:Распространяйте изменения слой за слоем, перемножайте, чтобы получить общий эффект.。
Практическое занятие по Python
Пример
x = sp.Symbol('x')
# f(g(x)): sin(x^2), внешняя sin, внутренняя x^2
d_direct = sp.diff(sp.sin(x**2), x)
d_chain = sp.cos(x**2) * 2*x
print(f"прямое дифференцирование: {d_direct}")
print(f"правило цепочки: cos(x^2)·2x = {d_chain}")
print(f"согласовано: {sp.simplify(d_direct-d_chain)==0}")
# Обратное распространение для двухслойной сети
w, xi, yi = sp.symbols('w x_i y_i')
a = sp.Symbol('a') # Определить промежуточные переменные отдельно как символы
a_expr = w * xi # Конкретное выражение a относительно w
loss = (a - yi)**2 # loss определяется как функция от символьного a
dL_da = sp.diff(loss, a) # ∂L/∂a
da_dw = sp.diff(a_expr, w) # ∂a/∂w
dL_dw_chain = dL_da.subs(a, a_expr) * da_dw # Правило цепочки: подставить a=w*x_i и умножить
loss_direct = loss.subs(a, a_expr) # Полностью раскрыть loss как функцию от w
dL_dw_direct = sp.diff(loss_direct, w)
print(f"\n"Правило цепочки ∂L/∂w: {sp.simplify(dL_dw_chain)}")
print(fПрямой ∂L/∂w: {sp.simplify(dL_dw_direct)})
print(fСогласовано: {sp.simplify(dL_dw_chain-dL_dw_direct)==0})
Вывод:
直接求导: 2*x*cos(x**2) 链式法则: cos(x^2)·2x = 2*x*cos(x**2) 一致: True 链式 ∂L/∂w: 2*x_i*(w*x_i - y_i) 直接 ∂L/∂w: 2*x_i*(w*x_i - y_i) 一致: True
Сценарии применения в ИИ
Обратное распространение = систематическое применение правила цепочки к вычислительным графам
Движок autograd в PyTorch автоматически записывает вычислительный граф во время каждой операции с тензорами. Когда вызывается loss.backward(), он начинает с узла loss и обходит граф в обратном порядке, применяя правило цепочки к каждому узлу: локальный градиент × градиент от вышестоящего узла = градиент к нижестоящему узлу. Разработчикам не нужно вручную писать код для вычисления производных.
Проверка градиента
Если вы вручную пишете собственный слой или функцию потерь, как проверить, что вычисление градиента методом обратного распространения корректно? Используйте численный градиент \( (f(x+h)-f(x-h))/2h \) как «эталон» и сравните его с градиентом, вычисленным с помощью autograd. Относительная ошибка должна быть меньше 1e-5. Это принцип torch.autograd.gradcheck в PyTorch.
Оптимизация вычислительных графов
Компиляторы глубокого обучения (такие как TensorRT, XLA) оптимизируют вычислительные графы: объединяют соседние операции (слияние операторов), чтобы уменьшить чтение и запись в память. Но необходимо гарантировать, что вычисление градиента по правилу цепочки остаётся корректным — это важное ограничение оптимизации графов.
Другие расширения