Математическая суть обратного распространения

В этой главе мы вручную рассчитаем весь процесс обратного распространения двухслойной нейронной сети.

Обратное распространение = Систематическое применение правила цепочки на вычислительном графе.


Анализ концепции

Вычислительный граф: прямой и обратный проход

Простая двухслойная сеть: вход x → скрытый слой (ReLU) → выход → потеря MSE.

x
z₁=w₁x+b₁
a₁=ReLU(z₁)
z₂=w₂a₁+b₂
ŷ
L=(ŷ-y)²

Прямое распространение вычисляет выход слева направо. Обратное распространениесправа налевовычисляет градиент каждого параметра относительно потерь.

Ручной расчёт полного примера

Пусть x=2, y=4 (истинная метка), параметры w₁=0.5, b₁=0, w₂=1, b₂=0.

Прямое распространение

ШагВычислениеЗначение
z₁ = w₁x + b₁0.5×2 + 01.0
a₁ = ReLU(z₁)max(0, 1.0)1.0
ŷ = w₂a₁ + b₂1×1.0 + 01.0
L = (ŷ - y)²(1-4)²9.0

Обратное распространение (правило цепочки)

Градиент функции потерь по ŷ:\( \frac{\partial L}{\partial \hat{y}} = 2(\hat{y}-y) = 2(1-4) = -6 \)

Градиент ŷ по w₂ → L по w₂:\( \frac{\partial \hat{y}}{\partial w_2} = a_1 = 1.0 \),\( \frac{\partial L}{\partial w_2} = (-6) \times 1.0 = -6 \)

Градиент L по a₁ (при продолжении прямого распространения):\( \frac{\partial L}{\partial a_1} = \frac{\partial L}{\partial \hat{y}} \cdot w_2 = -6 \times 1 = -6 \)

Через ReLU:\( \frac{\partial a_1}{\partial z_1} = 1 \) (так как z₁=1>0), \( \frac{\partial L}{\partial z_1} = -6 \)

L по w₁:\( \frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial z_1} \cdot x = -6 \times 2 = -12 \)

Суммирование градиентов и обновление

ПараметрГрадиентОбновление (lr=0.1)
w₁-120.5 + 1.2 = 1.7
b₁-60 + 0.6 = 0.6
w₂-61 + 0.6 = 1.6
b₂-60 + 0.6 = 0.6

Все градиенты отрицательны — это означает, что текущее предсказание слишком мало (1 < 4), поэтому все параметры нужно увеличить.

Градиент w₁ (-12) больше, чем у w₂ (-6): поскольку w₁ находится дальше от функции потерь, путь распространения по цепочке длиннее, и он умножается на x=2.


Проверка на Python

Пример

import torch

x = torch.tensor([2.0])
y = torch.tensor([4.0])
w1 = torch.tensor([0.5], requires_grad=True)
b1 = torch.tensor([0.0], requires_grad=True)
w2 = torch.tensor([1.0], requires_grad=True)
b2 = torch.tensor([0.0], requires_grad=True)

# Прямой проход
a1 = torch.relu(w1 * x + b1)
y_pred = w2 * a1 + b2
loss = (y_pred - y) ** 2
loss.backward()

print("=== ПРИМЕР проверки PyTorch ===")
print(f"∂L/∂w1 = {w1.grad.item():.1f} (вычислено вручную: -12)")
print(f"∂L/∂b1 = {b1.grad.item():.1f} (ручной расчёт: -6)")
print(f"∂L/∂w2 = {w2.grad.item():.1f} (ручной расчёт: -6)")
print(f"∂L/∂b2 = {b2.grad.item():.1f} (ручной расчёт: -6)")

# Один шаг градиентного спуска
lr = 0.1
with torch.no_grad():
    w1 -= lr * w1.grad; b1 -= lr * b1.grad
    w2 -= lr * w2.grad; b2 -= lr * b2.grad
    new_loss = ((w2 * torch.relu(w1*x+b1) + b2 - y)**2).item()

print(f"\nИсходная потеря: {loss.item():.1f} → Новая потеря: {new_loss:.2f}")
print(f"Потеря уменьшилась!")
=== EXAMPLE PyTorch 验证 ===
∂L/∂w1 = -12.0  (手算: -12)
∂L/∂b1 = -6.0  (手算: -6)
∂L/∂w2 = -6.0  (手算: -6)
∂L/∂b2 = -6.0  (手算: -6)
原损失: 9.0 → 新损失: 1.03
损失减小了!

Обратное распространение = три строки сходятся

Линейная алгебра

Прямое распространение = матричные операции

z = Wx + b

Математический анализ

Обратное распространение = правило цепочки

∂L/∂w = ∂L/∂z · ∂z/∂w

Оптимизация

Обновление параметров = градиентный спуск

θ = θ - η∇J

Теория вероятностей и теория информации

Проектирование функции потерь = MLE + кросс-энтропия

L = -log P(y|x)

Обратное распространение по сути выполняет три действия: прямое распространение использует матричные операции для вычисления выхода, обратное распространение использует правило цепочки для вычисления градиентов, а после получения градиентов градиентный спуск используется для обновления параметров.

Теория вероятностей и статистика вместе с теорией информации обеспечивают теоретическую основу для выбора функций потерь.


Другие расширения