Математическая суть обратного распространения
В этой главе мы вручную рассчитаем весь процесс обратного распространения двухслойной нейронной сети.
Обратное распространение = Систематическое применение правила цепочки на вычислительном графе.
Анализ концепции
Вычислительный граф: прямой и обратный проход
Простая двухслойная сеть: вход x → скрытый слой (ReLU) → выход → потеря MSE.
Прямое распространение вычисляет выход слева направо. Обратное распространениесправа налевовычисляет градиент каждого параметра относительно потерь.
Ручной расчёт полного примера
Пусть x=2, y=4 (истинная метка), параметры w₁=0.5, b₁=0, w₂=1, b₂=0.
Прямое распространение
| Шаг | Вычисление | Значение |
|---|---|---|
| z₁ = w₁x + b₁ | 0.5×2 + 0 | 1.0 |
| a₁ = ReLU(z₁) | max(0, 1.0) | 1.0 |
| ŷ = w₂a₁ + b₂ | 1×1.0 + 0 | 1.0 |
| L = (ŷ - y)² | (1-4)² | 9.0 |
Обратное распространение (правило цепочки)
Градиент функции потерь по ŷ:\( \frac{\partial L}{\partial \hat{y}} = 2(\hat{y}-y) = 2(1-4) = -6 \)
Градиент ŷ по w₂ → L по w₂:\( \frac{\partial \hat{y}}{\partial w_2} = a_1 = 1.0 \),\( \frac{\partial L}{\partial w_2} = (-6) \times 1.0 = -6 \)
Градиент L по a₁ (при продолжении прямого распространения):\( \frac{\partial L}{\partial a_1} = \frac{\partial L}{\partial \hat{y}} \cdot w_2 = -6 \times 1 = -6 \)
Через ReLU:\( \frac{\partial a_1}{\partial z_1} = 1 \) (так как z₁=1>0), \( \frac{\partial L}{\partial z_1} = -6 \)
L по w₁:\( \frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial z_1} \cdot x = -6 \times 2 = -12 \)
Суммирование градиентов и обновление
| Параметр | Градиент | Обновление (lr=0.1) |
|---|---|---|
| w₁ | -12 | 0.5 + 1.2 = 1.7 |
| b₁ | -6 | 0 + 0.6 = 0.6 |
| w₂ | -6 | 1 + 0.6 = 1.6 |
| b₂ | -6 | 0 + 0.6 = 0.6 |
Все градиенты отрицательны — это означает, что текущее предсказание слишком мало (1 < 4), поэтому все параметры нужно увеличить.
Градиент w₁ (-12) больше, чем у w₂ (-6): поскольку w₁ находится дальше от функции потерь, путь распространения по цепочке длиннее, и он умножается на x=2.
Проверка на Python
Пример
x = torch.tensor([2.0])
y = torch.tensor([4.0])
w1 = torch.tensor([0.5], requires_grad=True)
b1 = torch.tensor([0.0], requires_grad=True)
w2 = torch.tensor([1.0], requires_grad=True)
b2 = torch.tensor([0.0], requires_grad=True)
# Прямой проход
a1 = torch.relu(w1 * x + b1)
y_pred = w2 * a1 + b2
loss = (y_pred - y) ** 2
loss.backward()
print("=== ПРИМЕР проверки PyTorch ===")
print(f"∂L/∂w1 = {w1.grad.item():.1f} (вычислено вручную: -12)")
print(f"∂L/∂b1 = {b1.grad.item():.1f} (ручной расчёт: -6)")
print(f"∂L/∂w2 = {w2.grad.item():.1f} (ручной расчёт: -6)")
print(f"∂L/∂b2 = {b2.grad.item():.1f} (ручной расчёт: -6)")
# Один шаг градиентного спуска
lr = 0.1
with torch.no_grad():
w1 -= lr * w1.grad; b1 -= lr * b1.grad
w2 -= lr * w2.grad; b2 -= lr * b2.grad
new_loss = ((w2 * torch.relu(w1*x+b1) + b2 - y)**2).item()
print(f"\nИсходная потеря: {loss.item():.1f} → Новая потеря: {new_loss:.2f}")
print(f"Потеря уменьшилась!")
=== EXAMPLE PyTorch 验证 === ∂L/∂w1 = -12.0 (手算: -12) ∂L/∂b1 = -6.0 (手算: -6) ∂L/∂w2 = -6.0 (手算: -6) ∂L/∂b2 = -6.0 (手算: -6) 原损失: 9.0 → 新损失: 1.03 损失减小了!
Обратное распространение = три строки сходятся
Прямое распространение = матричные операции
z = Wx + b
Обратное распространение = правило цепочки
∂L/∂w = ∂L/∂z · ∂z/∂w
Обновление параметров = градиентный спуск
θ = θ - η∇J
Проектирование функции потерь = MLE + кросс-энтропия
L = -log P(y|x)
Обратное распространение по сути выполняет три действия: прямое распространение использует матричные операции для вычисления выхода, обратное распространение использует правило цепочки для вычисления градиентов, а после получения градиентов градиентный спуск используется для обновления параметров.
Теория вероятностей и статистика вместе с теорией информации обеспечивают теоретическую основу для выбора функций потерь.
Другие расширения