L'essence mathématique de la rétropropagation

Ce chapitre calculera manuellement l'ensemble du processus de rétropropagation d'un réseau de neurones à deux couches.

Rétropropagation = Une application systématique de la règle de la chaîne sur un graphe de calcul.


Analyse du concept

Graphe de calcul : propagation avant et arrière

Un réseau simple à deux couches : entrée x → couche cachée (ReLU) → sortie → perte MSE.

x
z₁=w₁x+b₁
a₁=ReLU(z₁)
z₂=w₂a₁+b₂
ŷ
L=(ŷ-y)²

La propagation avant calcule la sortie de gauche à droite. La rétropropagationde droite à gauchecalcule le gradient de chaque paramètre par rapport à la perte.

Calculer manuellement un exemple complet

Soit x=2, y=4 (étiquette réelle), paramètres w₁=0.5, b₁=0, w₂=1, b₂=0.

Propagation avant

ÉtapeCalculValeur
z₁ = w₁x + b₁0.5×2 + 01.0
a₁ = ReLU(z₁)max(0, 1.0)1.0
ŷ = w₂a₁ + b₂1×1.0 + 01.0
L = (ŷ - y)²(1-4)²9.0

Rétropropagation (règle de la chaîne)

Gradient de la perte par rapport à ŷ :\( \frac{\partial L}{\partial \hat{y}} = 2(\hat{y}-y) = 2(1-4) = -6 \)

Gradient de ŷ par rapport à w₂ → L par rapport à w₂ :\( \frac{\partial \hat{y}}{\partial w_2} = a_1 = 1.0 \), \( \frac{\partial L}{\partial w_2} = (-6) \times 1.0 = -6 \)

Gradient de L par rapport à a₁ (en poursuivant la propagation avant) :\( \frac{\partial L}{\partial a_1} = \frac{\partial L}{\partial \hat{y}} \cdot w_2 = -6 \times 1 = -6 \)

À travers ReLU :\( \frac{\partial a_1}{\partial z_1} = 1 \) (puisque z₁=1>0), \( \frac{\partial L}{\partial z_1} = -6 \)

L par rapport à w₁ :\( \frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial z_1} \cdot x = -6 \times 2 = -12 \)

Somme des gradients et mise à jour

ParamètreGradientMise à jour (lr=0.1)
w₁-120.5 + 1.2 = 1.7
b₁-60 + 0.6 = 0.6
w₂-61 + 0.6 = 1.6
b₂-60 + 0.6 = 0.6

Les gradients sont tous négatifs — cela indique que la prédiction actuelle est trop petite (1 < 4), donc tous les paramètres doivent augmenter.

Le gradient de w₁ (-12) est plus grand que celui de w₂ (-6) : parce que w₁ est plus loin de la perte, le chemin de propagation en chaîne est plus long, et il est multiplié par x=2.


Vérification Python

Exemple

import torch

x = torch.tensor([2.0])
y = torch.tensor([4.0])
w1 = torch.tensor([0.5], requires_grad=True)
b1 = torch.tensor([0.0], requires_grad=True)
w2 = torch.tensor([1.0], requires_grad=True)
b2 = torch.tensor([0.0], requires_grad=True)

# Passe avant
a1 = torch.relu(w1 * x + b1)
y_pred = w2 * a1 + b2
loss = (y_pred - y) ** 2
loss.backward()

print("=== EXEMPLE Vérification PyTorch ===")
print(f"∂L/∂w1 = {w1.grad.item():.1f} (calculé à la main : -12)")
print(f"∂L/∂b1 = {b1.grad.item():.1f} (calcul à la main : -6)")
print(f"∂L/∂w2 = {w2.grad.item():.1f} (calcul à la main : -6)")
print(f"∂L/∂b2 = {b2.grad.item():.1f} (calcul à la main : -6)")

# Une étape de descente de gradient
lr = 0.1
with torch.no_grad():
    w1 -= lr * w1.grad; b1 -= lr * b1.grad
    w2 -= lr * w2.grad; b2 -= lr * b2.grad
    new_loss = ((w2 * torch.relu(w1*x+b1) + b2 - y)**2).item()

print(f"\nPerte d'origine : {loss.item():.1f} → Nouvelle perte : {new_loss:.2f}")
print(f"La perte a diminué !")
=== EXAMPLE PyTorch 验证 ===
∂L/∂w1 = -12.0  (手算: -12)
∂L/∂b1 = -6.0  (手算: -6)
∂L/∂w2 = -6.0  (手算: -6)
∂L/∂b2 = -6.0  (手算: -6)
原损失: 9.0 → 新损失: 1.03
损失减小了!

Rétropropagation = Trois lignes convergent

Algèbre linéaire

Propagation avant = opérations matricielles

z = Wx + b

Calcul infinitésimal

Rétropropagation = règle de la chaîne

∂L/∂w = ∂L/∂z · ∂z/∂w

Optimisation

Mise à jour des paramètres = descente de gradient

θ = θ - η∇J

Probabilités & théorie de l'information

Conception de la fonction de perte = MLE + entropie croisée

L = -log P(y|x)

La rétropropagation fait essentiellement trois choses : la propagation avant utilise des opérations matricielles pour calculer la sortie, la propagation arrière utilise la règle de la chaîne pour calculer les gradients, et après obtention des gradients, la descente de gradient est utilisée pour mettre à jour les paramètres.

Les probabilités et les statistiques, ainsi que la théorie de l'information, fournissent une base théorique pour le choix des fonctions de perte.


Autres extensions