L'essence mathématique de la rétropropagation
Ce chapitre calculera manuellement l'ensemble du processus de rétropropagation d'un réseau de neurones à deux couches.
Rétropropagation = Une application systématique de la règle de la chaîne sur un graphe de calcul.
Analyse du concept
Graphe de calcul : propagation avant et arrière
Un réseau simple à deux couches : entrée x → couche cachée (ReLU) → sortie → perte MSE.
La propagation avant calcule la sortie de gauche à droite. La rétropropagationde droite à gauchecalcule le gradient de chaque paramètre par rapport à la perte.
Calculer manuellement un exemple complet
Soit x=2, y=4 (étiquette réelle), paramètres w₁=0.5, b₁=0, w₂=1, b₂=0.
Propagation avant
| Étape | Calcul | Valeur |
|---|---|---|
| z₁ = w₁x + b₁ | 0.5×2 + 0 | 1.0 |
| a₁ = ReLU(z₁) | max(0, 1.0) | 1.0 |
| ŷ = w₂a₁ + b₂ | 1×1.0 + 0 | 1.0 |
| L = (ŷ - y)² | (1-4)² | 9.0 |
Rétropropagation (règle de la chaîne)
Gradient de la perte par rapport à ŷ :\( \frac{\partial L}{\partial \hat{y}} = 2(\hat{y}-y) = 2(1-4) = -6 \)
Gradient de ŷ par rapport à w₂ → L par rapport à w₂ :\( \frac{\partial \hat{y}}{\partial w_2} = a_1 = 1.0 \), \( \frac{\partial L}{\partial w_2} = (-6) \times 1.0 = -6 \)
Gradient de L par rapport à a₁ (en poursuivant la propagation avant) :\( \frac{\partial L}{\partial a_1} = \frac{\partial L}{\partial \hat{y}} \cdot w_2 = -6 \times 1 = -6 \)
À travers ReLU :\( \frac{\partial a_1}{\partial z_1} = 1 \) (puisque z₁=1>0), \( \frac{\partial L}{\partial z_1} = -6 \)
L par rapport à w₁ :\( \frac{\partial L}{\partial w_1} = \frac{\partial L}{\partial z_1} \cdot x = -6 \times 2 = -12 \)
Somme des gradients et mise à jour
| Paramètre | Gradient | Mise à jour (lr=0.1) |
|---|---|---|
| w₁ | -12 | 0.5 + 1.2 = 1.7 |
| b₁ | -6 | 0 + 0.6 = 0.6 |
| w₂ | -6 | 1 + 0.6 = 1.6 |
| b₂ | -6 | 0 + 0.6 = 0.6 |
Les gradients sont tous négatifs — cela indique que la prédiction actuelle est trop petite (1 < 4), donc tous les paramètres doivent augmenter.
Le gradient de w₁ (-12) est plus grand que celui de w₂ (-6) : parce que w₁ est plus loin de la perte, le chemin de propagation en chaîne est plus long, et il est multiplié par x=2.
Vérification Python
Exemple
x = torch.tensor([2.0])
y = torch.tensor([4.0])
w1 = torch.tensor([0.5], requires_grad=True)
b1 = torch.tensor([0.0], requires_grad=True)
w2 = torch.tensor([1.0], requires_grad=True)
b2 = torch.tensor([0.0], requires_grad=True)
# Passe avant
a1 = torch.relu(w1 * x + b1)
y_pred = w2 * a1 + b2
loss = (y_pred - y) ** 2
loss.backward()
print("=== EXEMPLE Vérification PyTorch ===")
print(f"∂L/∂w1 = {w1.grad.item():.1f} (calculé à la main : -12)")
print(f"∂L/∂b1 = {b1.grad.item():.1f} (calcul à la main : -6)")
print(f"∂L/∂w2 = {w2.grad.item():.1f} (calcul à la main : -6)")
print(f"∂L/∂b2 = {b2.grad.item():.1f} (calcul à la main : -6)")
# Une étape de descente de gradient
lr = 0.1
with torch.no_grad():
w1 -= lr * w1.grad; b1 -= lr * b1.grad
w2 -= lr * w2.grad; b2 -= lr * b2.grad
new_loss = ((w2 * torch.relu(w1*x+b1) + b2 - y)**2).item()
print(f"\nPerte d'origine : {loss.item():.1f} → Nouvelle perte : {new_loss:.2f}")
print(f"La perte a diminué !")
=== EXAMPLE PyTorch 验证 === ∂L/∂w1 = -12.0 (手算: -12) ∂L/∂b1 = -6.0 (手算: -6) ∂L/∂w2 = -6.0 (手算: -6) ∂L/∂b2 = -6.0 (手算: -6) 原损失: 9.0 → 新损失: 1.03 损失减小了!
Rétropropagation = Trois lignes convergent
Propagation avant = opérations matricielles
z = Wx + b
Rétropropagation = règle de la chaîne
∂L/∂w = ∂L/∂z · ∂z/∂w
Mise à jour des paramètres = descente de gradient
θ = θ - η∇J
Conception de la fonction de perte = MLE + entropie croisée
L = -log P(y|x)
La rétropropagation fait essentiellement trois choses : la propagation avant utilise des opérations matricielles pour calculer la sortie, la propagation arrière utilise la règle de la chaîne pour calculer les gradients, et après obtention des gradients, la descente de gradient est utilisée pour mettre à jour les paramètres.
Les probabilités et les statistiques, ainsi que la théorie de l'information, fournissent une base théorique pour le choix des fonctions de perte.
Autres extensions