Implementar a mano el descenso de gradiente para ajustar una línea recta

Sin usar sklearn, ajusta \(y = wx + b\) desde cero con descenso de gradiente y observa paso a paso cómo disminuye la pérdida.

Al completar este caso entenderás:No se necesita una solución de forma cerrada; basta con saber calcular el gradiente para que los parámetros converjan automáticamente al valor óptimo.


Introducción desde la vida cotidiana

Práctica de tiro a canasta: ajusta un poco el ángulo en cada intento

Estás lanzando desde fuera de la línea de tres puntos. La primera vez se desvía a la izquierda: la próxima vez ajusta un poco hacia la derecha. La segunda vez se desvía a la derecha: vuelve a ajustar un poco hacia la izquierda. Después de cada tiro, miras la desviación y ajustas la postura en la dirección que la reduce.

El entrenamiento de aprendizaje automático es exactamente igual: cada vez que calculas el valor predicho, observas la diferencia con el valor real (la pérdida) y luego ajustas los parámetros en la dirección que reduce la diferencia (descenso de gradiente). Repite el proceso cientos de veces y la postura quedará fijada.


Comprensión intuitiva

Nuestro objetivo es encontrar una línea recta \(y = wx + b\) que pase lo más cerca posible de todos los puntos de datos. \(w\) es la pendiente, \(b\) es la intersección, y la pérdida = el promedio de las distancias verticales al cuadrado de todos los puntos a la línea (MSE).

Si se empieza con \(w=0, b=0\), la línea está horizontal y la pérdida es grande. El descenso de gradiente nos dirá: «hay que aumentar w, y también hay que aumentar b», y hacemos caso. Después de repetir 100 veces, la línea pasará por los puntos de datos.


Definición matemática

\[ L(w, b) = \frac{1}{n}\sum_{i=1}^{n}(wx_i + b - y_i)^2 \] \[ \frac{\partial L}{\partial w} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \cdot x_i, \quad \frac{\partial L}{\partial b} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \] \[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} \]

Manos a la obra con Python

Ejemplo

import numpy as np
np.random.seed(0)

# Generar datos lineales con ruido: y real = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8

# Función de gradiente derivada a mano (derivadas parciales respecto a w y b)
def compute_gradients(w, b, x, y):
    y_pred = w * x + b
    error = y_pred - y          # Valor predicho - valor real
    dw = np.mean(2 * error * x) # dL/dw
    db = np.mean(2 * error)     # dL/db
    return dw, db

# Bucle principal del descenso de gradiente
w, b = 0.0, 0.0     # Parámetros iniciales establecidos deliberadamente en 0
lr = 0.05
epochs = 100

print(EJEMPLO proceso de descenso de gradiente (valores reales w=2, b=1):)
for epoch in range(epochs):
    y_pred = w * x + b
    loss = np.mean((y_pred - y) ** 2)
    dw, db = compute_gradients(w, b, x, y)
    w -= lr * dw
    b -= lr * db
    if epoch % 20 == 0:
        print(f"  epoch {epoch:3d}  loss={loss:.4f}  w={w:.3f}  b={b:.3f}")

print(f"\nEJEMPLO final: w={w:.3f}, b={b:.3f} (w real=2, b=1))
print(fLínea ajustada: y = {w:.2f}x + {b:.2f})
EJEMPLO 梯度下降过程 (真实值 w=2, b=1):
  epoch   0  loss=13.4515  w=0.790  b=0.057
  epoch  20  loss=0.9165  w=1.868  b=0.785
  epoch  40  loss=0.7316  w=1.949  b=0.918
  epoch  60  loss=0.7083  w=1.971  b=0.956
  epoch  80  loss=0.7055  w=1.977  b=0.967
  epoch 100  loss=0.7052  w=1.979  b=0.970

EJEMPLO 最终: w=1.979, b=0.970  (真实 w=2, b=1)
拟合直线: y = 1.98x + 0.97

Escenarios de aplicación en IA

El esqueleto de código de este caso es la plantilla para todo entrenamiento de aprendizaje profundo: cálculo hacia adelante del valor predicho → cálculo de la pérdida → retropropagación para obtener el gradiente → actualización de parámetros → repetir. optimizer.step() y loss.backward() en PyTorch automatizan este proceso.

Otras extensiones