Implementar a mano el descenso de gradiente para ajustar una línea recta
Sin usar sklearn, ajusta \(y = wx + b\) desde cero con descenso de gradiente y observa paso a paso cómo disminuye la pérdida.
Al completar este caso entenderás:No se necesita una solución de forma cerrada; basta con saber calcular el gradiente para que los parámetros converjan automáticamente al valor óptimo.
Introducción desde la vida cotidiana
Práctica de tiro a canasta: ajusta un poco el ángulo en cada intento
Estás lanzando desde fuera de la línea de tres puntos. La primera vez se desvía a la izquierda: la próxima vez ajusta un poco hacia la derecha. La segunda vez se desvía a la derecha: vuelve a ajustar un poco hacia la izquierda. Después de cada tiro, miras la desviación y ajustas la postura en la dirección que la reduce.
El entrenamiento de aprendizaje automático es exactamente igual: cada vez que calculas el valor predicho, observas la diferencia con el valor real (la pérdida) y luego ajustas los parámetros en la dirección que reduce la diferencia (descenso de gradiente). Repite el proceso cientos de veces y la postura quedará fijada.
Comprensión intuitiva
Nuestro objetivo es encontrar una línea recta \(y = wx + b\) que pase lo más cerca posible de todos los puntos de datos. \(w\) es la pendiente, \(b\) es la intersección, y la pérdida = el promedio de las distancias verticales al cuadrado de todos los puntos a la línea (MSE).
Si se empieza con \(w=0, b=0\), la línea está horizontal y la pérdida es grande. El descenso de gradiente nos dirá: «hay que aumentar w, y también hay que aumentar b», y hacemos caso. Después de repetir 100 veces, la línea pasará por los puntos de datos.
Definición matemática
\[ L(w, b) = \frac{1}{n}\sum_{i=1}^{n}(wx_i + b - y_i)^2 \] \[ \frac{\partial L}{\partial w} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \cdot x_i, \quad \frac{\partial L}{\partial b} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \] \[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} \]Manos a la obra con Python
Ejemplo
np.random.seed(0)
# Generar datos lineales con ruido: y real = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8
# Función de gradiente derivada a mano (derivadas parciales respecto a w y b)
def compute_gradients(w, b, x, y):
y_pred = w * x + b
error = y_pred - y # Valor predicho - valor real
dw = np.mean(2 * error * x) # dL/dw
db = np.mean(2 * error) # dL/db
return dw, db
# Bucle principal del descenso de gradiente
w, b = 0.0, 0.0 # Parámetros iniciales establecidos deliberadamente en 0
lr = 0.05
epochs = 100
print(EJEMPLO proceso de descenso de gradiente (valores reales w=2, b=1):)
for epoch in range(epochs):
y_pred = w * x + b
loss = np.mean((y_pred - y) ** 2)
dw, db = compute_gradients(w, b, x, y)
w -= lr * dw
b -= lr * db
if epoch % 20 == 0:
print(f" epoch {epoch:3d} loss={loss:.4f} w={w:.3f} b={b:.3f}")
print(f"\nEJEMPLO final: w={w:.3f}, b={b:.3f} (w real=2, b=1))
print(fLínea ajustada: y = {w:.2f}x + {b:.2f})
EJEMPLO 梯度下降过程 (真实值 w=2, b=1): epoch 0 loss=13.4515 w=0.790 b=0.057 epoch 20 loss=0.9165 w=1.868 b=0.785 epoch 40 loss=0.7316 w=1.949 b=0.918 epoch 60 loss=0.7083 w=1.971 b=0.956 epoch 80 loss=0.7055 w=1.977 b=0.967 epoch 100 loss=0.7052 w=1.979 b=0.970 EJEMPLO 最终: w=1.979, b=0.970 (真实 w=2, b=1) 拟合直线: y = 1.98x + 0.97
Escenarios de aplicación en IA
El esqueleto de código de este caso es la plantilla para todo entrenamiento de aprendizaje profundo: cálculo hacia adelante del valor predicho → cálculo de la pérdida → retropropagación para obtener el gradiente → actualización de parámetros → repetir. optimizer.step() y loss.backward() en PyTorch automatizan este proceso.
Otras extensiones