Encontrar el mínimo de una función con derivadas

Estima la derivada mediante diferencias numéricas y muévete paso a paso en la dirección opuesta a la derivada para sentir intuitivamente cómo «la derivada guía la dirección de búsqueda».

Después de completar este caso, comprenderás:La derivada te dice hacia dónde ir para que el valor de la función aumente; si vas en la dirección opuesta, disminuirá. Este es el prototipo del descenso de gradiente.


Introducción desde la vida real

Bajar la montaña a ciegas en un día de niebla espesa

En un día de niebla tan densa que no puedes ver ni tus propias manos, debes caminar desde la cima hasta el valle. No puedes ver la forma de la montaña, solo puedes sentir la pendiente bajo tus pies. Tu estrategia es simple: siente la dirección de mayor pendiente → da un pequeño paso en la dirección de mayor descenso → detente → vuelve a sentir → da otro pequeño paso.

«Sentir la pendiente» es calcular la derivada, y «dar un pequeño paso» es actualizar la posición usando la dirección opuesta de la derivada.Este método no necesita conocer la forma de toda la montaña, solo necesita conocer la pendiente bajo tus pies.


Comprensión intuitiva

Para la función \(f(x) = (x-3)^2 + 2\), el mínimo está en \(x=3\), y el valor mínimo es \(f(3) = 2\).

Partiendo de \(x=10\), ¿cómo llegar a \(x=3\)? No necesitas resolver ecuaciones, solo necesitas una estrategia:

  • Si la derivada \(f'(x) > 0\) (la función está aumentando), ve a la izquierda (disminuye x)
  • Si la derivada \(f'(x) < 0\) (la función está disminuyendo), ve a la derecha (aumenta x)
  • Cuanto mayor sea el valor absoluto de la derivada, más empinada es la pendiente, y puedes avanzar un poco más lejos

Definición matemática

Derivada numérica (diferencia central)

\[ f'(x) \approx \frac{f(x+h) - f(x-h)}{2h} \]

No es necesario deducir la fórmula de la derivada. Dividiendo la diferencia de los valores de la función en dos puntos muy cercanos por la distancia, se obtiene una aproximación de la derivada. Toma un número extremadamente pequeño para \(h\), como \(10^{-5}\).

Algoritmo ingenuo de descenso

\[ x_{t+1} = x_t - \eta \cdot f'(x_t) \]

Donde \(\eta\) es el tamaño del paso (tasa de aprendizaje), que controla cuánto se avanza en cada paso.


Manos a la obra con Python

Ejemplo

import numpy as np

# Función objetivo: f(x) = (x-3)^2 + 2, el mínimo está en x=3
def f(x):
    return (x - 3) ** 2 + 2

# Derivada numérica: usa diferencia central, no depende de la derivación simbólica
def numerical_derivative(f, x, h=1e-5):
    """Estima el valor de la derivada de f en x"""
    return (f(x + h) - f(x - h)) / (2 * h)

# Algoritmo ingenuo de descenso: muévete en la dirección opuesta a la derivada
x = 10.0          # Punto inicial, elegido deliberadamente lejos del punto óptimo
step_size = 0.1   # Tamaño del paso para cada movimiento
history = [x]

for i in range(50):
    grad = numerical_derivative(f, x)
    x = x - step_size * grad  # Si la derivada es positiva, ve a la izquierda; si es negativa, ve a la derecha
    history.append(x)

print("Resultado del algoritmo de descenso de EJEMPLO:")
print(f"Punto inicial x = {history)
print(f"Punto final x = {history[-1]:.4f} (punto mínimo real x=3)")
print(f"f(x) final = {f(history[-1]):.4f} (mínimo real f(3)=2)")

print("\n"Trayectoria de los primeros 10 pasos de EJEMPLO:")
print(f"{'Paso':<6} {'x':<10} {'f(x)':<10} {'Derivada':<10} {'Dirección'}")
for i, xi in enumerate(history[:10]):
    grad = numerical_derivative(f, xi)
    direction = "Hacia la izquierda" if grad > 0 else "Hacia la derecha"
    print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
EJEMPLO 下山算法结果:
起点 x = 10.0
终点 x = 3.0000  (真实最小值点 x=3)
终点 f(x) = 2.0000  (真实最小值 f(3)=2)

EJEMPLO 前 10 步移动轨迹:
步数   x          f(x)       导数       方向
0      10.0000    51.0000    14.0000    往左
1      8.6000     33.3600    11.2000    往左
2      7.4800     22.0704    8.9600     往左
3      6.5840     14.8042    7.1680     往左
4      5.8672     10.1942    5.7344     往左

Escenarios de aplicación en IA

EscenarioRelación con este caso
Entrenamiento con descenso de gradienteLa esencia del entrenamiento de redes neuronales: utilizar las derivadas parciales de la función de pérdida respecto a cada parámetro para guiar la dirección de actualización de los parámetros
Verificación de gradiente numéricoAl depurar la retropropagación, se utiliza el gradiente numérico para verificar la corrección del gradiente analítico: este es precisamente el método de diferencia central de este caso.
Búsqueda de hiperparámetrosMétodos de ajuste de parámetros como la optimización bayesiana también buscan el mínimo en la superficie de una función desconocida siguiendo la dirección de la «derivada».
Otras extensiones