Encontrar el mínimo de una función con derivadas
Estima la derivada mediante diferencias numéricas y muévete paso a paso en la dirección opuesta a la derivada para sentir intuitivamente cómo «la derivada guía la dirección de búsqueda».
Después de completar este caso, comprenderás:La derivada te dice hacia dónde ir para que el valor de la función aumente; si vas en la dirección opuesta, disminuirá. Este es el prototipo del descenso de gradiente.
Introducción desde la vida real
Bajar la montaña a ciegas en un día de niebla espesa
En un día de niebla tan densa que no puedes ver ni tus propias manos, debes caminar desde la cima hasta el valle. No puedes ver la forma de la montaña, solo puedes sentir la pendiente bajo tus pies. Tu estrategia es simple: siente la dirección de mayor pendiente → da un pequeño paso en la dirección de mayor descenso → detente → vuelve a sentir → da otro pequeño paso.
«Sentir la pendiente» es calcular la derivada, y «dar un pequeño paso» es actualizar la posición usando la dirección opuesta de la derivada.Este método no necesita conocer la forma de toda la montaña, solo necesita conocer la pendiente bajo tus pies.
Comprensión intuitiva
Para la función \(f(x) = (x-3)^2 + 2\), el mínimo está en \(x=3\), y el valor mínimo es \(f(3) = 2\).
Partiendo de \(x=10\), ¿cómo llegar a \(x=3\)? No necesitas resolver ecuaciones, solo necesitas una estrategia:
- Si la derivada \(f'(x) > 0\) (la función está aumentando), ve a la izquierda (disminuye x)
- Si la derivada \(f'(x) < 0\) (la función está disminuyendo), ve a la derecha (aumenta x)
- Cuanto mayor sea el valor absoluto de la derivada, más empinada es la pendiente, y puedes avanzar un poco más lejos
Definición matemática
Derivada numérica (diferencia central)
\[ f'(x) \approx \frac{f(x+h) - f(x-h)}{2h} \]No es necesario deducir la fórmula de la derivada. Dividiendo la diferencia de los valores de la función en dos puntos muy cercanos por la distancia, se obtiene una aproximación de la derivada. Toma un número extremadamente pequeño para \(h\), como \(10^{-5}\).
Algoritmo ingenuo de descenso
\[ x_{t+1} = x_t - \eta \cdot f'(x_t) \]Donde \(\eta\) es el tamaño del paso (tasa de aprendizaje), que controla cuánto se avanza en cada paso.
Manos a la obra con Python
Ejemplo
# Función objetivo: f(x) = (x-3)^2 + 2, el mínimo está en x=3
def f(x):
return (x - 3) ** 2 + 2
# Derivada numérica: usa diferencia central, no depende de la derivación simbólica
def numerical_derivative(f, x, h=1e-5):
"""Estima el valor de la derivada de f en x"""
return (f(x + h) - f(x - h)) / (2 * h)
# Algoritmo ingenuo de descenso: muévete en la dirección opuesta a la derivada
x = 10.0 # Punto inicial, elegido deliberadamente lejos del punto óptimo
step_size = 0.1 # Tamaño del paso para cada movimiento
history = [x]
for i in range(50):
grad = numerical_derivative(f, x)
x = x - step_size * grad # Si la derivada es positiva, ve a la izquierda; si es negativa, ve a la derecha
history.append(x)
print("Resultado del algoritmo de descenso de EJEMPLO:")
print(f"Punto inicial x = {history)
print(f"Punto final x = {history[-1]:.4f} (punto mínimo real x=3)")
print(f"f(x) final = {f(history[-1]):.4f} (mínimo real f(3)=2)")
print("\n"Trayectoria de los primeros 10 pasos de EJEMPLO:")
print(f"{'Paso':<6} {'x':<10} {'f(x)':<10} {'Derivada':<10} {'Dirección'}")
for i, xi in enumerate(history[:10]):
grad = numerical_derivative(f, xi)
direction = "Hacia la izquierda" if grad > 0 else "Hacia la derecha"
print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
EJEMPLO 下山算法结果: 起点 x = 10.0 终点 x = 3.0000 (真实最小值点 x=3) 终点 f(x) = 2.0000 (真实最小值 f(3)=2) EJEMPLO 前 10 步移动轨迹: 步数 x f(x) 导数 方向 0 10.0000 51.0000 14.0000 往左 1 8.6000 33.3600 11.2000 往左 2 7.4800 22.0704 8.9600 往左 3 6.5840 14.8042 7.1680 往左 4 5.8672 10.1942 5.7344 往左
Escenarios de aplicación en IA
| Escenario | Relación con este caso |
|---|---|
| Entrenamiento con descenso de gradiente | La esencia del entrenamiento de redes neuronales: utilizar las derivadas parciales de la función de pérdida respecto a cada parámetro para guiar la dirección de actualización de los parámetros |
| Verificación de gradiente numérico | Al depurar la retropropagación, se utiliza el gradiente numérico para verificar la corrección del gradiente analítico: este es precisamente el método de diferencia central de este caso. |
| Búsqueda de hiperparámetros | Métodos de ajuste de parámetros como la optimización bayesiana también buscan el mínimo en la superficie de una función desconocida siguiendo la dirección de la «derivada». |