Introducción a las derivadas — tasa de cambio instantánea y recta tangente
La derivada = tasa de cambio instantánea de la función en un punto = pendiente de la recta tangente en ese punto.
Si entiendes la derivada, entiendes por qué el descenso de gradiente avanza en dirección opuesta.
De la tasa de cambio promedio a la tasa de cambio instantánea
Tasa de cambio promedio (pendiente de la secante) → Δx se hace cada vez más pequeño → la secante se convierte en tangente →La derivada = pendiente de la recta tangente。
El signo de la derivada revela el comportamiento de la función
f'(x) > 0
La función aumenta en este punto
La recta tangente apunta hacia arriba a la derecha
f'(x) < 0
La función disminuye en este punto
La recta tangente apunta hacia abajo a la derecha
f'(x) = 0
Horizontal: posible valor extremo
La recta tangente es horizontal
La intuición del descenso de gradiente está escondida en el signo de la derivada:
f'(x) > 0 → la función está subiendo → ve en dirección opuesta. f'(x) < 0 → la función está bajando → continúa en esa dirección.
Esta es la raíz de la «dirección del gradiente negativo».
Ejemplos de la vida cotidiana
Velocímetro = derivada de la función de posición
Recorriste 120 km en 2 horas → velocidad promedio 60 km/h.
Pero la velocidad instantánea en el tablero cambia constantemente. Esta «velocidad en este momento» es la derivada de la función de distancia respecto al tiempo.
Definición matemática
\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]Si este límite existe, f es derivable en x.
Práctica con Python
Ejemplo
def numerical_derivative(f, x, h=1e-5):
return (f(x + h) - f(x - h)) / (2 * h)
f = lambda x: x**2
# f'(2) = 2*2 = 4
print(f"f'(2) valor={numerical_derivative(f, 2):.6f}, teórico=4")
# Derivada en cada punto
for x in [-2, -1, 0, 1, 2]:
d = numerical_derivative(f, x)
dir = "Decreciente" if d < 0 else ("Creciente" if d > 0 else "Horizontal")
print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4 x=-2, f'(x)= -4.0, 下降 x=-1, f'(x)= -2.0, 下降 x= 0, f'(x)= 0.0, 水平 x= 1, f'(x)= 2.0, 上升 x= 2, f'(x)= 4.0, 上升
Escenarios de aplicación en IA
Prototipo unidimensional del descenso de gradiente
Para funciones de una variable, el descenso de gradiente se reduce a \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \). La derivada te indica «hacia dónde disminuye el valor de la función»: si la derivada es positiva, ve a la izquierda; si es negativa, ve a la derecha.
La derivada de la función de activación determina la eficiencia de la retropropagación
La derivada de ReLU: es 1 cuando x>0, y 0 cuando x≤0. El cálculo es muy rápido y el gradiente no se atenúa en la región positiva — esta es la razón clave por la que ReLU es más adecuada que Sigmoid para redes profundas. La derivada de Sigmoid tiene un máximo de solo 0.25; tras multiplicarse en múltiples capas, el gradiente decae exponencialmente (desaparición del gradiente).
La derivada de la función de pérdida en la solución óptima es cero
Cuando el modelo converge a un óptimo local, las derivadas parciales de la función de pérdida con respecto a todos los parámetros se acercan a 0 — el descenso de gradiente se detiene naturalmente. Esta es la señal de convergencia del entrenamiento: la norma del gradiente ||\nabla J|| \approx 0.
Otras extensiones