Introducción a las derivadas — tasa de cambio instantánea y recta tangente

La derivada = tasa de cambio instantánea de la función en un punto = pendiente de la recta tangente en ese punto.

Si entiendes la derivada, entiendes por qué el descenso de gradiente avanza en dirección opuesta.


De la tasa de cambio promedio a la tasa de cambio instantánea

Tasa de cambio promedio (pendiente de la secante) → Δx se hace cada vez más pequeño → la secante se convierte en tangente →La derivada = pendiente de la recta tangente。

El signo de la derivada revela el comportamiento de la función

f'(x) > 0

La función aumenta en este punto

La recta tangente apunta hacia arriba a la derecha

f'(x) < 0

La función disminuye en este punto

La recta tangente apunta hacia abajo a la derecha

f'(x) = 0

Horizontal: posible valor extremo

La recta tangente es horizontal

La intuición del descenso de gradiente está escondida en el signo de la derivada:

f'(x) > 0 → la función está subiendo → ve en dirección opuesta. f'(x) < 0 → la función está bajando → continúa en esa dirección.

Esta es la raíz de la «dirección del gradiente negativo».


Ejemplos de la vida cotidiana

Velocímetro = derivada de la función de posición

Recorriste 120 km en 2 horas → velocidad promedio 60 km/h.

Pero la velocidad instantánea en el tablero cambia constantemente. Esta «velocidad en este momento» es la derivada de la función de distancia respecto al tiempo.


Definición matemática

\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]

Si este límite existe, f es derivable en x.


Práctica con Python

Ejemplo

import numpy as np

def numerical_derivative(f, x, h=1e-5):
    return (f(x + h) - f(x - h)) / (2 * h)

f = lambda x: x**2

# f'(2) = 2*2 = 4
print(f"f'(2) valor={numerical_derivative(f, 2):.6f}, teórico=4")

# Derivada en cada punto
for x in [-2, -1, 0, 1, 2]:
    d = numerical_derivative(f, x)
    dir = "Decreciente" if d < 0 else ("Creciente" if d > 0 else "Horizontal")
    print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4
x=-2, f'(x)= -4.0, 下降
x=-1, f'(x)= -2.0, 下降
x= 0, f'(x)=  0.0, 水平
x= 1, f'(x)=  2.0, 上升
x= 2, f'(x)=  4.0, 上升

Escenarios de aplicación en IA

Prototipo unidimensional del descenso de gradiente

Para funciones de una variable, el descenso de gradiente se reduce a \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \). La derivada te indica «hacia dónde disminuye el valor de la función»: si la derivada es positiva, ve a la izquierda; si es negativa, ve a la derecha.

La derivada de la función de activación determina la eficiencia de la retropropagación

La derivada de ReLU: es 1 cuando x>0, y 0 cuando x≤0. El cálculo es muy rápido y el gradiente no se atenúa en la región positiva — esta es la razón clave por la que ReLU es más adecuada que Sigmoid para redes profundas. La derivada de Sigmoid tiene un máximo de solo 0.25; tras multiplicarse en múltiples capas, el gradiente decae exponencialmente (desaparición del gradiente).

La derivada de la función de pérdida en la solución óptima es cero

Cuando el modelo converge a un óptimo local, las derivadas parciales de la función de pérdida con respecto a todos los parámetros se acercan a 0 — el descenso de gradiente se detiene naturalmente. Esta es la señal de convergencia del entrenamiento: la norma del gradiente ||\nabla J|| \approx 0.


Otras extensiones