Funciones y gráficas
En este capítulo mostraremos de forma visual las gráficas de las funciones comunes. Entender la forma de una gráfica es más importante que memorizar fórmulas.
Las superficies de funciones de pérdida y las funciones de activación son, en esencia, variantes de estas formas básicas. Cada función incluye gráficas interactivas conmutables; cambiar y arrastrar con las manos es mucho más eficaz que mirar ilustraciones estáticas.
¿Por qué aprender específicamente a "leer gráficas"?
Las fórmulas matemáticas describen las "reglas"; las gráficas describen "cómo se ven esas reglas".
Muchos problemas centrales del aprendizaje profundo son, en esencia, problemas de "forma de curvas o superficies":
| Problema de aprendizaje profundo | Problema de forma subyacente |
|---|---|
| Por qué ciertas funciones de pérdida son más fáciles de optimizar | Observar si su superficie tiene forma de "cuenco" (función convexa) |
| Por qué sigmoid puede hacer que el entrenamiento sea más lento | Observar cuán "plana" es su gráfica en los extremos |
| Por qué ReLU se convirtió en la opción predeterminada | Observar cuán "simple" es su gráfica |
Observar cada función con las preguntas "¿qué forma tiene?, ¿cómo son los extremos?, ¿cómo es el centro?" ayuda a recordar mejor que memorizar fórmulas de memoria.
Cinco gráficas de funciones básicas
Función lineal: y = kx + b
Su forma es una línea recta.k es la pendiente, que determina la inclinación y la dirección (k>0 hacia arriba a la derecha, k<0 hacia abajo a la derecha);b es la intersección, que determina el punto de corte con el eje y.
El dominio y el rango son todos los números reales; la tasa de cambio (pendiente) es la misma en todas partes, lo que significa la palabra "lineal".
Su papel en la IA: la operación más básica de una neuronaes una función lineal en un espacio de alta dimensión. Los pesos controlan la dirección y la inclinación, y el sesgo controla la traslación global.
Función cuadrática: y = ax² + bx + c
Su forma es una parábola.Abertura hacia arriba (forma de cuenco), con un mínimo;Abertura hacia abajo (cuenco invertido), con un máximo.
El vértice es el punto de inflexión de la curva; se puede calcular completando el cuadrado:La gráfica es simétrica respecto a la línea vertical que pasa por el vértice.
Su papel en la IA: la función convexa más simple tiene esta forma. El error cuadrático medio (MSE) se aproxima a esta superficie en forma de "cuenco" en muchos escenarios simplificados: el descenso de gradiente encuentra fácilmente el punto más bajo en una superficie en forma de cuenco, porque no importa desde qué dirección bajes, llegarás al mismo valle.
Función exponencial: y = aˣ (a>0 y a≠1)
Su forma es una curva que sube acelerando continuamente (cuando a>1) o decae continuamente (cuando 0<a<1); nunca toca el eje x, que es su asíntota horizontal.
El dominio son todos los números reales y el rango esCuando la entrada crece linealmente, la salida crece de forma "explosiva"; esta es la propiedad más esencial de la función exponencial.
Su papel en la IA: el eˣ en softmaxy la decadencia exponencial en el término de momento del optimizador Adam, ambas aprovechan la propiedad de "amplificar diferencias" o "olvidar gradualmente".
Función logarítmica: y = logₐx (a>0 y a≠1)
Es exactamente la "imagen especular" de la función exponencial (con la recta y=x como eje de simetría). La curva sube rápidamente cuando x parte de 0, y luego crece cada vez más lentamente.
El dominio esy el rango son todos los números reales. Cuanto mayor es la entrada, más lento es el crecimiento, justo lo contrario de la función exponencial.
Su papel en la IA: el -log(p) en la pérdida de entropía cruzadaaprovecha precisamente la forma del logaritmo "extremadamente empinado cerca de 0 y suave cerca de 1": cuanto más seguro está el modelo pero más erróneo es su resultado, mayor es el castigo.
Funciones trigonométricas: y = sin(x), y = cos(x)
Su forma es una onda que se repite continuamente (periodicidad) y oscila siempre entre -1 y 1 (acotación). sin(x) parte del origen hacia arriba; cos(x) alcanza su máximo 1 en x=0.
El periodo esy el rango es。
Su papel en la IA: el codificador posicional de Transformer usa directamente la superposición de ondas sin/cos de diferentes frecuencias para generar una "coordenada" única y regular para cada posición de la secuencia (se amplía en el capítulo 3).
Tres funciones de activación clave en IA
Las funciones de activación son la "fuente de no linealidad" de cada capa de una red neuronal; su forma determina directamente la dificultad del entrenamiento.
sigmoid:σ(x) = 1 / (1 + e⁻ˣ)
Su forma es una curva en S que sube lentamente de 0 a 1; en el centro (cerca de x=0) sube más rápido y en los extremos se aplana.
El rango es el intervalo abiertoy a menudo se interpreta como "probabilidad".
El mayor efecto secundario: la pendiente en los extremos tiende a 0.Cuando el valor absoluto de la entrada es grande (por ejemplo, x=10 o x=-10), la curva sigmoid es casi plana y el gradiente es casi cero.
En redes profundas, si muchas capas usan sigmoid, el gradiente se va debilitando capa a capa en la retropropagación a través de estas "zonas planas" y finalmente no llega a las capas anteriores—este esel problema del desvanecimiento del gradientela fuente geométrica más intuitiva.
ReLU:f(x) = max(0, x)
Su forma es una línea quebrada: cuando x<0, se pega al eje x (la salida es constantemente 0); cuando x≥0, es una recta con pendiente 1.
La derivada en el semieje negativo es siempre 0, y en el semieje positivo es siempre 1; no tiene el proceso de "aplanarse gradualmente" como sigmoid, y su cálculo es extremadamente simple (solo requiere una comparación).
El gradiente en el semieje positivo es siempre 1 y no decae a medida que la entrada crece, lo que alivia en gran medida el problema del desvanecimiento del gradiente; esta es la razón intuitiva por la que ReLU se convirtió en la función de activación predeterminada.
También tiene su propio problema: la derivada en el semieje negativo es siempre 0, lo que puede hacer que algunas neuronas "mueran" y dejen de actualizarse—esto se puede ver directamente en la forma de la gráfica.
tanh:f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)
Una curva en S muy similar a sigmoid, pero centrada en el origen, con rango。
En comparación con sigmoid, la salida de tanh está centrada en 0. Si la media de las entradas de la siguiente capa de la red es cercana a 0, el entrenamiento suele ser más estable; esta es la razón por la que tanh es más popular en algunos escenarios.
Pero no resuelve el problema fundamental de que "los extremos se aplanan"; este es también el contexto en el que más tarde se popularizaron las funciones tipo ReLU.
¿Por qué la entropía cruzada usa -log(p)?
En un problema de clasificación binaria, la probabilidad que el modelo predice para la "clase correcta" esy la pérdida de entropía cruzada es。
Intuitivamente podrías pensar: usarcomo pérdida, ¿no sería más simple? Al poner las dos curvas juntas, la diferencia se ve de inmediato.
Ejemplo
import math
# ---- Primera parte: la derivada de sigmoid decae a medida que |x| aumenta ----
def sigmoid(x):
return 1 / (1 + math.exp(-x))
def sigmoid_grad(x):
s = sigmoid(x)
return s * (1 - s) # Fórmula de la derivada de sigmoid
print(sigmoid_grad(0)) # En el pico: 0.25, que ya es el valor máximo de la derivada de sigmoid
print(sigmoid_grad(5)) # Cuando |x|=5: queda menos de 0.007
print(sigmoid_grad(10)) # Cuando |x|=10: aproximadamente 0.0000456, el gradiente casi desaparece
# ---- Segunda parte: el crecimiento del castigo de -log(p) ----
for p in [1.0, 0.5, 0.1, 0.01]:
print(p, -math.log(p)) # Cuanto menor es p, más pronunciado es el castigo; cuando p=0.01, el castigo ya alcanza 4.6
Al ejecutar el código anterior, el resultado es:
0.25 0.006648056670790155 4.5395807735957664e-05 1.0 0.0 0.5 0.6931471805599453 0.1 2.302585092994046 0.01 4.605170185988091
Dos números vale la pena recordar: el pico de la derivada de sigmoid es solo0.25; cuando p baja de 0.5 a 0.01,la penalización sube de 0.69 a 4.6.
Tres escenarios para usar la "intuición de formas"
| Escenario | Qué forma observar | Criterio de juicio |
|---|---|---|
| Determinar si la función de pérdida es fácil de optimizar | Si la superficie se acerca a una “forma de tazón” (convexa) | Cuanto más cerca de una forma de tazón, más fácil es que el descenso de gradiente encuentre el mínimo global; las superficies irregulares (no convexas) pueden quedar atrapadas en óptimos locales |
| Determinar si la función de activación ralentiza el entrenamiento | Si los extremos de la gráfica se “aplanan” | Cuanto más planos, más evidente es el problema del desvanecimiento del gradiente |
| Determinar si la función es adecuada para salidas de probabilidad | Si el rango de valores está acotado | Solo cuando el rango se comprime en un intervalo tipo (0,1) puede interpretarse como probabilidad; esta es la razón directa por la que se eligen sigmoid y softmax |
Ejercicio: Sin mirar fórmulas, solo con la intuición: ¿cuál de ReLU y sigmoid es más adecuado para colocarlo en la última capa de la red como “salida de probabilidad de clasificación binaria”? ¿Por qué?
Haz clic para ver la respuesta
sigmoid es más adecuada porque su rango de valores es, que naturalmente puede interpretarse como “la probabilidad de pertenecer a una clase”.
El rango de valores de ReLU es, no tiene límite superior, por lo que no puede usarse directamente como probabilidad.
Resumen del capítulo
| Función | Palabras clave de forma | Conceptos de IA correspondientes |
|---|---|---|
| Función lineal | Línea recta, pendiente constante en todos los puntos | Suma ponderada wx+b de la neurona |
| Función cuadrática | Forma de tazón / tazón invertido | Superficie de la función de pérdida (intuición de función convexa) |
| Función exponencial | Aceleración del crecimiento o decaimiento | softmax, término de momento |
| Función logarítmica | Crecimiento cada vez más lento | Pérdida de entropía cruzada |
| Función trigonométrica | Ondas periódicas | Codificación posicional |
| sigmoid | Forma de S, aplanada en ambos extremos | Salida de probabilidad, fuente del desvanecimiento del gradiente |
| ReLU | Línea quebrada, se hace cero en el semieje negativo | Función de activación predeterminada |
| tanh | Forma de S, centrada en 0 | Escenarios que requieren “salida de media cero” |