Funciones y gráficas

En este capítulo mostraremos de forma visual las gráficas de las funciones comunes. Entender la forma de una gráfica es más importante que memorizar fórmulas.

Las superficies de funciones de pérdida y las funciones de activación son, en esencia, variantes de estas formas básicas. Cada función incluye gráficas interactivas conmutables; cambiar y arrastrar con las manos es mucho más eficaz que mirar ilustraciones estáticas.


¿Por qué aprender específicamente a "leer gráficas"?

Las fórmulas matemáticas describen las "reglas"; las gráficas describen "cómo se ven esas reglas".

Muchos problemas centrales del aprendizaje profundo son, en esencia, problemas de "forma de curvas o superficies":

Problema de aprendizaje profundoProblema de forma subyacente
Por qué ciertas funciones de pérdida son más fáciles de optimizarObservar si su superficie tiene forma de "cuenco" (función convexa)
Por qué sigmoid puede hacer que el entrenamiento sea más lentoObservar cuán "plana" es su gráfica en los extremos
Por qué ReLU se convirtió en la opción predeterminadaObservar cuán "simple" es su gráfica

Observar cada función con las preguntas "¿qué forma tiene?, ¿cómo son los extremos?, ¿cómo es el centro?" ayuda a recordar mejor que memorizar fórmulas de memoria.


Cinco gráficas de funciones básicas

Función lineal: y = kx + b

Su forma es una línea recta.k es la pendiente, que determina la inclinación y la dirección (k>0 hacia arriba a la derecha, k<0 hacia abajo a la derecha);b es la intersección, que determina el punto de corte con el eje y.

El dominio y el rango son todos los números reales; la tasa de cambio (pendiente) es la misma en todas partes, lo que significa la palabra "lineal".

Su papel en la IA: la operación más básica de una neuronaes una función lineal en un espacio de alta dimensión. Los pesos controlan la dirección y la inclinación, y el sesgo controla la traslación global.

Función cuadrática: y = ax² + bx + c

Su forma es una parábola.Abertura hacia arriba (forma de cuenco), con un mínimo;Abertura hacia abajo (cuenco invertido), con un máximo.

El vértice es el punto de inflexión de la curva; se puede calcular completando el cuadrado:La gráfica es simétrica respecto a la línea vertical que pasa por el vértice.

Su papel en la IA: la función convexa más simple tiene esta forma. El error cuadrático medio (MSE) se aproxima a esta superficie en forma de "cuenco" en muchos escenarios simplificados: el descenso de gradiente encuentra fácilmente el punto más bajo en una superficie en forma de cuenco, porque no importa desde qué dirección bajes, llegarás al mismo valle.

Función exponencial: y = aˣ (a>0 y a≠1)

Su forma es una curva que sube acelerando continuamente (cuando a>1) o decae continuamente (cuando 0<a<1); nunca toca el eje x, que es su asíntota horizontal.

El dominio son todos los números reales y el rango esCuando la entrada crece linealmente, la salida crece de forma "explosiva"; esta es la propiedad más esencial de la función exponencial.

Su papel en la IA: el eˣ en softmaxy la decadencia exponencial en el término de momento del optimizador Adam, ambas aprovechan la propiedad de "amplificar diferencias" o "olvidar gradualmente".

Función logarítmica: y = logₐx (a>0 y a≠1)

Es exactamente la "imagen especular" de la función exponencial (con la recta y=x como eje de simetría). La curva sube rápidamente cuando x parte de 0, y luego crece cada vez más lentamente.

El dominio esy el rango son todos los números reales. Cuanto mayor es la entrada, más lento es el crecimiento, justo lo contrario de la función exponencial.

Su papel en la IA: el -log(p) en la pérdida de entropía cruzadaaprovecha precisamente la forma del logaritmo "extremadamente empinado cerca de 0 y suave cerca de 1": cuanto más seguro está el modelo pero más erróneo es su resultado, mayor es el castigo.

Funciones trigonométricas: y = sin(x), y = cos(x)

Su forma es una onda que se repite continuamente (periodicidad) y oscila siempre entre -1 y 1 (acotación). sin(x) parte del origen hacia arriba; cos(x) alcanza su máximo 1 en x=0.

El periodo esy el rango es。

Su papel en la IA: el codificador posicional de Transformer usa directamente la superposición de ondas sin/cos de diferentes frecuencias para generar una "coordenada" única y regular para cada posición de la secuencia (se amplía en el capítulo 3).

Demostración interactiva: galería de gráficas de cinco funciones básicas
Haz clic en los botones para cambiar de función; la tarjeta de información inferior actualiza simultáneamente las características de la forma y el papel en la IA.

Tres funciones de activación clave en IA

Las funciones de activación son la "fuente de no linealidad" de cada capa de una red neuronal; su forma determina directamente la dificultad del entrenamiento.

sigmoid:σ(x) = 1 / (1 + e⁻ˣ)

Su forma es una curva en S que sube lentamente de 0 a 1; en el centro (cerca de x=0) sube más rápido y en los extremos se aplana.

El rango es el intervalo abiertoy a menudo se interpreta como "probabilidad".

El mayor efecto secundario: la pendiente en los extremos tiende a 0.Cuando el valor absoluto de la entrada es grande (por ejemplo, x=10 o x=-10), la curva sigmoid es casi plana y el gradiente es casi cero.

En redes profundas, si muchas capas usan sigmoid, el gradiente se va debilitando capa a capa en la retropropagación a través de estas "zonas planas" y finalmente no llega a las capas anteriores—este esel problema del desvanecimiento del gradientela fuente geométrica más intuitiva.

ReLU:f(x) = max(0, x)

Su forma es una línea quebrada: cuando x<0, se pega al eje x (la salida es constantemente 0); cuando x≥0, es una recta con pendiente 1.

La derivada en el semieje negativo es siempre 0, y en el semieje positivo es siempre 1; no tiene el proceso de "aplanarse gradualmente" como sigmoid, y su cálculo es extremadamente simple (solo requiere una comparación).

El gradiente en el semieje positivo es siempre 1 y no decae a medida que la entrada crece, lo que alivia en gran medida el problema del desvanecimiento del gradiente; esta es la razón intuitiva por la que ReLU se convirtió en la función de activación predeterminada.

También tiene su propio problema: la derivada en el semieje negativo es siempre 0, lo que puede hacer que algunas neuronas "mueran" y dejen de actualizarse—esto se puede ver directamente en la forma de la gráfica.

tanh:f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)

Una curva en S muy similar a sigmoid, pero centrada en el origen, con rango。

En comparación con sigmoid, la salida de tanh está centrada en 0. Si la media de las entradas de la siguiente capa de la red es cercana a 0, el entrenamiento suele ser más estable; esta es la razón por la que tanh es más popular en algunos escenarios.

Pero no resuelve el problema fundamental de que "los extremos se aplanan"; este es también el contexto en el que más tarde se popularizaron las funciones tipo ReLU.

Demostración interactiva: funciones de activación y sus derivadas
Cambia la función de activación; la línea sólida es la propia función y la línea discontinua es su derivada (pendiente). Observa el pico de la curva de la derivada y cómo decae en los extremos.
La derivada de sigmoid tiene un máximo de solo 0.25 y es casi 0 cuando |x| > 4—al multiplicarse a través de varias capas, el gradiente desaparece rápidamente; esta es la fuente geométrica del "desvanecimiento del gradiente".

¿Por qué la entropía cruzada usa -log(p)?

En un problema de clasificación binaria, la probabilidad que el modelo predice para la "clase correcta" esy la pérdida de entropía cruzada es。

Intuitivamente podrías pensar: usarcomo pérdida, ¿no sería más simple? Al poner las dos curvas juntas, la diferencia se ve de inmediato.

Demostración interactiva: comparación del castigo entre -log(p) y 1-p
Arrastra el control deslizante para cambiar la probabilidad predicha por el modelo p y observa la diferencia de castigo entre las dos pérdidas. Cuando p es muy pequeño (el modelo se equivoca con confianza), el castigo de -log(p) es mucho mayor que el de 1-p.
El azul es -log(p) y el verde es 1-p. El primero tiende a infinito cuando p → 0; el segundo, como máximo, llega a 1.

Ejemplo

# Calculémoslo a mano: el desvanecimiento del gradiente y el castigo de -log(p)
import math

# ---- Primera parte: la derivada de sigmoid decae a medida que |x| aumenta ----
def sigmoid(x):
    return 1 / (1 + math.exp(-x))

def sigmoid_grad(x):
    s = sigmoid(x)
    return s * (1 - s)     # Fórmula de la derivada de sigmoid

print(sigmoid_grad(0))    # En el pico: 0.25, que ya es el valor máximo de la derivada de sigmoid
print(sigmoid_grad(5))    # Cuando |x|=5: queda menos de 0.007
print(sigmoid_grad(10))   # Cuando |x|=10: aproximadamente 0.0000456, el gradiente casi desaparece

# ---- Segunda parte: el crecimiento del castigo de -log(p) ----
for p in [1.0, 0.5, 0.1, 0.01]:
    print(p, -math.log(p))   # Cuanto menor es p, más pronunciado es el castigo; cuando p=0.01, el castigo ya alcanza 4.6

Al ejecutar el código anterior, el resultado es:

0.25
0.006648056670790155
4.5395807735957664e-05
1.0 0.0
0.5 0.6931471805599453
0.1 2.302585092994046
0.01 4.605170185988091

Dos números vale la pena recordar: el pico de la derivada de sigmoid es solo0.25; cuando p baja de 0.5 a 0.01,la penalización sube de 0.69 a 4.6.


Tres escenarios para usar la "intuición de formas"

EscenarioQué forma observarCriterio de juicio
Determinar si la función de pérdida es fácil de optimizarSi la superficie se acerca a una “forma de tazón” (convexa)Cuanto más cerca de una forma de tazón, más fácil es que el descenso de gradiente encuentre el mínimo global; las superficies irregulares (no convexas) pueden quedar atrapadas en óptimos locales
Determinar si la función de activación ralentiza el entrenamientoSi los extremos de la gráfica se “aplanan”Cuanto más planos, más evidente es el problema del desvanecimiento del gradiente
Determinar si la función es adecuada para salidas de probabilidadSi el rango de valores está acotadoSolo cuando el rango se comprime en un intervalo tipo (0,1) puede interpretarse como probabilidad; esta es la razón directa por la que se eligen sigmoid y softmax

Ejercicio: Sin mirar fórmulas, solo con la intuición: ¿cuál de ReLU y sigmoid es más adecuado para colocarlo en la última capa de la red como “salida de probabilidad de clasificación binaria”? ¿Por qué?

Haz clic para ver la respuesta

sigmoid es más adecuada porque su rango de valores es, que naturalmente puede interpretarse como “la probabilidad de pertenecer a una clase”.

El rango de valores de ReLU es, no tiene límite superior, por lo que no puede usarse directamente como probabilidad.


Resumen del capítulo

FunciónPalabras clave de formaConceptos de IA correspondientes
Función linealLínea recta, pendiente constante en todos los puntosSuma ponderada wx+b de la neurona
Función cuadráticaForma de tazón / tazón invertidoSuperficie de la función de pérdida (intuición de función convexa)
Función exponencialAceleración del crecimiento o decaimientosoftmax, término de momento
Función logarítmicaCrecimiento cada vez más lentoPérdida de entropía cruzada
Función trigonométricaOndas periódicasCodificación posicional
sigmoidForma de S, aplanada en ambos extremosSalida de probabilidad, fuente del desvanecimiento del gradiente
ReLULínea quebrada, se hace cero en el semieje negativoFunción de activación predeterminada
tanhForma de S, centrada en 0Escenarios que requieren “salida de media cero”
Otras extensiones