Introducción a los problemas de optimización — Función objetivo, variables y restricciones
La optimización consiste en encontrar los parámetros que hacen que la función objetivo alcance el valor mínimo.Entrenamiento de IA = optimizar la función de pérdida.
Análisis de conceptos
Tres elementos de un problema de optimización
| Elemento | Significado | Correspondencia en el entrenamiento de IA |
|---|---|---|
| Función objetivo | Función a minimizar | Función de pérdida J(θ) |
| Variables de decisión | Cantidades ajustables | Parámetros del modelo θ |
| Restricciones | Restricciones de las variables | Generalmente sin restricciones |
Función convexa vs función no convexa
Función convexa
Forma de cuenco; la línea que une dos puntos cualesquiera queda por encima de la curva
Óptimo local = óptimo global
Como la pérdida MSE en regresión lineal
Función no convexa
Tiene múltiples valles y picos
Solo se puede encontrar un óptimo local
Como la pérdida de las redes neuronales profundas
La función de pérdida de una red neuronal profunda es altamente no convexa — pero en la práctica, el óptimo local que encuentra el descenso de gradiente suele ser suficientemente bueno.
Ejemplo de la vida cotidiana
Elegir la ruta más corta
Hay tres rutas de casa a la escuela: 5 minutos, 8 minutos y 12 minutos.
Variable de decisión = qué ruta elegir; función objetivo = el tiempo empleado; objetivo = minimizar el tiempo.
Esto es muy simple — basta con probar las tres rutas. Pero un modelo de IA tiene millones de parámetros; es imposible enumerar todas las combinaciones.
Por eso se necesita el descenso de gradiente — siguiendo la dirección que indica el gradiente para acercarse paso a paso a la solución óptima.
Práctica con Python
Ejemplo
# Función convexa f(x) = x^2, el óptimo global está en x=0
# Función no convexa f(x) = sin(x) + 0.1*x^2, tiene múltiples óptimos locales
def f_convex(x): return x**2
def f_nonconvex(x): return np.sin(x) + 0.1*x**2
# Al aplicar descenso de gradiente desde diferentes puntos iniciales (se detalla en el próximo capítulo), la no convexa puede converger a diferentes óptimos locales
print("Una función no convexa puede alcanzar diferentes óptimos locales desde diferentes puntos iniciales")
print("Esto es algo a tener en cuenta al ajustar hiperparámetros en deep learning")
Salida de ejecución:
Las funciones no convexas pueden alcanzar diferentes óptimos locales desde distintos puntos de partida. Esto es algo a lo que se debe prestar atención al ajustar los parámetros en el aprendizaje profundo.
Comparación 3D: función convexa vs función no convexa
La imagen inferior izquierda es una función convexa f(x,y)=x²+y² (forma de cuenco, único óptimo global), y la derecha es una función no convexa (múltiples óptimos locales).
Al rotar la perspectiva, se puede apreciar intuitivamente la diferencia entre «convexo = un solo valle» y «no convexo = múltiples valles»:
Escenarios de aplicación en IA
Todo el proceso de entrenamiento = optimización a gran escala
Entrenar un modelo de nivel GPT es buscar el punto óptimo en un espacio de cien billones de dimensiones. La función de pérdida J(θ) es una hipersuperficie en este espacio, y el descenso de gradiente desciende gradualmente por ella. Todo el entrenamiento puede durar semanas y consumir potencia de cómputo por valor de millones de dólares — solo para encontrar un conjunto de parámetros que minimice la pérdida tanto como sea posible.
Convexo vs no convexo: teoría y práctica
Los problemas de optimización de la regresión lineal y las SVM son convexos — el descenso de gradiente garantiza encontrar el óptimo global. Pero la superficie de pérdida de una red neuronal profunda es altamente no convexa, con innumerables óptimos locales y puntos de silla. Sin embargo, en la práctica, el óptimo local que encuentra SGD suele tener un buen rendimiento de generalización — los batch grandes tienden a converger a óptimos locales «afilados» (peor generalización), mientras que los batch pequeños tienden a óptimos locales «planos» (mejor generalización).
Visualización del panorama de pérdida
Los investigadores, al proyectar la superficie de pérdida de alta dimensión a 2D, descubrieron que el panorama de pérdida de las redes profundas tiene una estructura de «cañón» — aunque no es convexo, caminar por el fondo del cañón casi siempre conduce a una muy buena solución. Esto explica por qué la inicialización aleatoria + SGD es tan robusta en el deep learning.
Otras extensiones