Introducción a los problemas de optimización — Función objetivo, variables y restricciones

La optimización consiste en encontrar los parámetros que hacen que la función objetivo alcance el valor mínimo.Entrenamiento de IA = optimizar la función de pérdida.


Análisis de conceptos

Tres elementos de un problema de optimización

ElementoSignificadoCorrespondencia en el entrenamiento de IA
Función objetivoFunción a minimizarFunción de pérdida J(θ)
Variables de decisiónCantidades ajustablesParámetros del modelo θ
RestriccionesRestricciones de las variablesGeneralmente sin restricciones

Función convexa vs función no convexa

Función convexa

Forma de cuenco; la línea que une dos puntos cualesquiera queda por encima de la curva

Óptimo local = óptimo global

Como la pérdida MSE en regresión lineal

Función no convexa

Tiene múltiples valles y picos

Solo se puede encontrar un óptimo local

Como la pérdida de las redes neuronales profundas

La función de pérdida de una red neuronal profunda es altamente no convexa — pero en la práctica, el óptimo local que encuentra el descenso de gradiente suele ser suficientemente bueno.


Ejemplo de la vida cotidiana

Elegir la ruta más corta

Hay tres rutas de casa a la escuela: 5 minutos, 8 minutos y 12 minutos.

Variable de decisión = qué ruta elegir; función objetivo = el tiempo empleado; objetivo = minimizar el tiempo.

Esto es muy simple — basta con probar las tres rutas. Pero un modelo de IA tiene millones de parámetros; es imposible enumerar todas las combinaciones.

Por eso se necesita el descenso de gradiente — siguiendo la dirección que indica el gradiente para acercarse paso a paso a la solución óptima.


Práctica con Python

Ejemplo

import numpy as np

# Función convexa f(x) = x^2, el óptimo global está en x=0
# Función no convexa f(x) = sin(x) + 0.1*x^2, tiene múltiples óptimos locales

def f_convex(x): return x**2
def f_nonconvex(x): return np.sin(x) + 0.1*x**2

# Al aplicar descenso de gradiente desde diferentes puntos iniciales (se detalla en el próximo capítulo), la no convexa puede converger a diferentes óptimos locales
print("Una función no convexa puede alcanzar diferentes óptimos locales desde diferentes puntos iniciales")
print("Esto es algo a tener en cuenta al ajustar hiperparámetros en deep learning")

Salida de ejecución:

Las funciones no convexas pueden alcanzar diferentes óptimos locales desde distintos puntos de partida. Esto es algo a lo que se debe prestar atención al ajustar los parámetros en el aprendizaje profundo.

Comparación 3D: función convexa vs función no convexa

La imagen inferior izquierda es una función convexa f(x,y)=x²+y² (forma de cuenco, único óptimo global), y la derecha es una función no convexa (múltiples óptimos locales).

Al rotar la perspectiva, se puede apreciar intuitivamente la diferencia entre «convexo = un solo valle» y «no convexo = múltiples valles»:


Escenarios de aplicación en IA

Todo el proceso de entrenamiento = optimización a gran escala

Entrenar un modelo de nivel GPT es buscar el punto óptimo en un espacio de cien billones de dimensiones. La función de pérdida J(θ) es una hipersuperficie en este espacio, y el descenso de gradiente desciende gradualmente por ella. Todo el entrenamiento puede durar semanas y consumir potencia de cómputo por valor de millones de dólares — solo para encontrar un conjunto de parámetros que minimice la pérdida tanto como sea posible.

Convexo vs no convexo: teoría y práctica

Los problemas de optimización de la regresión lineal y las SVM son convexos — el descenso de gradiente garantiza encontrar el óptimo global. Pero la superficie de pérdida de una red neuronal profunda es altamente no convexa, con innumerables óptimos locales y puntos de silla. Sin embargo, en la práctica, el óptimo local que encuentra SGD suele tener un buen rendimiento de generalización — los batch grandes tienden a converger a óptimos locales «afilados» (peor generalización), mientras que los batch pequeños tienden a óptimos locales «planos» (mejor generalización).

Visualización del panorama de pérdida

Los investigadores, al proyectar la superficie de pérdida de alta dimensión a 2D, descubrieron que el panorama de pérdida de las redes profundas tiene una estructura de «cañón» — aunque no es convexo, caminar por el fondo del cañón casi siempre conduce a una muy buena solución. Esto explica por qué la inicialización aleatoria + SGD es tan robusta en el deep learning.


Otras extensiones