Введение в задачи оптимизации -- целевые функции, переменные и ограничения

Оптимизация — это поиск параметров, минимизирующих целевую функцию.Обучение ИИ = оптимизация функции потерь.


Анализ концепции

Три элемента задач оптимизации

ЭлементЗначениеСоответствие при обучении ИИ
Целевая функцияФункция, которую нужно минимизироватьФункция потерь J(θ)
Переменные решенияВеличины, которые можно настраиватьПараметры модели θ
ОграниченияОграничения на переменныеОбычно без ограничений

Выпуклые и невыпуклые функции

Выпуклая функция

Имеет форму чаши; отрезок между любыми двумя точками лежит выше кривой

Локальный оптимум = глобальный оптимум

Например, потеря MSE в линейной регрессии

Невыпуклая функция

Имеет несколько впадин и пиков

Можно найти только локальные оптимумы

Например, потеря глубокой нейронной сети

Функция потерь глубоких нейронных сетей сильно невыпукла — но на практике локальные оптимумы, найденные градиентным спуском, обычно достаточно хороши.


Повседневные примеры

Выбор кратчайшего маршрута

Есть три маршрута из дома в школу: 5 minutes, 8 minutes, 12 minutes.

Переменная решения = какой маршрут выбрать, целевая функция = затраченное время, цель = минимизировать время.

Это просто — достаточно попробовать все три маршрута. Но у моделей ИИ миллионы параметров, поэтому перебрать все комбинации невозможно.

Поэтому нужен градиентный спуск — шаг за шагом к оптимальному решению в направлении, указанном градиентом.


Практическое занятие по Python

Пример

import numpy as np

# Выпуклая функция f(x) = x^2, глобальный оптимум при x=0
# Невыпуклая функция f(x) = sin(x) + 0.1*x^2, с несколькими локальными оптимумами

def f_convex(x): return x**2
def f_nonconvex(x): return np.sin(x) + 0.1*x**2

# Выполнение градиентного спуска из разных начальных точек (подробнее в следующей главе), невыпуклая функция может сходиться к разным локальным оптимумам
print(Невыпуклая функция может достигать разных локальных оптимумов из разных начальных точек)
print(На это стоит обращать внимание при настройке гиперпараметров глубокого обучения)

Вывод при запуске:

Non-convex functions may reach different local optima from different starting points. This is something to note when tuning deep learning hyperparameters.

3D-сравнение выпуклых и невыпуклых функций

На изображении слева ниже представлена выпуклая функция f(x,y)=x²+y² (форма чаши, единственный глобальный оптимум), на изображении справа — невыпуклая функция (несколько локальных оптимумов).

Вращение точки обзора даёт интуитивное представление о различии между «выпуклая = одна долина» и «невыпуклая = несколько долин»:


Сценарии применения в ИИ

Весь процесс обучения = крупномасштабная оптимизация

Обучение модели уровня GPT означает поиск оптимальной точки в пространстве размерностью в сотни триллионов измерений. Функция потерь J(θ) — это гиперповерхность в этом пространстве, и градиентный спуск постепенно спускается по этой поверхности. Всё обучение может длиться несколько недель, потребляя миллионы долларов вычислительных ресурсов — только чтобы найти набор параметров, при котором потеря будет как можно меньше.

Выпуклость и невыпуклость: теория и практика

Задачи оптимизации линейной регрессии и SVM являются выпуклыми — градиентный спуск гарантирует нахождение глобального оптимума. Но поверхность потерь глубоких нейронных сетей сильно невыпуклая, с бесчисленными локальными оптимумами и седловыми точками. Однако на практике локальные оптимумы, найденные SGD, обычно хорошо обобщают — большие батчи склонны сходиться к «острым» локальным оптимумам (плохое обобщение), а маленькие батчи — к «плоским» локальным оптимумам (хорошее обобщение).

Визуализация ландшафта потерь

Проецируя высокоразмерную поверхность потерь на 2D, исследователи обнаружили, что ландшафты потерь глубоких сетей имеют структуру «каньона» — хотя они и невыпуклые, следование по дну каньона почти всегда приводит к очень хорошему решению. Это объясняет, почему случайная инициализация + SGD так устойчивы в глубоком обучении.


Другие расширения