Распространённые оптимизаторы -- SGD, Momentum и Adam
Базовый градиентный спуск имеет несколько улучшенных версий на практике. В этой главе сравниваются три наиболее часто используемых оптимизатора.
Анализ концепции
SGD
Случайно выбирать мини-батч каждый раз для вычисления градиента
\( \theta = \theta - \eta g \)
Просто, но большие колебания
Momentum
Накопляет исторические направления, как катящийся снежный ком
\( v = \beta v + \eta g \)
\( \theta = \theta - v \)
Ускоряет сходимость, уменьшает колебания
Adam
Momentum + адаптивная скорость обучения
Каждый параметр имеет свою собственную скорость обучения
Выбор по умолчанию, хорошо работает для большинства задач
Сценарии применения для каждого оптимизатора
| Оптимизатор | Сценарий использования |
|---|---|
| SGD + Momentum | Задачи CV, обучение ResNet |
| Adam | Выбор по умолчанию для Transformer/BERT/GPT |
| AdamW | Де-факто стандарт для обучения больших моделей |
Повседневные примеры
SGD = Каждый раз смотрит только на небольшой участок дороги, чтобы определить следующее направление (эффективно, но немного неустойчиво).
Momentum = Запоминает предыдущее направление, как снежный ком, ускоряющийся при спуске с горы.
Adam = Использует разные размеры шага для разных направлений (параметров): маленькие шаги на крутых склонах, большие шаги на ровных участках.
Практическое занятие по Python
Пример
def loss(w, b):
return (w-3)**2 + 2*(b+2)**2 # Оптимальная точка (3, -2)
# SGD
def run_SGD(lr=0.1, steps=30):
w, b = 0.0, 0.0
losses = []
for _ in range(steps):
w -= lr * 2*(w-3); b -= lr * 4*(b+2)
losses.append(loss(w, b))
return losses
# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
losses = []
for _ in range(steps):
vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
w -= vw; b -= vb
losses.append(loss(w, b))
return losses
print("=== ПРИМЕР Сравнение сходимости оптимизаторов ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
l = fn()
print(f"{name:10s}: начальные потери={l[0]:.1f}, конечные потери={l[-1]:.4f}")
Вывод при запуске:
=== EXAMPLE 优化器收敛对比 === SGD : 初始loss=25.0, 最终loss=1.9234 Momentum : 初始loss=25.0, 最终loss=0.0021
Сравнение кривых сходимости
Другие расширения