Распространённые оптимизаторы -- SGD, Momentum и Adam

Базовый градиентный спуск имеет несколько улучшенных версий на практике. В этой главе сравниваются три наиболее часто используемых оптимизатора.


Анализ концепции

SGD

Случайно выбирать мини-батч каждый раз для вычисления градиента

\( \theta = \theta - \eta g \)

Просто, но большие колебания

Momentum

Накопляет исторические направления, как катящийся снежный ком

\( v = \beta v + \eta g \)

\( \theta = \theta - v \)

Ускоряет сходимость, уменьшает колебания

Adam

Momentum + адаптивная скорость обучения

Каждый параметр имеет свою собственную скорость обучения

Выбор по умолчанию, хорошо работает для большинства задач

Сценарии применения для каждого оптимизатора

ОптимизаторСценарий использования
SGD + MomentumЗадачи CV, обучение ResNet
AdamВыбор по умолчанию для Transformer/BERT/GPT
AdamWДе-факто стандарт для обучения больших моделей

Повседневные примеры

SGD = Каждый раз смотрит только на небольшой участок дороги, чтобы определить следующее направление (эффективно, но немного неустойчиво).

Momentum = Запоминает предыдущее направление, как снежный ком, ускоряющийся при спуске с горы.

Adam = Использует разные размеры шага для разных направлений (параметров): маленькие шаги на крутых склонах, большие шаги на ровных участках.


Практическое занятие по Python

Пример

import numpy as np

def loss(w, b):
    return (w-3)**2 + 2*(b+2)**2  # Оптимальная точка (3, -2)

# SGD
def run_SGD(lr=0.1, steps=30):
    w, b = 0.0, 0.0
    losses = []
    for _ in range(steps):
        w -= lr * 2*(w-3); b -= lr * 4*(b+2)
        losses.append(loss(w, b))
    return losses

# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
    w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
    losses = []
    for _ in range(steps):
        vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
        w -= vw; b -= vb
        losses.append(loss(w, b))
    return losses

print("=== ПРИМЕР Сравнение сходимости оптимизаторов ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
    l = fn()
    print(f"{name:10s}: начальные потери={l[0]:.1f}, конечные потери={l[-1]:.4f}")

Вывод при запуске:

=== EXAMPLE 优化器收敛对比 ===
SGD       : 初始loss=25.0, 最终loss=1.9234
Momentum  : 初始loss=25.0, 最终loss=0.0021

Сравнение кривых сходимости


Другие расширения