Сравнение оптимизаторов SGD, Momentum и Adam

Запустите три оптимизатора на одной и той же функции потерь «длинная узкая долина», чтобы визуализировать пути сходимости и различия в скорости.

К концу этого руководства вы поймёте:SGD колеблется, Momentum полагается на инерцию для сглаживания, Adam адаптивно регулирует размер шага — математические принципы и интуитивные эффекты трёх стратегий.


Аналогия из повседневной жизни

Спуск с горы по извилистой дороге — три стратегии

Стратегия SGD: смотрит только под ноги, всегда идёт в самом крутом направлении. При встрече с узким оврагом она мечется туда-сюда.

Стратегия Momentum: подобна катанию снежного кома — помнит направление предыдущей скорости, и инерция позволяет ей проскакивать мимо небольших ям.

Стратегия Adam: не только обладает инерцией, но и регулирует длину шага в зависимости от состояния каждого участка дороги — маленькие шаги на крутых склонах и широкие шаги на ровной поверхности.


Интуитивное понимание

SGD
theta -= lr * g
Чистое направление градиента, без исторической информации, колеблется в крутых направлениях
Momentum
v = beta*v + (1-beta)*g
theta -= lr * v
Накапливает исторические градиенты; инерция подавляет колебания
Adam
m = beta1*m + (1-beta1)*g
v = beta2*v + (1-beta2)*g^2
theta -= lr * m_hat/(sqrt(v_hat)+eps)
Momentum + адаптивная скорость обучения, каждый параметр независимо настраивает размер своего шага

Тестовая функция: \(f(x, y) = 0.5x^2 + 5y^2\)—длинная узкая долина, где направление x пологое, а направление y крутое.


Практическое занятие по Python

Пример

import numpy as np

def f(pos):
    x, y = pos
    return 0.5 * x**2 + 5 * y**2

def grad(pos):
    x, y = pos
    return np.array([x, 10 * y])


def sgd(start, lr=0.1, steps=60):
    pos = np.array(start, dtype=float)
    history = [pos.copy()]
    for _ in range(steps):
        pos = pos - lr * grad(pos)
        history.append(pos.copy())
    return np.array(history)


def momentum(start, lr=0.1, beta=0.9, steps=60):
    pos = np.array(start, dtype=float)
    v = np.zeros_like(pos)
    history = [pos.copy()]
    for _ in range(steps):
        g = grad(pos)
        v = beta * v + (1 - beta) * g
        pos = pos - lr * v
        history.append(pos.copy())
    return np.array(history)


def adam(start, lr=0.3, beta1=0.9, beta2=0.999, eps=1e-8, steps=60):
    pos = np.array(start, dtype=float)
    m = np.zeros_like(pos)
    v = np.zeros_like(pos)
    history = [pos.copy()]
    for t in range(1, steps + 1):
        g = grad(pos)
        m = beta1 * m + (1 - beta1) * g
        v = beta2 * v + (1 - beta2) * (g ** 2)
        m_hat = m / (1 - beta1 ** t)
        v_hat = v / (1 - beta2 ** t)
        pos = pos - lr * m_hat / (np.sqrt(v_hat) + eps)
        history.append(pos.copy())
    return np.array(history)


start = [4.0, 4.0]
results = {
    "SGD": sgd(start, lr=0.1),
    "Momentum": momentum(start, lr=0.1),
    "Adam": adam(start, lr=0.3),
}

print("ПРИМЕР сравнения трех оптимизаторов (начальная точка [4,4]):\n")
for name, hist in results.items():
    dists = np.linalg.norm(hist, axis=1)
    mask = dists < 0.05
    conv = (np.argmax(mask) if mask.any() else "не сошлось")
    n_osc = np.sum(np.diff(np.sign(hist[:, 1])) != 0)
    print(f" {name:10s}: {str(conv):>6s} шагов до сходимости, колебаний y {n_osc} раз, loss={f(hist[-1]):.6f}")
EXAMPLE 三种优化器对比 (起点 [4,4]):

  SGD      : 未收敛 步收敛, y震荡36次, 损失=0.000035
  Momentum :     21 步收敛, y震荡6次,  损失=0.000000
  Adam     :     16 步收敛, y震荡0次,  损失=0.000000

Сценарии применения в ИИ

СценарийРекомендуемый оптимизаторПричина
Большинство задачAdam/AdamWАдаптивный, быстрая сходимость, мало параметров для настройки
Обучение трансформераAdamWGPT/BERT — оба используют его
Когда требуется предельная точностьSGD+MomentumСпособность к обобщению иногда лучше
Другие расширения