Сравнение оптимизаторов SGD, Momentum и Adam
Запустите три оптимизатора на одной и той же функции потерь «длинная узкая долина», чтобы визуализировать пути сходимости и различия в скорости.
К концу этого руководства вы поймёте:SGD колеблется, Momentum полагается на инерцию для сглаживания, Adam адаптивно регулирует размер шага — математические принципы и интуитивные эффекты трёх стратегий.
Аналогия из повседневной жизни
Спуск с горы по извилистой дороге — три стратегии
Стратегия SGD: смотрит только под ноги, всегда идёт в самом крутом направлении. При встрече с узким оврагом она мечется туда-сюда.
Стратегия Momentum: подобна катанию снежного кома — помнит направление предыдущей скорости, и инерция позволяет ей проскакивать мимо небольших ям.
Стратегия Adam: не только обладает инерцией, но и регулирует длину шага в зависимости от состояния каждого участка дороги — маленькие шаги на крутых склонах и широкие шаги на ровной поверхности.
Интуитивное понимание
theta -= lr * v
v = beta2*v + (1-beta2)*g^2
theta -= lr * m_hat/(sqrt(v_hat)+eps)
Тестовая функция: \(f(x, y) = 0.5x^2 + 5y^2\)—длинная узкая долина, где направление x пологое, а направление y крутое.
Практическое занятие по Python
Пример
def f(pos):
x, y = pos
return 0.5 * x**2 + 5 * y**2
def grad(pos):
x, y = pos
return np.array([x, 10 * y])
def sgd(start, lr=0.1, steps=60):
pos = np.array(start, dtype=float)
history = [pos.copy()]
for _ in range(steps):
pos = pos - lr * grad(pos)
history.append(pos.copy())
return np.array(history)
def momentum(start, lr=0.1, beta=0.9, steps=60):
pos = np.array(start, dtype=float)
v = np.zeros_like(pos)
history = [pos.copy()]
for _ in range(steps):
g = grad(pos)
v = beta * v + (1 - beta) * g
pos = pos - lr * v
history.append(pos.copy())
return np.array(history)
def adam(start, lr=0.3, beta1=0.9, beta2=0.999, eps=1e-8, steps=60):
pos = np.array(start, dtype=float)
m = np.zeros_like(pos)
v = np.zeros_like(pos)
history = [pos.copy()]
for t in range(1, steps + 1):
g = grad(pos)
m = beta1 * m + (1 - beta1) * g
v = beta2 * v + (1 - beta2) * (g ** 2)
m_hat = m / (1 - beta1 ** t)
v_hat = v / (1 - beta2 ** t)
pos = pos - lr * m_hat / (np.sqrt(v_hat) + eps)
history.append(pos.copy())
return np.array(history)
start = [4.0, 4.0]
results = {
"SGD": sgd(start, lr=0.1),
"Momentum": momentum(start, lr=0.1),
"Adam": adam(start, lr=0.3),
}
print("ПРИМЕР сравнения трех оптимизаторов (начальная точка [4,4]):\n")
for name, hist in results.items():
dists = np.linalg.norm(hist, axis=1)
mask = dists < 0.05
conv = (np.argmax(mask) if mask.any() else "не сошлось")
n_osc = np.sum(np.diff(np.sign(hist[:, 1])) != 0)
print(f" {name:10s}: {str(conv):>6s} шагов до сходимости, колебаний y {n_osc} раз, loss={f(hist[-1]):.6f}")
EXAMPLE 三种优化器对比 (起点 [4,4]): SGD : 未收敛 步收敛, y震荡36次, 损失=0.000035 Momentum : 21 步收敛, y震荡6次, 损失=0.000000 Adam : 16 步收敛, y震荡0次, 损失=0.000000
Сценарии применения в ИИ
| Сценарий | Рекомендуемый оптимизатор | Причина |
|---|---|---|
| Большинство задач | Adam/AdamW | Адаптивный, быстрая сходимость, мало параметров для настройки |
| Обучение трансформера | AdamW | GPT/BERT — оба используют его |
| Когда требуется предельная точность | SGD+Momentum | Способность к обобщению иногда лучше |