常用最適化 -- SGD、Momentum と Adam

基本的な勾配降下法には、実際には複数の改良版がある。この章では、最もよく使われる3つのオプティマイザを比較する。


概念の解説

SGD

毎回ランダムにミニバッチを取り出して勾配を計算する

\( \theta = \theta - \eta g \)

シンプルだが、振動が大きい

Momentum

履歴の方向を蓄積し、雪だるまのように転がる

\( v = \beta v + \eta g \)

\( \theta = \theta - v \)

収束を加速し、振動を減らす

Adam

モメンタム + 適応的学習率

各パラメータが独自の学習率を持つ

デフォルトの第一選択、多くのタスクで使いやすい

各オプティマイザの適用シーン

オプティマイザ適用
SGD + MomentumCVタスク、ResNetのトレーニング
AdamTransformer/BERT/GPT のデフォルト選択
AdamW大規模モデル学習の事実上の標準

身近な例

SGD = 毎回ほんの一部の道だけを見て次の方向を決める(効率的だが少しブレる)。

Momentum = 以前の進行方向を覚えていて、山を下る際に加速する雪だるまのようなもの。

Adam = 方向(パラメータ)ごとに異なるステップサイズを使い、急な場所は小さく、平らな場所は大きく歩く。


Python で実践

実例

import numpy as np

def loss(w, b):
    return (w-3)**2 + 2*(b+2)**2  # 最適点 (3, -2)

# SGD
def run_SGD(lr=0.1, steps=30):
    w, b = 0.0, 0.0
    losses = []
    for _ in range(steps):
        w -= lr * 2*(w-3); b -= lr * 4*(b+2)
        losses.append(loss(w, b))
    return losses

# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
    w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
    losses = []
    for _ in range(steps):
        vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
        w -= vw; b -= vb
        losses.append(loss(w, b))
    return losses

print("=== サンプル オプティマイザ収束比較 ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
    l = fn()
    print(f"{name:10s}: 初期loss={l)

実行出力:

=== サンプル 优化器收敛对比 ===
SGD       : 初始loss=25.0, 最终loss=1.9234
Momentum  : 初始loss=25.0, 最终loss=0.0021

収束曲線の比較


その他の拡張