常用最適化 -- SGD、Momentum と Adam
基本的な勾配降下法には、実際には複数の改良版がある。この章では、最もよく使われる3つのオプティマイザを比較する。
概念の解説
SGD
毎回ランダムにミニバッチを取り出して勾配を計算する
\( \theta = \theta - \eta g \)
シンプルだが、振動が大きい
Momentum
履歴の方向を蓄積し、雪だるまのように転がる
\( v = \beta v + \eta g \)
\( \theta = \theta - v \)
収束を加速し、振動を減らす
Adam
モメンタム + 適応的学習率
各パラメータが独自の学習率を持つ
デフォルトの第一選択、多くのタスクで使いやすい
各オプティマイザの適用シーン
| オプティマイザ | 適用 |
|---|---|
| SGD + Momentum | CVタスク、ResNetのトレーニング |
| Adam | Transformer/BERT/GPT のデフォルト選択 |
| AdamW | 大規模モデル学習の事実上の標準 |
身近な例
SGD = 毎回ほんの一部の道だけを見て次の方向を決める(効率的だが少しブレる)。
Momentum = 以前の進行方向を覚えていて、山を下る際に加速する雪だるまのようなもの。
Adam = 方向(パラメータ)ごとに異なるステップサイズを使い、急な場所は小さく、平らな場所は大きく歩く。
Python で実践
実例
import numpy as np
def loss(w, b):
return (w-3)**2 + 2*(b+2)**2 # 最適点 (3, -2)
# SGD
def run_SGD(lr=0.1, steps=30):
w, b = 0.0, 0.0
losses = []
for _ in range(steps):
w -= lr * 2*(w-3); b -= lr * 4*(b+2)
losses.append(loss(w, b))
return losses
# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
losses = []
for _ in range(steps):
vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
w -= vw; b -= vb
losses.append(loss(w, b))
return losses
print("=== サンプル オプティマイザ収束比較 ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
l = fn()
print(f"{name:10s}: 初期loss={l)
def loss(w, b):
return (w-3)**2 + 2*(b+2)**2 # 最適点 (3, -2)
# SGD
def run_SGD(lr=0.1, steps=30):
w, b = 0.0, 0.0
losses = []
for _ in range(steps):
w -= lr * 2*(w-3); b -= lr * 4*(b+2)
losses.append(loss(w, b))
return losses
# Momentum
def run_Momentum(lr=0.1, beta=0.9, steps=30):
w, b, vw, vb = 0.0, 0.0, 0.0, 0.0
losses = []
for _ in range(steps):
vw = beta*vw + lr*2*(w-3); vb = beta*vb + lr*4*(b+2)
w -= vw; b -= vb
losses.append(loss(w, b))
return losses
print("=== サンプル オプティマイザ収束比較 ===")
for name, fn in [('SGD', run_SGD), ('Momentum', run_Momentum)]:
l = fn()
print(f"{name:10s}: 初期loss={l)
実行出力:
=== サンプル 优化器收敛对比 === SGD : 初始loss=25.0, 最终loss=1.9234 Momentum : 初始loss=25.0, 最终loss=0.0021
収束曲線の比較
その他の拡張