勾配 -- 関数の上昇が最も速い方向を指す
勾配は関数値が最も速く上昇する方向を指すので、勾配降下法は負の勾配方向に進みます。
勾配はAIトレーニング全体の中核概念です——オプティマイザは毎回の更新で勾配に依存します。
概念の解説
勾配 = 偏微分からなるベクトル
\[ \nabla f(x, y) = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) \]勾配方向
上昇が最も速い方向を指す
山に登りたい → 勾配に沿って進む
負の勾配方向
下降が最も速い方向を指す
山を下りたい → 負の勾配に沿って進む
勾配の大きさ
その方向の急峻さ
勾配がゼロ → 極値または鞍点
更新式 \( \theta = \theta - \eta \nabla J \) の負号は「反対方向(下り坂)に進む」ことを意味します。
負号を忘れると勾配上昇になり、損失がどんどん大きくなります。
身近な例
濃霧の中の下山
あなたは濃霧に包まれた山に立っています。最も速く下りたいなら、足元でどの方向が最も急かを感じ取り、最も急な下り坂の方向へ一歩踏み出します。
繰り返します:感じ取る → 一歩踏み出す → 感じ取る → 一歩踏み出す。これが勾配降下法の物理的直感です。
勾配は「最も急な方向」を教え、負号は「下りる」ことを教えます。
数学的定義
\[ \nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix} \]u方向の方向微分:\( \nabla f \cdot \mathbf{u} = \|\nabla f\| \cos\theta \)。uが勾配と同方向のとき最大になります。
Python で試す
実例
def f(x, y):
return x**2 + y**2 # ボウル型の関数
def grad(x, y):
return np.array([2*x, 2*y])
pt = np.array([1.5, 1.0])
g = grad(*pt)
print(f"位置 (1.5, 1.0): 勾配 = {g}")
print(f"勾配ノルム = {np.linalg.norm(g):.2f}")
print(f"勾配は原点から遠ざかる方向(上昇)を指し、負の勾配は原点を指す(下降)")
3D 損失曲面のインタラクティブ可視化
以下では Plotly.js を使って \( f(x,y)=x^2+y^2 \) の3D曲面を描き、勾配方向を直感的に感じ取れます:
AIでの応用シーン
勾配降下法トレーニングの中核入力
パラメータ更新のたびに \( \theta = \theta - \eta \nabla_\theta J \) は勾配に依存します。勾配は各パラメータに「大きくするか小さくするか、どれだけ調整するか」を伝えます。PyTorchでは loss.backward() が勾配を計算し、optimizer.step() が勾配を使ってパラメータを更新します。
勾配消失と勾配爆発
深層ネットワークでは、逆伝播時に勾配がどんどん小さくなる(消失し、浅い層が学習できなくなる)か、どんどん大きくなる(爆発し、パラメータ更新が大きくなりすぎて発散する)ことがあります。ResNetの残差接続(identity shortcut)は勾配消失を緩和するためのものです——勾配に浅い層へ直通する「高速道路」を提供します。
勾配クリッピング(Gradient Clipping)
RNNや大規模言語モデルを訓練する際、勾配をクリッピングすることがよくあります:勾配のL2ノルムが閾値を超えたら、閾値の大きさにスケールします。これは勾配爆発を防ぐ実用的なテクニックで、GPT訓練では標準的に clip_grad_norm_=1.0 を使います。
勾配を可視化する実践的意義
TensorBoardやW&Bなどのツールは各層の勾配の分布を可視化できます。ある層の勾配がほぼゼロなら → 勾配消失;勾配ノルムが数百以上なら → 勾配爆発です。これはディープラーニングモデルの訓練プロセスをデバッグするための直接的な情報です。
その他の拡張