微分入門 -- 瞬間変化率と接線
微分係数 = 関数のある点における瞬間変化率 = その点の接線の傾き。
微分係数を理解すれば、勾配降下法がなぜ反対方向に進むのかがわかる。
平均変化率から瞬間変化率へ
平均変化率(割線の傾き)→ Δx がどんどん小さくなる → 割線が接線になる →微分係数 = 接線の傾き。
微分係数の符号は関数の挙動を明らかにする
f'(x) > 0
関数はこの場所で上昇する
接線は右上がり
f'(x) < 0
関数はこの場所で下降する
接線は右下がり
f'(x) = 0
水平 — 極値の可能性がある
接線は水平
勾配降下法の直感は微分係数の符号に隠れている:
f'(x) > 0 → 関数は上昇 → 反対方向へ進む。f'(x) < 0 → 関数は下降 → この方向へ進み続ける。
これが「負の勾配方向」の根源である。
日常生活の例
速度計 = 位置関数の微分係数
全長120kmを2時間で走行 → 平均速度60km/h。
しかし、メーターが示す瞬間速度は常に変化している。この「今の速度」が距離関数の時間に対する微分係数である。
数学的定義
\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]この極限が存在すれば、f は x で微分可能である。
Python での実践
実例
def numerical_derivative(f, x, h=1e-5):
return (f(x + h) - f(x - h)) / (2 * h)
f = lambda x: x**2
# f'(2) = 2*2 = 4
print(f"f'(2) 数値={numerical_derivative(f, 2):.6f}, 理論=4")
# 各点の微分係数
for x in [-2, -1, 0, 1, 2]:
d = numerical_derivative(f, x)
dir = "下降" if d < 0 else ("上昇" if d > 0 else "水平")
print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4 x=-2, f'(x)= -4.0, 下降 x=-1, f'(x)= -2.0, 下降 x= 0, f'(x)= 0.0, 水平 x= 1, f'(x)= 2.0, 上升 x= 2, f'(x)= 4.0, 上升
AI での応用シーン
勾配降下法の1次元プロトタイプ
単変数関数の場合、勾配降下法は \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \) に退化する。微分係数は「どちらへ進めば関数の値が小さくなるか」を教えてくれる。微分係数が正なら左へ、負なら右へ進む。
活性化関数の微分係数が逆伝播の効率を左右する
ReLU の微分係数:x>0 のとき 1、x≤0 のとき 0。計算が非常に速く、正の領域では勾配が減衰しない。これは ReLU が Sigmoid よりも深層ネットワークに適している重要な理由である。Sigmoid の微分係数は最大でも 0.25 しかなく、多層で掛け合わせると勾配が指数的に減衰する(勾配消失)。
損失関数の最適解における微分係数はゼロになる
モデルが局所最適解に収束すると、損失関数のすべてのパラメータに関する偏微分係数が 0 に近づき、勾配降下法は自然に停止する。これが学習収束のシグナルである:勾配ノルム ||\nabla J|| \approx 0。
その他の拡張