微分入門 -- 瞬間変化率と接線

微分係数 = 関数のある点における瞬間変化率 = その点の接線の傾き。

微分係数を理解すれば、勾配降下法がなぜ反対方向に進むのかがわかる。


平均変化率から瞬間変化率へ

平均変化率(割線の傾き)→ Δx がどんどん小さくなる → 割線が接線になる →微分係数 = 接線の傾き。

微分係数の符号は関数の挙動を明らかにする

f'(x) > 0

関数はこの場所で上昇する

接線は右上がり

f'(x) < 0

関数はこの場所で下降する

接線は右下がり

f'(x) = 0

水平 — 極値の可能性がある

接線は水平

勾配降下法の直感は微分係数の符号に隠れている:

f'(x) > 0 → 関数は上昇 → 反対方向へ進む。f'(x) < 0 → 関数は下降 → この方向へ進み続ける。

これが「負の勾配方向」の根源である。


日常生活の例

速度計 = 位置関数の微分係数

全長120kmを2時間で走行 → 平均速度60km/h。

しかし、メーターが示す瞬間速度は常に変化している。この「今の速度」が距離関数の時間に対する微分係数である。


数学的定義

\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]

この極限が存在すれば、f は x で微分可能である。


Python での実践

実例

import numpy as np

def numerical_derivative(f, x, h=1e-5):
    return (f(x + h) - f(x - h)) / (2 * h)

f = lambda x: x**2

# f'(2) = 2*2 = 4
print(f"f'(2) 数値={numerical_derivative(f, 2):.6f}, 理論=4")

# 各点の微分係数
for x in [-2, -1, 0, 1, 2]:
    d = numerical_derivative(f, x)
    dir = "下降" if d < 0 else ("上昇" if d > 0 else "水平")
    print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4
x=-2, f'(x)= -4.0, 下降
x=-1, f'(x)= -2.0, 下降
x= 0, f'(x)=  0.0, 水平
x= 1, f'(x)=  2.0, 上升
x= 2, f'(x)=  4.0, 上升

AI での応用シーン

勾配降下法の1次元プロトタイプ

単変数関数の場合、勾配降下法は \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \) に退化する。微分係数は「どちらへ進めば関数の値が小さくなるか」を教えてくれる。微分係数が正なら左へ、負なら右へ進む。

活性化関数の微分係数が逆伝播の効率を左右する

ReLU の微分係数:x>0 のとき 1、x≤0 のとき 0。計算が非常に速く、正の領域では勾配が減衰しない。これは ReLU が Sigmoid よりも深層ネットワークに適している重要な理由である。Sigmoid の微分係数は最大でも 0.25 しかなく、多層で掛け合わせると勾配が指数的に減衰する(勾配消失)。

損失関数の最適解における微分係数はゼロになる

モデルが局所最適解に収束すると、損失関数のすべてのパラメータに関する偏微分係数が 0 に近づき、勾配降下法は自然に停止する。これが学習収束のシグナルである:勾配ノルム ||\nabla J|| \approx 0。


その他の拡張