導関数を使って関数の最小値を見つける

数値差分を使って導関数を推定し、導関数の逆方向に一歩ずつ移動することで、「導関数が探索方向を導く」ことを直感的に体感します。

このケースを学び終えると、以下のことが理解できます:導関数はどちらへ進めば関数値が増加するかを教えてくれます。逆方向へ進めば減少します——これが勾配降下法の原型です。


日常生活からの導入

濃霧の中で目隠しをして山を下りる

手の指も見えないほどの濃霧の中、山頂から谷底まで歩かなければなりません。山全体の形は見えず、足元の傾斜だけを感じ取ることができます。あなたの戦略はとてもシンプルです:最も急な傾斜の方向を感じ取る → 最も急な下り坂の方向に小さく一歩進む → 立ち止まる → 再び感じ取る → また小さく一歩進む。

「傾斜を感じ取る」ことは導関数を求めることであり、「小さく一歩進む」ことは導関数の逆方向に位置を更新することです。この方法は山全体の形を知る必要はなく、足元の傾斜だけを知っていれば十分です。


直感的な理解

関数 \(f(x) = (x-3)^2 + 2\) について、最小値は \(x=3\) にあり、最小値は \(f(3) = 2\) です。

\(x=10\) から出発して、どうやって \(x=3\) まで辿り着くのでしょうか?方程式を解く必要はなく、次の戦略だけが必要です:

  • 導関数 \(f'(x) > 0\)(関数が増加している)なら、左へ進む(x を減らす)
  • 導関数 \(f'(x) < 0\)(関数が減少している)なら、右へ進む(x を増やす)
  • 導関数の絶対値が大きいほど、傾斜が急であることを意味し、より遠くへ進むことができます

数学的定義

数値微分(中心差分)

\[ f'(x) \approx \frac{f(x+h) - f(x-h)}{2h} \]

微分公式を導出する必要はありません。非常に近い2つの点の関数値の差を距離で割るだけで、導関数の近似値が得られます。\(h\) には \(10^{-5}\) のような極めて小さな値を用います。

ナイーブ下山アルゴリズム

\[ x_{t+1} = x_t - \eta \cdot f'(x_t) \]

ここで \(\eta\) はステップ幅(学習率)であり、各ステップでどれだけ進むかを制御します。


Pythonで実践

実例

import numpy as np

# 目的関数:f(x) = (x-3)^2 + 2、最小値は x=3
def f(x):
    return (x - 3) ** 2 + 2

# 数値微分——中心差分を使用し、記号微分に依存しない
def numerical_derivative(f, x, h=1e-5):
    """x における f の導関数値を推定する"""
    return (f(x + h) - f(x - h)) / (2 * h)

# ナイーブ下山アルゴリズム:導関数の逆方向に移動する
x = 10.0          # 開始点。わざと最適点から遠い位置を選ぶ
step_size = 0.1   # 毎回の移動のステップ幅
history = [x]

for i in range(50):
    grad = numerical_derivative(f, x)
    x = x - step_size * grad  # 導関数が正なら左へ、負なら右へ
    history.append(x)

print("サンプル 下山アルゴリズムの結果:")
print(f"開始点 x = {history)
print(f"終点 x = {history[-1]:.4f} (実際の最小値点 x=3)")
print(f"終点 f(x) = {f(history[-1]):.4f} (実際の最小値 f(3)=2)")

print("\nサンプル 最初の10ステップの移動軌跡:")
print(f"{'ステップ数':<6} {'x':<10} {'f(x)':<10} {'導関数':<10} {'方向'}")
for i, xi in enumerate(history[:10]):
    grad = numerical_derivative(f, xi)
    direction = "左へ" if grad > 0 else "右へ"
    print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
サンプル 下山算法结果:
起点 x = 10.0
终点 x = 3.0000  (真实最小值点 x=3)
终点 f(x) = 2.0000  (真实最小值 f(3)=2)

サンプル 前 10 步移动轨迹:
步数   x          f(x)       导数       方向
0      10.0000    51.0000    14.0000    往左
1      8.6000     33.3600    11.2000    往左
2      7.4800     22.0704    8.9600     往左
3      6.5840     14.8042    7.1680     往左
4      5.8672     10.1942    5.7344     往左

AIでの応用シーン

シーンこのケースとの関連
勾配降下法による訓練ニューラルネットワーク訓練の本質:損失関数の各パラメータに関する偏導関数を用いて、パラメータ更新の方向を導くこと
数値勾配チェック逆伝播をデバッグする際、数値勾配を使って解析勾配の正しさを検証します——これはまさにこのケースの中心差分法です
ハイパーパラメータ探索ベイズ最適化などのパラメータ調整手法も、未知の関数曲面上で「導関数」の方向に沿って最小値を探索します
その他の拡張