導関数を使って関数の最小値を見つける
数値差分を使って導関数を推定し、導関数の逆方向に一歩ずつ移動することで、「導関数が探索方向を導く」ことを直感的に体感します。
このケースを学び終えると、以下のことが理解できます:導関数はどちらへ進めば関数値が増加するかを教えてくれます。逆方向へ進めば減少します——これが勾配降下法の原型です。
日常生活からの導入
濃霧の中で目隠しをして山を下りる
手の指も見えないほどの濃霧の中、山頂から谷底まで歩かなければなりません。山全体の形は見えず、足元の傾斜だけを感じ取ることができます。あなたの戦略はとてもシンプルです:最も急な傾斜の方向を感じ取る → 最も急な下り坂の方向に小さく一歩進む → 立ち止まる → 再び感じ取る → また小さく一歩進む。
「傾斜を感じ取る」ことは導関数を求めることであり、「小さく一歩進む」ことは導関数の逆方向に位置を更新することです。この方法は山全体の形を知る必要はなく、足元の傾斜だけを知っていれば十分です。
直感的な理解
関数 \(f(x) = (x-3)^2 + 2\) について、最小値は \(x=3\) にあり、最小値は \(f(3) = 2\) です。
\(x=10\) から出発して、どうやって \(x=3\) まで辿り着くのでしょうか?方程式を解く必要はなく、次の戦略だけが必要です:
- 導関数 \(f'(x) > 0\)(関数が増加している)なら、左へ進む(x を減らす)
- 導関数 \(f'(x) < 0\)(関数が減少している)なら、右へ進む(x を増やす)
- 導関数の絶対値が大きいほど、傾斜が急であることを意味し、より遠くへ進むことができます
数学的定義
数値微分(中心差分)
\[ f'(x) \approx \frac{f(x+h) - f(x-h)}{2h} \]微分公式を導出する必要はありません。非常に近い2つの点の関数値の差を距離で割るだけで、導関数の近似値が得られます。\(h\) には \(10^{-5}\) のような極めて小さな値を用います。
ナイーブ下山アルゴリズム
\[ x_{t+1} = x_t - \eta \cdot f'(x_t) \]ここで \(\eta\) はステップ幅(学習率)であり、各ステップでどれだけ進むかを制御します。
Pythonで実践
実例
import numpy as np
# 目的関数:f(x) = (x-3)^2 + 2、最小値は x=3
def f(x):
return (x - 3) ** 2 + 2
# 数値微分——中心差分を使用し、記号微分に依存しない
def numerical_derivative(f, x, h=1e-5):
"""x における f の導関数値を推定する"""
return (f(x + h) - f(x - h)) / (2 * h)
# ナイーブ下山アルゴリズム:導関数の逆方向に移動する
x = 10.0 # 開始点。わざと最適点から遠い位置を選ぶ
step_size = 0.1 # 毎回の移動のステップ幅
history = [x]
for i in range(50):
grad = numerical_derivative(f, x)
x = x - step_size * grad # 導関数が正なら左へ、負なら右へ
history.append(x)
print("サンプル 下山アルゴリズムの結果:")
print(f"開始点 x = {history)
print(f"終点 x = {history[-1]:.4f} (実際の最小値点 x=3)")
print(f"終点 f(x) = {f(history[-1]):.4f} (実際の最小値 f(3)=2)")
print("\nサンプル 最初の10ステップの移動軌跡:")
print(f"{'ステップ数':<6} {'x':<10} {'f(x)':<10} {'導関数':<10} {'方向'}")
for i, xi in enumerate(history[:10]):
grad = numerical_derivative(f, xi)
direction = "左へ" if grad > 0 else "右へ"
print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
# 目的関数:f(x) = (x-3)^2 + 2、最小値は x=3
def f(x):
return (x - 3) ** 2 + 2
# 数値微分——中心差分を使用し、記号微分に依存しない
def numerical_derivative(f, x, h=1e-5):
"""x における f の導関数値を推定する"""
return (f(x + h) - f(x - h)) / (2 * h)
# ナイーブ下山アルゴリズム:導関数の逆方向に移動する
x = 10.0 # 開始点。わざと最適点から遠い位置を選ぶ
step_size = 0.1 # 毎回の移動のステップ幅
history = [x]
for i in range(50):
grad = numerical_derivative(f, x)
x = x - step_size * grad # 導関数が正なら左へ、負なら右へ
history.append(x)
print("サンプル 下山アルゴリズムの結果:")
print(f"開始点 x = {history)
print(f"終点 x = {history[-1]:.4f} (実際の最小値点 x=3)")
print(f"終点 f(x) = {f(history[-1]):.4f} (実際の最小値 f(3)=2)")
print("\nサンプル 最初の10ステップの移動軌跡:")
print(f"{'ステップ数':<6} {'x':<10} {'f(x)':<10} {'導関数':<10} {'方向'}")
for i, xi in enumerate(history[:10]):
grad = numerical_derivative(f, xi)
direction = "左へ" if grad > 0 else "右へ"
print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
サンプル 下山算法结果: 起点 x = 10.0 终点 x = 3.0000 (真实最小值点 x=3) 终点 f(x) = 2.0000 (真实最小值 f(3)=2) サンプル 前 10 步移动轨迹: 步数 x f(x) 导数 方向 0 10.0000 51.0000 14.0000 往左 1 8.6000 33.3600 11.2000 往左 2 7.4800 22.0704 8.9600 往左 3 6.5840 14.8042 7.1680 往左 4 5.8672 10.1942 5.7344 往左
AIでの応用シーン
| シーン | このケースとの関連 |
|---|---|
| 勾配降下法による訓練 | ニューラルネットワーク訓練の本質:損失関数の各パラメータに関する偏導関数を用いて、パラメータ更新の方向を導くこと |
| 数値勾配チェック | 逆伝播をデバッグする際、数値勾配を使って解析勾配の正しさを検証します——これはまさにこのケースの中心差分法です |
| ハイパーパラメータ探索 | ベイズ最適化などのパラメータ調整手法も、未知の関数曲面上で「導関数」の方向に沿って最小値を探索します |