関数と極限 — 微積分のスタートライン
微積分はAIトレーニングプロセスの数学エンジンです。微分を学ぶ前に、まず関数の概念を振り返り、微積分の核心的思想である「極限」を理解しましょう。
極限とは?
極限は「xがある点に無限に近づくが等しくはないとき、f(x)はどの値に近づくか」を記述します。
例:\( f(x) = \frac{x^2-1}{x-1} \) は、x=1のとき定義されません。しかしxが1に近づくとき、f(x)は2に近づきます。
左極限
x → 1⁻(左から近づく)
f(0.999) → 2
極限
左右の極限が等しい → 存在する
\( \lim_{x\to 1} f(x) = 2 \)
右極限
x → 1⁺(右から近づく)
f(1.001) → 2
連続 = 途切れない
f(x) が点aで連続:\( \lim_{x\to a} f(x) = f(a) \)——その点の極限 = その点の関数値。
ほとんどの損失関数(MSE、交差エントロピー)は連続かつ微分可能です——これは勾配降下法で最適化できるための前提です。
身近な例
瞬間速度
3秒目の瞬間の速度を知りたいとします。しかし「瞬間」の時間間隔は0で、変位も0になるため、0/0は無意味です。
微積分での解法:時間間隔をどんどん短くして、平均速度がどの値に近づくかを確認します。この近づく値が瞬間速度——すなわち微分(導関数)です。
数学的定義
\[ \lim_{x \to a} f(x) = L \]極限の演算法則:和差積商の極限 = 極限の和差積商(分母の極限が0でない場合)。
Python で試す
実例
def f(x):
return (x**2 - 1) / (x - 1)
print("=== lim_{x->1} (x^2-1)/(x-1) = 2 ===")
# 左右両方から近づける
for delta in [0.1, 0.01, 0.001, 0.0001]:
print(f"x = {1-delta:.4f}, f(x) = {f(1-delta):.6f}")
print(f"x = {1+delta:.4f}, f(x) = {f(1+delta):.6f}")
print("→ どちらから近づけても、f(x)は2に近づく")
=== lim_{x->1} (x^2-1)/(x-1) = 2 ===
x = 0.9000, f(x) = 1.900000
x = 1.1000, f(x) = 2.100000
x = 0.9900, f(x) = 1.990000
x = 1.0100, f(x) = 2.010000
→ 无论从哪边逼近,f(x)都趋近于 2
AIでの応用シーン
勾配の定義は極限に依存する
微分(導関数)の定義自体が極限です:\( f'(x) = \lim_{h \to 0} \frac{f(x+h)-f(x)}{h} \)。逆伝播(バックプロパゲーション)での勾配計算は数値的な極限ではなく解析的な微分を使いますが、極限の考え方は「学習率を大きくしすぎてはいけない」ことを理解する鍵です——大きすぎる学習率は、大きすぎるhで微分を近似することに相当します。
損失関数の連続性の要件
勾配降下法は、損失関数がほとんど至るところで微分可能であることを要求します。MSEと交差エントロピーはどちらも滑らかで連続です——これが標準的な損失関数となる前提です。Hinge Loss(SVMで使用)は折れ点で微分不可能なため、劣勾配で代替する必要があります。
活性化関数の選択
ReLUはx=0で微分不可能(左右の微分が等しくない)ですが、実践では劣勾配0で代替するため、モデルは正常に学習できます。LeakyReLUとGELUは至るところ微分可能で、勾配の流れがより滑らかです。
その他の拡張