関数とグラフ

この章では、よくある関数のグラフを直感的に示します。グラフの形を理解することは、公式を覚えることよりも重要です。

損失関数の曲面や活性化関数は、本質的にはこれらの基本形状の変形です。各関数には切り替え可能なインタラクティブなグラフが付いており、実際に切り替えたりドラッグしたりするほうが、静的な挿絵を見るよりはるかに効果的です。


なぜわざわざ「グラフを見る」ことを学ぶのか

数式は「規則」を記述し、グラフは「規則がどのような形か」を記述します。

ディープラーニングの中核となる問題の多くは、本質的に「曲線や曲面の形状」の問題です:

ディープラーニングの問題本質的な形状の問題
なぜ一部の損失関数は最適化しやすいのかその曲面が「お椀型」(凸関数)かどうかに注目する
なぜ sigmoid は学習を遅くするのかそのグラフの両端がどれだけ「平らか」に注目する
なぜ ReLU がデフォルトの選択肢になったのかそのグラフがどれほど「単純」かに注目する

「これはどんな形か、両端はどうか、中央はどうか」という問いを持って各関数を見ると、公式を丸暗記するよりしっかり覚えられます。


5つの基本関数のグラフ

一次関数:y = kx + b

形は直線です。k は傾きで、傾きの程度と方向を決めます(k>0 で右上がり、k<0 で右下がり);b は切片で、直線と y 軸との交点を決めます。

定義域と値域はともに実数全体であり、変化率(傾き)はどこでも同じです。これが「線形」という言葉の意味です。

AI における役割:ニューロンの最も基本的な演算まさに高次元空間における線形関数です。重みが方向と傾きの程度を制御し、バイアスが全体の平行移動を制御します。

二次関数:y = ax² + bx + c

形は放物線です。上に開く(お椀型)場合は最小値を持ち;下に開く(ひっくり返したお椀)場合は最大値を持ちます。

頂点は曲線の折り返し点で、平方完成によって求めることができます:、グラフは頂点を通る垂直線に関して対称です。

AI における役割:最も単純な凸関数はこの形です。平均二乗誤差損失(MSE)は、多くの簡略化されたシナリオでこの「お椀型」の曲面に近くなります。勾配降下法はお椀型の曲面では非常に簡単に最小点を見つけられます。どの方向から下りても同じ谷底にたどり着くからです。

指数関数:y = aˣ(a>0 かつ a≠1)

形は、加速しながら上昇し続ける(a>1 の場合)、または減衰し続ける(0<a<1 の場合)曲線です。x 軸に決して触れず、x 軸がその水平漸近線となります。

定義域は実数全体、値域は。入力が線形に増加すると、出力は「爆発的」に増加します。これが指数関数の最も中心的な性質です。

AI における役割:softmax 内の、Adam 最適化器のモーメンタム項における指数減衰は、いずれも「差の拡大」または「徐々に忘れる」性質を利用しています。

対数関数:y = logₐx(a>0 かつ a≠1)

指数関数とはちょうど「鏡像」の関係にあります(直線 y=x を対称軸とします)。曲線は x が 0 から始まると急速に上昇し、その後は増加が次第に遅くなります。

定義域は、値域は実数全体です。入力が大きいほど増加が遅くなり、指数関数とはまったく逆です。

AI における役割:交差エントロピー損失内の、まさに対数が「0 付近では極めて急峻で、1 付近では平坦になる」という形を利用しています。モデルが自信過剰で間違っているほど、ペナルティが重くなります。

三角関数:y = sin(x)、y = cos(x)

形は波線で、繰り返し(周期性)があり、常に -1 から 1 の間で振動します(有界性)。sin(x) は原点から上向きに始まり、cos(x) は x=0 で最大値 1 に達します。

周期は、値域は。

AI における役割:Transformer の位置エンコーディングは、異なる周波数の sin/cos 波形を直接重ね合わせて、系列内の各位置に独自で規則的な「座標」を生成します(第3章で詳述)。

インタラクティブデモ:5つの基本関数グラフのギャラリー
ボタンをクリックして関数を切り替えると、下部の情報カードに形状の特徴と AI での役割が同期して更新されます。

AI で重要な3つの活性化関数

活性化関数はニューラルネットワークの各層における「非線形性の源」であり、その形が学習の難易度を直接決定します。

sigmoid:σ(x) = 1 / (1 + e⁻ˣ)

形は S 字曲線で、0 からゆっくりと 1 まで上昇し、中央(x=0 付近)で最も速く上昇し、両端は平坦に近づきます。

値域は開区間、しばしば「確率」として解釈されます。

最大の副作用:両端の傾きが 0 に近づく。入力の絶対値が大きいとき(x=10 や x=-10 など)、sigmoid 曲線はほぼ平らで、勾配はほぼゼロになります。

深いネットワークでは、多くの層が sigmoid を使うと、逆伝播の際に勾配がこれらの「平坦な領域」によって層ごとに弱められ、最終的に前方の層まで届きません。これが勾配消失問題の最も直感的な幾何学的根源です。

ReLU:f(x) = max(0, x)

形は折れ線です:x<0 では x 軸に沿い(出力は常に 0)、x≥0 では傾き 1 の直線です。

負の半軸では導関数は常に 0、正の半軸では常に 1 であり、sigmoid のような「徐々に平坦になる」過程がなく、計算も極めて簡単です(1回の比較だけです)。

正の半軸の勾配は常に 1 で、入力が大きくなっても減衰しないため、勾配消失問題を大幅に緩和します。これが ReLU がデフォルトの活性化関数になった直感的な理由です。

それ自身にも問題があります:負の半軸の勾配が常に 0 のため、一部のニューロンが「死んで」更新されなくなる可能性があります。これはグラフの形からも直接わかります。

tanh:f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)

sigmoid によく似た S 字曲線ですが、原点を中心とし、値域は。

sigmoid と比べて、tanh の出力は 0 を中心とします。次の層のネットワークへの入力の平均が 0 に近いと、学習はより安定することが多く、これが tanh が一部のシナリオで好まれる理由です。

しかし、「両端が平坦になる」という根本的な問題は解決していません。これが後に ReLU 系の関数が広く使われるようになった背景です。

インタラクティブデモ:活性化関数とその導関数
活性化関数を切り替えると、実線は関数自体、点線はその導関数(傾き)です。導関数の曲線のピークと両端の減衰の様子に注目してください。
sigmoid の導関数の最大値はわずか 0.25 で、|x| > 4 ではほぼ 0 になります。多層で掛け合わせると勾配は急速に消えてしまいます。これが「勾配消失」の幾何学的根源です。

交差エントロピーはなぜ -log(p) を使うのか

二値分類問題では、モデルが「正しいクラス」と予測する確率を、交差エントロピー損失は。

直感的には、次を使うほうが損失としてより単純ではないかと思うかもしれません。2つの曲線を並べると、その差は一目瞭然です。

インタラクティブデモ:-log(p) と 1-p のペナルティ比較
スライダーをドラッグしてモデルの予測確率 p を変え、2つの損失が与えるペナルティの違いを観察します。p が非常に小さい(モデルが自信を持って間違える)場合、-log(p) のペナルティは 1-p よりもはるかに大きくなります。
青は -log(p)、緑は 1-p です。前者は p → 0 で無限大に向かって急上昇し、後者は最大でも 1 までです。

実例

# 実際に計算してみる:勾配消失と -log(p) のペナルティ
import math

# ---- 第1部:sigmoid の導関数は |x| が大きくなると減衰する ----
def sigmoid(x):
    return 1 / (1 + math.exp(-x))

def sigmoid_grad(x):
    s = sigmoid(x)
    return s * (1 - s)     # sigmoid の導関数の公式

print(sigmoid_grad(0))    # ピーク時:0.25、これが sigmoid の導関数の最大値
print(sigmoid_grad(5))    # |x|=5 のとき:わずか 0.007 未満
print(sigmoid_grad(10))   # |x|=10 のとき:約 0.0000456、勾配はほぼ消滅

# ---- 第2部:-log(p) のペナルティの増加 ----
for p in [1.0, 0.5, 0.1, 0.01]:
    print(p, -math.log(p))   # p が小さいほどペナルティは急峻になり、p=0.01 でペナルティは 4.6 に達する

上記のコードを実行した出力結果:

0.25
0.006648056670790155
4.5395807735957664e-05
1.0 0.0
0.5 0.6931471805599453
0.1 2.302585092994046
0.01 4.605170185988091

覚えておくべき2つの数字:sigmoid 導関数のピーク値はわずか0.25;p が 0.5 から 0.01 に下がるとき、のペナルティは 0.69 から 4.6 に上昇する。


「形の直感」を活用する3つの場面

シーンどのような形状に注目するか判断の根拠
損失関数が最適化しやすいかどうかを判断する曲面が「お椀型」(凸)に近いかどうかお椀型に近いほど、勾配降下法で大域的最小点を見つけやすい;凹凸が多い(非凸)場合は局所的最適解に陥る可能性がある
活性化関数が学習を遅くしないかどうかを判断するグラフの両端が「平らになる」かどうか平らになるほど、勾配消失問題が顕著になる
関数が確率出力に適しているかどうかを判断する値域に境界があるかどうか値域が (0,1) のような区間に圧縮されていて初めて確率として解釈できる。これが sigmoid、softmax が選ばれる直接の理由である

練習:公式を見ずに、直感だけで判断してください--ReLU と sigmoid のどちらがネットワークの最終層で「二値分類の確率出力」に適しているでしょうか?その理由は?

クリックして答えを見る

sigmoid の方が適している。なぜなら、その値域はであり、自然に「あるクラスに属する確率」として解釈できるからである。

ReLU の値域はであり、上界がないため、そのまま確率として使うことはできない。


本章のまとめ

関数形状のキーワード対応するAI概念
線形関数直線で、どこでも傾きが同じニューロンの加重和 wx+b
二次関数お椀型 / 逆さのお椀型損失関数の曲面(凸関数の直感)
指数関数加速的に上昇または減衰softmax、運動量項
対数関数増加が徐々に遅くなる交差エントロピー損失
三角関数周期的な波位置エンコーディング
sigmoidS字型で、両端が平らになる確率出力、勾配消失の原因
ReLU折れ線で、負の領域はゼロになるデフォルトの活性化関数
tanhS字型で、0 を中心とする「ゼロ平均出力」が必要なシーン
その他の拡張