手書き勾配降下法で直線をフィットさせる

sklearn を使わず、勾配降下法でゼロから \(y = wx + b\) をフィットし、損失がどのように下がるかを一歩ずつ観察します。

このケースを学び終えると、次のことが理解できます:閉形式解は不要で、勾配を求められれば、パラメータは自動的に最適値へ収束します。


生活からの導入

シュート練習——毎回少し角度を調整する

あなたはスリーポイントラインの外側に立ってシュートします。1回目は左にそれた——次は少し右に調整。2回目は右にそれた——また少し左に調整。毎回投げ終わったら、ズレを確認し、ズレを小さくする方向にフォームを調整します。

機械学習のトレーニングもまったく同じです。毎回予測値を計算したら、正解値との差(損失)を確認し、差を小さくする方向にパラメータを調整します(勾配降下法)。これを何百回も繰り返せば、フォームが決まります。


直感的な理解

目標は、すべてのデータポイントをできるだけ通る直線 \(y = wx + b\) を見つけることです。\(w\) は傾き、\(b\) は切片です。損失 = すべての点から直線までの垂直距離の二乗の平均(MSE)です。

\(w=0, b=0\) から始めると、直線は水平で、損失は大きくなります。勾配降下法は「\(w\) は大きく、\(b\) も大きくすべき」と教えてくれるので、その通りにします。これを100回繰り返すと、直線はデータポイントを通るようになります。


数学的定義

\[ L(w, b) = \frac{1}{n}\sum_{i=1}^{n}(wx_i + b - y_i)^2 \] \[ \frac{\partial L}{\partial w} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \cdot x_i, \quad \frac{\partial L}{\partial b} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \] \[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} \]

Python ハンズオン

実例

import numpy as np
np.random.seed(0)

# ノイズを含む線形データを生成:真の y = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8

# 勾配関数を手で導出(w と b それぞれで偏微分)
def compute_gradients(w, b, x, y):
    y_pred = w * x + b
    error = y_pred - y          # 予測値 - 実際の値
    dw = np.mean(2 * error * x) # dL/dw
    db = np.mean(2 * error)     # dL/db
    return dw, db

# 勾配降下法のメインループ
w, b = 0.0, 0.0     # 初期パラメータをわざと 0 に設定
lr = 0.05
epochs = 100

print("サンプル 勾配降下の過程 (真の値 w=2, b=1):")
for epoch in range(epochs):
    y_pred = w * x + b
    loss = np.mean((y_pred - y) ** 2)
    dw, db = compute_gradients(w, b, x, y)
    w -= lr * dw
    b -= lr * db
    if epoch % 20 == 0:
        print(f"  epoch {epoch:3d}  loss={loss:.4f}  w={w:.3f}  b={b:.3f}")

print(f"\nサンプル 最終: w={w:.3f}, b={b:.3f} (真の w=2, b=1)")
print(f"フィットした直線: y = {w:.2f}x + {b:.2f}")
サンプル 梯度下降过程 (真实值 w=2, b=1):
  epoch   0  loss=13.4515  w=0.790  b=0.057
  epoch  20  loss=0.9165  w=1.868  b=0.785
  epoch  40  loss=0.7316  w=1.949  b=0.918
  epoch  60  loss=0.7083  w=1.971  b=0.956
  epoch  80  loss=0.7055  w=1.977  b=0.967
  epoch 100  loss=0.7052  w=1.979  b=0.970

サンプル 最终: w=1.979, b=0.970  (真实 w=2, b=1)
拟合直线: y = 1.98x + 0.97

AIでの応用シーン

このケースのコードの骨組みは、あらゆるディープラーニング学習のテンプレートです。順伝搬で予測値を計算 → 損失を計算 → 逆伝搬で勾配を求める → パラメータを更新 → 繰り返す。PyTorch の optimizer.step() と loss.backward() はこのプロセスを自動化したものです。

その他の拡張