手書き勾配降下法で直線をフィットさせる
sklearn を使わず、勾配降下法でゼロから \(y = wx + b\) をフィットし、損失がどのように下がるかを一歩ずつ観察します。
このケースを学び終えると、次のことが理解できます:閉形式解は不要で、勾配を求められれば、パラメータは自動的に最適値へ収束します。
生活からの導入
シュート練習——毎回少し角度を調整する
あなたはスリーポイントラインの外側に立ってシュートします。1回目は左にそれた——次は少し右に調整。2回目は右にそれた——また少し左に調整。毎回投げ終わったら、ズレを確認し、ズレを小さくする方向にフォームを調整します。
機械学習のトレーニングもまったく同じです。毎回予測値を計算したら、正解値との差(損失)を確認し、差を小さくする方向にパラメータを調整します(勾配降下法)。これを何百回も繰り返せば、フォームが決まります。
直感的な理解
目標は、すべてのデータポイントをできるだけ通る直線 \(y = wx + b\) を見つけることです。\(w\) は傾き、\(b\) は切片です。損失 = すべての点から直線までの垂直距離の二乗の平均(MSE)です。
\(w=0, b=0\) から始めると、直線は水平で、損失は大きくなります。勾配降下法は「\(w\) は大きく、\(b\) も大きくすべき」と教えてくれるので、その通りにします。これを100回繰り返すと、直線はデータポイントを通るようになります。
数学的定義
\[ L(w, b) = \frac{1}{n}\sum_{i=1}^{n}(wx_i + b - y_i)^2 \] \[ \frac{\partial L}{\partial w} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \cdot x_i, \quad \frac{\partial L}{\partial b} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \] \[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} \]Python ハンズオン
実例
import numpy as np
np.random.seed(0)
# ノイズを含む線形データを生成:真の y = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8
# 勾配関数を手で導出(w と b それぞれで偏微分)
def compute_gradients(w, b, x, y):
y_pred = w * x + b
error = y_pred - y # 予測値 - 実際の値
dw = np.mean(2 * error * x) # dL/dw
db = np.mean(2 * error) # dL/db
return dw, db
# 勾配降下法のメインループ
w, b = 0.0, 0.0 # 初期パラメータをわざと 0 に設定
lr = 0.05
epochs = 100
print("サンプル 勾配降下の過程 (真の値 w=2, b=1):")
for epoch in range(epochs):
y_pred = w * x + b
loss = np.mean((y_pred - y) ** 2)
dw, db = compute_gradients(w, b, x, y)
w -= lr * dw
b -= lr * db
if epoch % 20 == 0:
print(f" epoch {epoch:3d} loss={loss:.4f} w={w:.3f} b={b:.3f}")
print(f"\nサンプル 最終: w={w:.3f}, b={b:.3f} (真の w=2, b=1)")
print(f"フィットした直線: y = {w:.2f}x + {b:.2f}")
np.random.seed(0)
# ノイズを含む線形データを生成:真の y = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8
# 勾配関数を手で導出(w と b それぞれで偏微分)
def compute_gradients(w, b, x, y):
y_pred = w * x + b
error = y_pred - y # 予測値 - 実際の値
dw = np.mean(2 * error * x) # dL/dw
db = np.mean(2 * error) # dL/db
return dw, db
# 勾配降下法のメインループ
w, b = 0.0, 0.0 # 初期パラメータをわざと 0 に設定
lr = 0.05
epochs = 100
print("サンプル 勾配降下の過程 (真の値 w=2, b=1):")
for epoch in range(epochs):
y_pred = w * x + b
loss = np.mean((y_pred - y) ** 2)
dw, db = compute_gradients(w, b, x, y)
w -= lr * dw
b -= lr * db
if epoch % 20 == 0:
print(f" epoch {epoch:3d} loss={loss:.4f} w={w:.3f} b={b:.3f}")
print(f"\nサンプル 最終: w={w:.3f}, b={b:.3f} (真の w=2, b=1)")
print(f"フィットした直線: y = {w:.2f}x + {b:.2f}")
サンプル 梯度下降过程 (真实值 w=2, b=1): epoch 0 loss=13.4515 w=0.790 b=0.057 epoch 20 loss=0.9165 w=1.868 b=0.785 epoch 40 loss=0.7316 w=1.949 b=0.918 epoch 60 loss=0.7083 w=1.971 b=0.956 epoch 80 loss=0.7055 w=1.977 b=0.967 epoch 100 loss=0.7052 w=1.979 b=0.970 サンプル 最终: w=1.979, b=0.970 (真实 w=2, b=1) 拟合直线: y = 1.98x + 0.97
AIでの応用シーン
このケースのコードの骨組みは、あらゆるディープラーニング学習のテンプレートです。順伝搬で予測値を計算 → 損失を計算 → 逆伝搬で勾配を求める → パラメータを更新 → 繰り返す。PyTorch の optimizer.step() と loss.backward() はこのプロセスを自動化したものです。
その他の拡張