ゼロから実装する多変量線形回帰
行列演算 + 勾配降下法 + MSE を総合的に活用し、「データ → モデル → トレーニング → 予測」の全フローを一通り実行します。
このケースを学び終えると、次のことが理解できます:実際に動く機械学習モデルは、本質的には線形代数 + 微積分 + 最適化の組み合わせです。
生活からの導入
住宅価格の見積もり——面積だけではない
住宅価格は面積だけで決まるわけではありません。寝室の数、階数、駅に近いかどうか、築年数……それぞれの要素には重みがあります。
多変量線形回帰とは:各要素に重み w を与え、すべての要素に重みを掛けて合計し、さらに基本価格 b を加えます。そして過去の成約データからこれらの重みを逆算します——これがトレーニングです。
直感的な理解
機械学習の5ステップサイクル全体:
データを準備
X, y
X, y
順伝播による予測
X*W+b
X*W+b
損失を計算
MSE
MSE
勾配を計算
X.T*error
X.T*error
パラメータを更新
W-=lr*dW
W-=lr*dW
この5ステップを各イテレーションで繰り返し実行し、損失が収束するまで続けます。PyTorch/TensorFlow の fit() メソッドの内部は、まさにこのループです。
数学的定義
\[ \hat{y} = XW + b, \quad L = \frac{1}{n}\sum(\hat{y}_i - y_i)^2 \] \[ \frac{\partial L}{\partial W} = \frac{2}{n} X^T (XW + b - y), \quad \frac{\partial L}{\partial b} = \frac{2}{n} \sum (XW + b - y) \]Python での実践
実例
import numpy as np
np.random.seed(0)
class LinearRegressionFromScratch:
"""完全に NumPy の行列演算 + 勾配降下法で実装"""
def __init__(self, lr=0.01, epochs=500):
self.lr = lr
self.epochs = epochs
self.W = None
self.b = None
self.loss_history = []
def fit(self, X, y):
n_samples, n_features = X.shape
self.W = np.zeros(n_features)
self.b = 0.0
for epoch in range(self.epochs):
y_pred = X @ self.W + self.b
error = y_pred - y
loss = np.mean(error ** 2)
self.loss_history.append(loss)
dW = (2 / n_samples) * (X.T @ error)
db = (2 / n_samples) * np.sum(error)
self.W -= self.lr * dW
self.b -= self.lr * db
if epoch % 100 == 0:
print(f"サンプル epoch {epoch:4d} loss={loss:.4f}")
def predict(self, X):
return X @ self.W + self.b
# データを作成: y = 3*x1 - 2*x2 + 5 + ノイズ
X = np.random.uniform(-5, 5, size=(200, 2))
true_W = np.array([3.0, -2.0])
true_b = 5.0
y = X @ true_W + true_b + np.random.randn(200) * 1.5
model = LinearRegressionFromScratch(lr=0.01, epochs=500)
model.fit(X, y)
print(f"\n"サンプル が学習した: W={np.round(model.W, 3)}, b={round(model.b, 3)}")
print(f"実際の値: W={true_W}, b={true_b}")
print(f"損失: {model.loss_history)
# 新しいサンプルを予測
X_new = np.array([[1.0, 1.0], [-2.0, 3.0]])
print(f"予測: {np.round(model.predict(X_new), 2)}")
np.random.seed(0)
class LinearRegressionFromScratch:
"""完全に NumPy の行列演算 + 勾配降下法で実装"""
def __init__(self, lr=0.01, epochs=500):
self.lr = lr
self.epochs = epochs
self.W = None
self.b = None
self.loss_history = []
def fit(self, X, y):
n_samples, n_features = X.shape
self.W = np.zeros(n_features)
self.b = 0.0
for epoch in range(self.epochs):
y_pred = X @ self.W + self.b
error = y_pred - y
loss = np.mean(error ** 2)
self.loss_history.append(loss)
dW = (2 / n_samples) * (X.T @ error)
db = (2 / n_samples) * np.sum(error)
self.W -= self.lr * dW
self.b -= self.lr * db
if epoch % 100 == 0:
print(f"サンプル epoch {epoch:4d} loss={loss:.4f}")
def predict(self, X):
return X @ self.W + self.b
# データを作成: y = 3*x1 - 2*x2 + 5 + ノイズ
X = np.random.uniform(-5, 5, size=(200, 2))
true_W = np.array([3.0, -2.0])
true_b = 5.0
y = X @ true_W + true_b + np.random.randn(200) * 1.5
model = LinearRegressionFromScratch(lr=0.01, epochs=500)
model.fit(X, y)
print(f"\n"サンプル が学習した: W={np.round(model.W, 3)}, b={round(model.b, 3)}")
print(f"実際の値: W={true_W}, b={true_b}")
print(f"損失: {model.loss_history)
# 新しいサンプルを予測
X_new = np.array([[1.0, 1.0], [-2.0, 3.0]])
print(f"予測: {np.round(model.predict(X_new), 2)}")
サンプル epoch 0 loss=157.0828 サンプル epoch 100 loss=2.6062 サンプル epoch 200 loss=2.3077 サンプル epoch 300 loss=2.2581 サンプル epoch 400 loss=2.2475 サンプル 学到的: W=[ 3.014 -2.017], b=4.737 真实的: W=[ 3. -2.], b=5.0 损失: 157.1 -> 2.25 预测: [5.73 -4.18]
AI における応用シナリオ
| シナリオ | このケースとの関連 |
|---|---|
| ベースラインモデル | どんな回帰タスクでも、最初のモデルは線形回帰であるべきです——シンプルで解釈可能 |
| ニューラルネットワークの最終層 | 多くのネットワークの出力層は線形層です——本質的には線形回帰と同じ |
| 特徴量の重要度分析 | トレーニング後に W の大きさを確認します——絶対値が大きい特徴量ほど結果への影響が大きい |