Напишите множественную линейную регрессию с нуля

Комплексно примените матричные операции + градиентный спуск + MSE и полностью пройдите весь процесс "данные → модель → обучение → предсказание".

После изучения этого примера вы поймёте:Работающая модель машинного обучения — это по сути комбинация линейной алгебры + математического анализа + оптимизации.


Введение из жизни

Оценка цен на дома — не только площадь

Цены на дома зависят не только от площади, но и от количества спален, этажа, близости к метро, возраста здания... У каждого фактора есть свой вес.

Множественная линейная регрессия — это:Каждому фактору присваивается вес w, все факторы умножаются на свои веса и суммируются, затем добавляется базовая цена b.Затем по историческим данным о сделках выводятся эти веса — это и есть обучение.


Интуитивное понимание

Полный пятишаговый цикл машинного обучения:

Подготовка данных
X, y
Прямое предсказание
X*W+b
Вычисление потерь
MSE
Вычисление градиента
X.T*error
Обновление параметров
W-=lr*dW

Эти пять шагов выполняются в цикле на каждой итерации, пока значение функции потерь не сойдётся. Метод fit() в PyTorch/TensorFlow внутри представляет собой именно этот цикл.


Математическое определение

\[ \hat{y} = XW + b, \quad L = \frac{1}{n}\sum(\hat{y}_i - y_i)^2 \] \[ \frac{\partial L}{\partial W} = \frac{2}{n} X^T (XW + b - y), \quad \frac{\partial L}{\partial b} = \frac{2}{n} \sum (XW + b - y) \]

Практическое занятие по Python

Пример

import numpy as np
np.random.seed(0)


class LinearRegressionFromScratch:
    """Полностью реализовано с помощью матричных операций NumPy + градиентного спуска"""

    def __init__(self, lr=0.01, epochs=500):
        self.lr = lr
        self.epochs = epochs
        self.W = None
        self.b = None
        self.loss_history = []

    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.W = np.zeros(n_features)
        self.b = 0.0

        for epoch in range(self.epochs):
            y_pred = X @ self.W + self.b
            error = y_pred - y
            loss = np.mean(error ** 2)
            self.loss_history.append(loss)

            dW = (2 / n_samples) * (X.T @ error)
            db = (2 / n_samples) * np.sum(error)

            self.W -= self.lr * dW
            self.b -= self.lr * db

            if epoch % 100 == 0:
                print(f"ПРИМЕР epoch {epoch:4d} loss={loss:.4f}")

    def predict(self, X):
        return X @ self.W + self.b


# Создание данных: y = 3*x1 - 2*x2 + 5 + noise
X = np.random.uniform(-5, 5, size=(200, 2))
true_W = np.array([3.0, -2.0])
true_b = 5.0
y = X @ true_W + true_b + np.random.randn(200) * 1.5

model = LinearRegressionFromScratch(lr=0.01, epochs=500)
model.fit(X, y)

print(f"\nПРИМЕР: выученные W={np.round(model.W, 3)}, b={round(model.b, 3)}")
print(f"Истинные: W={true_W}, b={true_b}")
print(f"Потери: {model.loss_history[0]:.1f} -> {model.loss_history[-1]:.2f}")

# Предсказать новые образцы
X_new = np.array([[1.0, 1.0], [-2.0, 3.0]])
print(f"Предсказание: {np.round(model.predict(X_new), 2)}")
EXAMPLE epoch    0  loss=157.0828
EXAMPLE epoch  100  loss=2.6062
EXAMPLE epoch  200  loss=2.3077
EXAMPLE epoch  300  loss=2.2581
EXAMPLE epoch  400  loss=2.2475

EXAMPLE 学到的: W=[ 3.014 -2.017], b=4.737
真实的:       W=[ 3. -2.], b=5.0
损失: 157.1 -> 2.25
预测: [5.73 -4.18]

Сценарии применения в ИИ

СценарийСвязь с этим случаем
Базовая модельПервой версией модели для любой задачи регрессии должна быть линейная регрессия — простая и интерпретируемая
Последний слой нейронной сетиУ многих сетей выходной слой — линейный слой, по сути линейная регрессия
Анализ важности признаковПосле обучения посмотрите на величину W — признаки с большими абсолютными значениями сильнее влияют на результат
Другие расширения