Градиентный спуск, реализованный вручную, для подгонки прямой линии

Без sklearn используйте градиентный спуск, чтобы с нуля подогнать \(y = wx + b\), шаг за шагом наблюдая, как уменьшаются потери.

После завершения этого примера вы поймёте:Решение в замкнутой форме не требуется; если вы умеете вычислять градиент, параметры автоматически сойдутся к оптимальным значениям.


Введение из жизни

Практика баскетбольных бросков — каждый раз немного корректируйте угол

Вы стоите за трёхочковой линией и бросаете. Первый бросок уходит влево — в следующий раз немного скорректируйте вправо. Второй бросок уходит вправо — снова немного скорректируйте влево. После каждого броска вы смотрите на отклонение и корректируете свою стойку в направлении, уменьшающем отклонение.

Обучение модели машинного обучения устроено точно так же: каждый раз после вычисления предсказанных значений вы смотрите на расхождение с истинными значениями (потери), затем корректируете параметры в направлении, уменьшающем расхождение (градиентный спуск). Повторите несколько сотен раз — и стойка настроена.


Интуитивное понимание

Наша цель — найти прямую \(y = wx + b\), которая проходит через все точки данных как можно ближе. \(w\) — угловой коэффициент, \(b\) — свободный член, потери = среднее квадратов вертикальных расстояний от всех точек до прямой (MSE).

Если мы начнём с \(w=0, b=0\), прямая горизонтальна, а потери велики. Градиентный спуск скажет нам: «w нужно увеличить, и b тоже нужно увеличить», и мы следуем этому. После 100 повторений прямая пройдёт через точки данных.


Математическое определение

\[ L(w, b) = \frac{1}{n}\sum_{i=1}^{n}(wx_i + b - y_i)^2 \] \[ \frac{\partial L}{\partial w} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \cdot x_i, \quad \frac{\partial L}{\partial b} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \] \[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} \]

Практическое занятие по Python

Пример

import numpy as np
np.random.seed(0)

# Сгенерировать зашумлённые линейные данные: истинное значение y = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8

# Вручную вывести функцию градиента (взять частные производные по w и b соответственно)
def compute_gradients(w, b, x, y):
    y_pred = w * x + b
    error = y_pred - y          # Предсказанное значение - истинное значение
    dw = np.mean(2 * error * x) # dL/dw
    db = np.mean(2 * error)     # dL/db
    return dw, db

# Основной цикл градиентного спуска
w, b = 0.0, 0.0     # Намеренно задать начальные параметры равными 0
lr = 0.05
epochs = 100

print("ПРИМЕР процесса градиентного спуска (истинные значения w=2, b=1):")
for epoch in range(epochs):
    y_pred = w * x + b
    loss = np.mean((y_pred - y) ** 2)
    dw, db = compute_gradients(w, b, x, y)
    w -= lr * dw
    b -= lr * db
    if epoch % 20 == 0:
        print(f" эпоха {epoch:3d} потери={loss:.4f} w={w:.3f} b={b:.3f}")

print(f"\nПРИМЕР итог: w={w:.3f}, b={b:.3f} (истинные w=2, b=1)")
print(f"Подогнанная прямая: y = {w:.2f}x + {b:.2f}")
EXAMPLE 梯度下降过程 (真实值 w=2, b=1):
  epoch   0  loss=13.4515  w=0.790  b=0.057
  epoch  20  loss=0.9165  w=1.868  b=0.785
  epoch  40  loss=0.7316  w=1.949  b=0.918
  epoch  60  loss=0.7083  w=1.971  b=0.956
  epoch  80  loss=0.7055  w=1.977  b=0.967
  epoch 100  loss=0.7052  w=1.979  b=0.970

EXAMPLE 最终: w=1.979, b=0.970  (真实 w=2, b=1)
拟合直线: y = 1.98x + 0.97

Сценарии применения в ИИ

Скелет кода этого примера — шаблон для всего обучения глубоких нейросетей: прямое вычисление предсказанных значений → вычисление потерь → обратное распространение для получения градиентов → обновление параметров → повтор. В PyTorch optimizer.step() и loss.backward() автоматизируют этот процесс.

Другие расширения