Градиентный спуск, реализованный вручную, для подгонки прямой линии
Без sklearn используйте градиентный спуск, чтобы с нуля подогнать \(y = wx + b\), шаг за шагом наблюдая, как уменьшаются потери.
После завершения этого примера вы поймёте:Решение в замкнутой форме не требуется; если вы умеете вычислять градиент, параметры автоматически сойдутся к оптимальным значениям.
Введение из жизни
Практика баскетбольных бросков — каждый раз немного корректируйте угол
Вы стоите за трёхочковой линией и бросаете. Первый бросок уходит влево — в следующий раз немного скорректируйте вправо. Второй бросок уходит вправо — снова немного скорректируйте влево. После каждого броска вы смотрите на отклонение и корректируете свою стойку в направлении, уменьшающем отклонение.
Обучение модели машинного обучения устроено точно так же: каждый раз после вычисления предсказанных значений вы смотрите на расхождение с истинными значениями (потери), затем корректируете параметры в направлении, уменьшающем расхождение (градиентный спуск). Повторите несколько сотен раз — и стойка настроена.
Интуитивное понимание
Наша цель — найти прямую \(y = wx + b\), которая проходит через все точки данных как можно ближе. \(w\) — угловой коэффициент, \(b\) — свободный член, потери = среднее квадратов вертикальных расстояний от всех точек до прямой (MSE).
Если мы начнём с \(w=0, b=0\), прямая горизонтальна, а потери велики. Градиентный спуск скажет нам: «w нужно увеличить, и b тоже нужно увеличить», и мы следуем этому. После 100 повторений прямая пройдёт через точки данных.
Математическое определение
\[ L(w, b) = \frac{1}{n}\sum_{i=1}^{n}(wx_i + b - y_i)^2 \] \[ \frac{\partial L}{\partial w} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \cdot x_i, \quad \frac{\partial L}{\partial b} = \frac{2}{n}\sum_{i=1}^{n}(wx_i + b - y_i) \] \[ w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}, \quad b \leftarrow b - \eta \cdot \frac{\partial L}{\partial b} \]Практическое занятие по Python
Пример
np.random.seed(0)
# Сгенерировать зашумлённые линейные данные: истинное значение y = 2x + 1
n = 60
x = np.random.uniform(-3, 3, n)
y = 2 * x + 1 + np.random.randn(60) * 0.8
# Вручную вывести функцию градиента (взять частные производные по w и b соответственно)
def compute_gradients(w, b, x, y):
y_pred = w * x + b
error = y_pred - y # Предсказанное значение - истинное значение
dw = np.mean(2 * error * x) # dL/dw
db = np.mean(2 * error) # dL/db
return dw, db
# Основной цикл градиентного спуска
w, b = 0.0, 0.0 # Намеренно задать начальные параметры равными 0
lr = 0.05
epochs = 100
print("ПРИМЕР процесса градиентного спуска (истинные значения w=2, b=1):")
for epoch in range(epochs):
y_pred = w * x + b
loss = np.mean((y_pred - y) ** 2)
dw, db = compute_gradients(w, b, x, y)
w -= lr * dw
b -= lr * db
if epoch % 20 == 0:
print(f" эпоха {epoch:3d} потери={loss:.4f} w={w:.3f} b={b:.3f}")
print(f"\nПРИМЕР итог: w={w:.3f}, b={b:.3f} (истинные w=2, b=1)")
print(f"Подогнанная прямая: y = {w:.2f}x + {b:.2f}")
EXAMPLE 梯度下降过程 (真实值 w=2, b=1): epoch 0 loss=13.4515 w=0.790 b=0.057 epoch 20 loss=0.9165 w=1.868 b=0.785 epoch 40 loss=0.7316 w=1.949 b=0.918 epoch 60 loss=0.7083 w=1.971 b=0.956 epoch 80 loss=0.7055 w=1.977 b=0.967 epoch 100 loss=0.7052 w=1.979 b=0.970 EXAMPLE 最终: w=1.979, b=0.970 (真实 w=2, b=1) 拟合直线: y = 1.98x + 0.97
Сценарии применения в ИИ
Скелет кода этого примера — шаблон для всего обучения глубоких нейросетей: прямое вычисление предсказанных значений → вычисление потерь → обратное распространение для получения градиентов → обновление параметров → повтор. В PyTorch optimizer.step() и loss.backward() автоматизируют этот процесс.
Другие расширения