Градиентный спуск -- спуск вдоль направления наискорейшего спуска

В этой главе градиентный спуск реализуется с нуля и используется для подгонки линейной регрессии.Это математический прототип всего цикла обучения ИИ.


Анализ концепции

Основная формула

\[ \theta_{t+1} = \theta_t - \eta \nabla J(\theta_t) \]

Цикл обучения из четырёх шагов


Прямое распространение
Предсказать выход

Вычислить потери
Измерить расхождение

Вычислить градиент
Обратное распространение

Обновление параметров
θ -= η·∇J

Влияние скорости обучения

Скорость обученияЭффект
Слишком маленькаяСходится крайне медленно, требуя много шагов
УмеренныйСходится плавно и быстро
Слишком большаяКолеблется или даже расходится

Пример из реальной жизни

Спуск с горы в туманный день

В туманный день, когда не видно даже собственной руки перед лицом, нужно спуститься с горы. Стратегия каждого шага:

Почувствуйте самое крутое направление под ногами → Сделайте небольшой шаг в направлении самого крутого спуска → Остановитесь → Почувствуйте снова → Сделайте ещё один небольшой шаг → Повторяйте.

Это градиентный спуск: ощущение = вычисление градиента, небольшой шаг = обновление параметров, остановка = следующая итерация.


Практическое занятие по Python

Пример

import numpy as np

# Сгенерировать данные y = 3x + 2 + шум
np.random.seed(42)
X = np.linspace(0, 10, 100)
y = 3 * X + 2 + np.random.normal(0, 2, 100)

# Реализовать градиентный спуск с нуля
w, b = 0.0, 0.0
lr, n_iter = 0.01, 200
losses = []

for i in range(n_iter):
    y_pred = w * X + b
    loss = np.mean((y_pred - y) ** 2)
    losses.append(loss)
    # Градиент
    dw = 2 * np.mean((y_pred - y) * X)
    db = 2 * np.mean(y_pred - y)
    # Обновление
    w -= lr * dw
    b -= lr * db

print(f"ПРИМЕР результата градиентного спуска:")
print(f"Истинные: w=3.0, b=2.0")
print(f"Подогнанные параметры: w={w:.4f}, b={b:.4f}")
print(fНачальные потери: {losses[0]:.2f} → Итоговые потери: {losses[-1]:.2f})
EXAMPLE 梯度下降结果:
真实: w=3.0, b=2.0
拟合: w=2.9874, b=2.2835
初始损失: 79.69 → 最终损失: 3.91

Кривая снижения потерь


Сценарии применения в ИИ

Математический прототип цикла обучения PyTorch

Все циклы обучения глубоких моделей следуют одной и той же схеме — градиентному спуску:

① optimizer.zero_grad() → обнулить кэш градиентов; ② loss = model(x) → прямое распространение; ③ loss.backward() → обратное распространение для вычисления градиентов; ④ optimizer.step() → выполнить обновление параметров θ -= η·∇J.

Как только вы поймёте этот четырёхшаговый цикл, вы поймёте основную логику обучения всех фреймворков глубокого обучения.

Скорость обучения — самый важный гиперпараметр

Слишком большая скорость обучения → потери колеблются или даже расходятся; слишком малая скорость обучения → сходимость крайне медленная, и можно застрять в локальных оптимумах. Планирование скорости обучения (Step, Cosine Annealing, Warmup) — незаменимая техника для обучения больших моделей — при обучении GPT-3 использовалась стратегия линейного разогрева + косинусного затухания.

Компромисс размера батча в SGD

Full-batch GD: использует все данные для вычисления точных градиентов, медленно, но стабильно; SGD (batch_size=1): рассматривает только один образец за раз, быстро, но оценки градиента шумные; Mini-batch SGD: компромисс (batch_size=32/64/128), с умеренным шумом, который на самом деле помогает выйти из локальных оптимумов — это стандартная практика в реальном обучении.

Ограничения градиентного спуска

Градиентный спуск находит точки, где градиент равен нулю — это могут быть глобальные оптимумы, локальные оптимумы или седловые точки. В многомерных пространствах седловые точки встречаются гораздо чаще, чем локальные оптимумы: точка является минимумом в одних направлениях и максимумом в других. Адаптивные оптимизаторы, такие как Adam, могут более эффективно выходить из седловых точек.


Другие расширения