Градиентный спуск -- спуск вдоль направления наискорейшего спуска
В этой главе градиентный спуск реализуется с нуля и используется для подгонки линейной регрессии.Это математический прототип всего цикла обучения ИИ.
Анализ концепции
Основная формула
\[ \theta_{t+1} = \theta_t - \eta \nabla J(\theta_t) \]Цикл обучения из четырёх шагов
Прямое распространение
Предсказать выход
Вычислить потери
Измерить расхождение
Вычислить градиент
Обратное распространение
Обновление параметров
θ -= η·∇J
Влияние скорости обучения
| Скорость обучения | Эффект |
|---|---|
| Слишком маленькая | Сходится крайне медленно, требуя много шагов |
| Умеренный | Сходится плавно и быстро |
| Слишком большая | Колеблется или даже расходится |
Пример из реальной жизни
Спуск с горы в туманный день
В туманный день, когда не видно даже собственной руки перед лицом, нужно спуститься с горы. Стратегия каждого шага:
Почувствуйте самое крутое направление под ногами → Сделайте небольшой шаг в направлении самого крутого спуска → Остановитесь → Почувствуйте снова → Сделайте ещё один небольшой шаг → Повторяйте.
Это градиентный спуск: ощущение = вычисление градиента, небольшой шаг = обновление параметров, остановка = следующая итерация.
Практическое занятие по Python
Пример
# Сгенерировать данные y = 3x + 2 + шум
np.random.seed(42)
X = np.linspace(0, 10, 100)
y = 3 * X + 2 + np.random.normal(0, 2, 100)
# Реализовать градиентный спуск с нуля
w, b = 0.0, 0.0
lr, n_iter = 0.01, 200
losses = []
for i in range(n_iter):
y_pred = w * X + b
loss = np.mean((y_pred - y) ** 2)
losses.append(loss)
# Градиент
dw = 2 * np.mean((y_pred - y) * X)
db = 2 * np.mean(y_pred - y)
# Обновление
w -= lr * dw
b -= lr * db
print(f"ПРИМЕР результата градиентного спуска:")
print(f"Истинные: w=3.0, b=2.0")
print(f"Подогнанные параметры: w={w:.4f}, b={b:.4f}")
print(fНачальные потери: {losses[0]:.2f} → Итоговые потери: {losses[-1]:.2f})
EXAMPLE 梯度下降结果: 真实: w=3.0, b=2.0 拟合: w=2.9874, b=2.2835 初始损失: 79.69 → 最终损失: 3.91
Кривая снижения потерь
Сценарии применения в ИИ
Математический прототип цикла обучения PyTorch
Все циклы обучения глубоких моделей следуют одной и той же схеме — градиентному спуску:
① optimizer.zero_grad() → обнулить кэш градиентов; ② loss = model(x) → прямое распространение; ③ loss.backward() → обратное распространение для вычисления градиентов; ④ optimizer.step() → выполнить обновление параметров θ -= η·∇J.
Как только вы поймёте этот четырёхшаговый цикл, вы поймёте основную логику обучения всех фреймворков глубокого обучения.
Скорость обучения — самый важный гиперпараметр
Слишком большая скорость обучения → потери колеблются или даже расходятся; слишком малая скорость обучения → сходимость крайне медленная, и можно застрять в локальных оптимумах. Планирование скорости обучения (Step, Cosine Annealing, Warmup) — незаменимая техника для обучения больших моделей — при обучении GPT-3 использовалась стратегия линейного разогрева + косинусного затухания.
Компромисс размера батча в SGD
Full-batch GD: использует все данные для вычисления точных градиентов, медленно, но стабильно; SGD (batch_size=1): рассматривает только один образец за раз, быстро, но оценки градиента шумные; Mini-batch SGD: компромисс (batch_size=32/64/128), с умеренным шумом, который на самом деле помогает выйти из локальных оптимумов — это стандартная практика в реальном обучении.
Ограничения градиентного спуска
Градиентный спуск находит точки, где градиент равен нулю — это могут быть глобальные оптимумы, локальные оптимумы или седловые точки. В многомерных пространствах седловые точки встречаются гораздо чаще, чем локальные оптимумы: точка является минимумом в одних направлениях и максимумом в других. Адаптивные оптимизаторы, такие как Adam, могут более эффективно выходить из седловых точек.
Другие расширения