Визуализируйте влияние различных скоростей обучения.
Для одной и той же функции запустите градиентный спуск со слишком маленькой, подходящей и слишком большой скоростью обучения и непосредственно увидите сравнение трёх типичных кривых.
После завершения этого примера вы поймёте:Скорость обучения — самый важный гиперпараметр в градиентном спуске: если задать её слишком маленькой, обучение идёт слишком медленно; если слишком большой, метод расходится.
Введение из жизни
Дорога домой — как сильно нужно нажимать на газ?
До дома 10 километров. Слишком слабо нажимаете на газ (скорость обучения слишком мала) — едете час и всё ещё не приехали. Слишком сильно нажимаете на газ (скорость обучения слишком велика) — проскакиваете, разворачиваетесь и снова давите на газ, снова проскакиваете, колеблетесь туда-сюда. Нужное усилие нажатия (подходящая скорость обучения) — плавно приезжаете.
Выбор скорости обучения в градиентном спуске и управление газом при вождении сталкиваются с совершенно одинаковой проблемой.
Интуитивное понимание.
Целевая функция \(f(x) = x^2\), с минимумом в \(x=0\). Градиент равен \(f'(x) = 2x\).
Правило обновления: \(x_{t+1} = x_t - \eta \cdot 2x_t = x_t \cdot (1 - 2\eta)\). Если \(\eta < 0.5\), оно сходится; если \(\eta > 1.0\), расходится.
Практическое занятие по Python
пример
def f(x): return x ** 2
def grad(x): return 2 * x
def run_gd(lr, steps=30, x0=8.0):
x = x0
history = [x]
for _ in range(steps):
x = x - lr * grad(x)
history.append(x)
if abs(x) > 1e6: break
return history
настройки = {
Слишком маленькое значение (lr=0.01): 0.01,
Подходящий (lr=0.2): 0.2,
Слишком большой (lr=1.05): 1.05,
}
results = {name: run_gd(lr) for name, lr in settings.items()}
print(ПРИМЕР сравнения трёх скоростей обучения после 30 шагов:\n")
print(f{'Настройка скорости обучения':<20} {'Итоговый x':<12} {'f(x)':<14} {'Вердикт'})
print("-" * 56)
for name, hist in results.items():
x_final = hist[-1]
judgement = (Сошёлся if abs(x_final) < 0.01
else Сходится if abs(x_final) < 3
else Расходится)
print(f"{name:<20} {x_final:<12.4f} {f(x_final):<14.6f} {judgement}")
# Анализ: сколько шагов нужно, чтобы добиться |x| < 0.01?
print("\nСколько шагов требуется EXAMPLE, чтобы сойтись к |x| < 0.01?)
for name, lr in settings.items():
x = 8.0
for step in range(1, 1001):
x = x - lr * grad(x)
if abs(x) < 0.01:
print(f{name}: требуется {step} шагов)
break
else:
print(f{name}: не удалось сойтись за 1000 шагов)
EXAMPLE 三种学习率 30 步后对比: 学习率设置 最终 x f(x) 判断 -------------------------------------------------------- 过小 (lr=0.01) 4.3219 18.678861 收敛中 合适 (lr=0.2) 0.0000 0.000000 已收敛 过大 (lr=1.05) -34.5929 1196.668701 发散 EXAMPLE 需要多少步收敛到 |x| < 0.01? 过小 (lr=0.01): 需要 377 步 合适 (lr=0.2): 需要 20 步 过大 (lr=1.05): 1000 步内无法收敛
Сценарии применения в ИИ
| scene | Объяснение |
|---|---|
| Планирование скорости обучения | В реальном обучении обычно используется "затухание скорости обучения" — сначала большая, затем маленькая: быстрая сходимость на раннем этапе и тонкая настройка на позднем этапе. |
| Разогрев | При обучении Transformer сначала выполняют разогрев с очень маленькой скоростью обучения, затем постепенно увеличивают её — чтобы избежать начальных колебаний. |
| Адаптивный Adam | Автоматически настраивает скорость обучения для каждого параметра — в разделе "Сравнение оптимизаторов" это будет подробно показано. |