Визуализируйте влияние различных скоростей обучения.

Для одной и той же функции запустите градиентный спуск со слишком маленькой, подходящей и слишком большой скоростью обучения и непосредственно увидите сравнение трёх типичных кривых.

После завершения этого примера вы поймёте:Скорость обучения — самый важный гиперпараметр в градиентном спуске: если задать её слишком маленькой, обучение идёт слишком медленно; если слишком большой, метод расходится.


Введение из жизни

Дорога домой — как сильно нужно нажимать на газ?

До дома 10 километров. Слишком слабо нажимаете на газ (скорость обучения слишком мала) — едете час и всё ещё не приехали. Слишком сильно нажимаете на газ (скорость обучения слишком велика) — проскакиваете, разворачиваетесь и снова давите на газ, снова проскакиваете, колеблетесь туда-сюда. Нужное усилие нажатия (подходящая скорость обучения) — плавно приезжаете.

Выбор скорости обучения в градиентном спуске и управление газом при вождении сталкиваются с совершенно одинаковой проблемой.


Интуитивное понимание.

Целевая функция \(f(x) = x^2\), с минимумом в \(x=0\). Градиент равен \(f'(x) = 2x\).

Правило обновления: \(x_{t+1} = x_t - \eta \cdot 2x_t = x_t \cdot (1 - 2\eta)\). Если \(\eta < 0.5\), оно сходится; если \(\eta > 1.0\), расходится.

lr=0.01 слишком мал Сходимость крайне медленная; после 30 шагов он сдвинулся лишь на небольшое расстояние.
Подходящее значение lr=0.2 Быстрая и стабильная сходимость к 0.
Скорость обучения слишком велика, lr=1.05 Колеблется и расходится, уходя всё дальше и дальше.

Практическое занятие по Python

пример

import numpy as np

def f(x): return x ** 2
def grad(x): return 2 * x

def run_gd(lr, steps=30, x0=8.0):
    x = x0
    history = [x]
    for _ in range(steps):
        x = x - lr * grad(x)
        history.append(x)
        if abs(x) > 1e6: break
    return history

настройки = {
    Слишком маленькое значение (lr=0.01): 0.01,
    Подходящий (lr=0.2):  0.2,
    Слишком большой (lr=1.05): 1.05,
}
results = {name: run_gd(lr) for name, lr in settings.items()}

print(ПРИМЕР сравнения трёх скоростей обучения после 30 шагов:\n")
print(f{'Настройка скорости обучения':<20} {'Итоговый x':<12} {'f(x)':<14} {'Вердикт'})
print("-" * 56)
for name, hist in results.items():
    x_final = hist[-1]
    judgement = (Сошёлся if abs(x_final) < 0.01
                 else Сходится if abs(x_final) < 3
                 else Расходится)
    print(f"{name:<20} {x_final:<12.4f} {f(x_final):<14.6f} {judgement}")

# Анализ: сколько шагов нужно, чтобы добиться |x| < 0.01?
print("\nСколько шагов требуется EXAMPLE, чтобы сойтись к |x| < 0.01?)
for name, lr in settings.items():
    x = 8.0
    for step in range(1, 1001):
        x = x - lr * grad(x)
        if abs(x) < 0.01:
            print(f{name}: требуется {step} шагов)
            break
    else:
        print(f{name}: не удалось сойтись за 1000 шагов)
EXAMPLE 三种学习率 30 步后对比:

学习率设置             最终 x        f(x)           判断
--------------------------------------------------------
过小 (lr=0.01)        4.3219       18.678861      收敛中
合适 (lr=0.2)         0.0000       0.000000       已收敛
过大 (lr=1.05)        -34.5929     1196.668701    发散

EXAMPLE 需要多少步收敛到 |x| < 0.01?
  过小 (lr=0.01): 需要 377 步
  合适 (lr=0.2):  需要 20 步
  过大 (lr=1.05): 1000 步内无法收敛

Сценарии применения в ИИ

sceneОбъяснение
Планирование скорости обученияВ реальном обучении обычно используется "затухание скорости обучения" — сначала большая, затем маленькая: быстрая сходимость на раннем этапе и тонкая настройка на позднем этапе.
РазогревПри обучении Transformer сначала выполняют разогрев с очень маленькой скоростью обучения, затем постепенно увеличивают её — чтобы избежать начальных колебаний.
Адаптивный AdamАвтоматически настраивает скорость обучения для каждого параметра — в разделе "Сравнение оптимизаторов" это будет подробно показано.
Другие расширения