Градиент -- указывает направление наискорейшего возрастания функции.
Градиент указывает направление, в котором значение функции возрастает быстрее всего, поэтому градиентный спуск движется в направлении отрицательного градиента.
Градиент — это ключевое понятие всего процесса обучения ИИ — каждый шаг обновления, выполняемый оптимизатором, опирается на градиент.
Анализ концепции
Градиент = вектор, составленный из частных производных
\[ \nabla f(x, y) = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) \]Направление градиента
Указывает в направлении наискорейшего подъёма
Хотите идти в гору → следуйте градиенту
Направление отрицательного градиента
Указывает в направлении наискорейшего спуска
Хотите идти вниз → следуйте отрицательному градиенту
Величина градиента
Крутизна этого направления
Градиент равен нулю → экстремум или седловая точка
Отрицательный знак в формуле обновления \( \theta = \theta - \eta \nabla J \) означает «двигаться в противоположном направлении (вниз)».
Если забыть про отрицательный знак, это станет градиентным подъёмом, и значение функции потерь будет становиться всё больше и больше.
Повседневные примеры
Спуск с горы в туманный день
Вы стоите на горе, окутанной туманом. Чтобы спуститься как можно быстрее, вы ощущаете, какое направление под ногами самое крутое, и затем делаете шаг в самом крутом направлении вниз.
Повторяйте непрерывно: почувствовать → шаг → почувствовать → шаг. Это физическая интуиция градиентного спуска.
Градиент указывает «самое крутое направление», а знак минус говорит «идти вниз».
Математическое определение
\[ \nabla f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix} \]Производная по направлению вдоль u: \( \nabla f \cdot \mathbf{u} = \|\nabla f\| \cos\theta \). Когда u и градиент сонаправлены, достигается максимум.
Практика на Python
Пример
def f(x, y):
return x**2 + y**2 # Функция в форме чаши
def grad(x, y):
return np.array([2*x, 2*y])
pt = np.array([1.5, 1.0])
g = grad(*pt)
print(fВ точке (1.5, 1.0): градиент = {g})
print(fНорма градиента = {np.linalg.norm(g):.2f})
print(fГрадиент указывает от начала координат (подъём), а отрицательный градиент указывает к началу координат (спуск))
Интерактивная 3D-визуализация поверхности потерь
Ниже мы используем Plotly.js, чтобы построить 3D-поверхность \( f(x,y)=x^2+y^2 \), чтобы интуитивно почувствовать направление градиента:
Сценарии применения в ИИ
Ключевой вход для обучения градиентным спуском
Каждое обновление параметра \( \theta = \theta - \eta \nabla_\theta J \) зависит от градиента. Градиент сообщает каждому параметру «увеличиться или уменьшиться и на сколько». В PyTorch loss.backward() вычисляет градиент, а optimizer.step() использует градиент для обновления параметров.
Исчезающие и взрывающиеся градиенты
В глубоких сетях во время обратного распространения градиент может становиться всё меньше (исчезать, из-за чего мелкие слои ничему не учатся) или всё больше (взрываться, из-за чего обновления параметров становятся слишком большими и расходятся). Остаточные связи ResNet (тождественный шорткат) предназначены для смягчения исчезновения градиента — давая градиенту «шоссе», которое ведёт напрямую к мелким слоям.
Отсечение градиента
При обучении RNN и больших языковых моделей часто применяется отсечение градиента: если L2-норма градиента превышает порог, она масштабируется до размера порога. Это практичный приём для предотвращения взрыва градиента; стандартная практика при обучении GPT — clip_grad_norm_=1.0.
Практическое значение визуализации градиентов
Такие инструменты, как TensorBoard и W&B, могут визуализировать распределение градиентов в каждом слое. Если градиент слоя почти равен нулю → исчезновение градиента; если норма градиента составляет сотни или больше → взрыв градиента. Это информация из первых рук для отладки процесса обучения моделей глубокого обучения.
Другие расширения