Введение в производную -- мгновенная скорость изменения и касательная

Производная = мгновенная скорость изменения функции в точке = наклон касательной в этой точке.

Понимание производной помогает понять, почему градиентный спуск движется в противоположном направлении.


От средней скорости изменения к мгновенной скорости изменения

Средняя скорость изменения (наклон секущей) → Δx становится всё меньше и меньше → секущая превращается в касательную →Производная = наклон касательной。

Знак производной раскрывает поведение функции

f'(x) > 0

Функция здесь возрастает

Касательная наклонена вверх вправо

f'(x) < 0

Функция здесь убывает

Касательная наклонена вниз вправо

f'(x) = 0

Горизонтально — возможно, экстремум

Касательная горизонтальна

Интуиция, стоящая за градиентным спуском, заключается в знаке производной:

f'(x) > 0 → функция возрастает → двигайтесь в противоположном направлении. f'(x) < 0 → функция убывает → продолжайте двигаться в этом направлении.

Это корень 'направления отрицательного градиента'.


Пример из реальной жизни

Спидометр = производная функции положения

Вся поездка составила 120 km и заняла 2 часа → средняя скорость 60 km/h.

Но мгновенная скорость на приборной панели постоянно меняется. Эта 'скорость в данный момент' является производной функции расстояния по времени.


Математическое определение

\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]

Если этот предел существует, f дифференцируема в точке x.


Практическое занятие по Python

Пример

import numpy as np

def numerical_derivative(f, x, h=1e-5):
    return (f(x + h) - f(x - h)) / (2 * h)

f = lambda x: x**2

# f'(2) = 2*2 = 4
print(f"f'(2) value={numerical_derivative(f, 2):.6f}, theoretical=4")

# Производная в каждой точке
for x in [-2, -1, 0, 1, 2]:
    d = numerical_derivative(f, x)
    dir = убывает if d < 0 else (возрастает if d > 0 else горизонтально)
    print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4
x=-2, f'(x)= -4.0, 下降
x=-1, f'(x)= -2.0, 下降
x= 0, f'(x)=  0.0, 水平
x= 1, f'(x)=  2.0, 上升
x= 2, f'(x)=  4.0, 上升

Сценарии применения в ИИ

Одномерный прототип градиентного спуска

Для функции одной переменной градиентный спуск сводится к \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \). Производная показывает, в каком направлении значение функции убывает — если производная положительна, двигайтесь влево; если отрицательна — вправо.

Производная функции активации определяет эффективность обратного распространения

Производная ReLU равна 1 при x > 0 и 0 при x ≤ 0. Она чрезвычайно быстро вычисляется, и градиент не затухает в положительной области — это ключевая причина, по которой ReLU лучше подходит для глубоких сетей, чем Sigmoid. Максимальная производная Sigmoid составляет всего 0.25, и после перемножения на нескольких слоях градиент экспоненциально затухает (проблема исчезающего градиента).

Производная функции потерь равна нулю в оптимальном решении

Когда модель сходится к локальному оптимуму, частные производные функции потерь по всем параметрам близки к 0 — градиентный спуск естественно останавливается. Это сигнал сходимости обучения: норма градиента ||\nabla J|| \approx 0.


Другие расширения