Введение в производную -- мгновенная скорость изменения и касательная
Производная = мгновенная скорость изменения функции в точке = наклон касательной в этой точке.
Понимание производной помогает понять, почему градиентный спуск движется в противоположном направлении.
От средней скорости изменения к мгновенной скорости изменения
Средняя скорость изменения (наклон секущей) → Δx становится всё меньше и меньше → секущая превращается в касательную →Производная = наклон касательной。
Знак производной раскрывает поведение функции
f'(x) > 0
Функция здесь возрастает
Касательная наклонена вверх вправо
f'(x) < 0
Функция здесь убывает
Касательная наклонена вниз вправо
f'(x) = 0
Горизонтально — возможно, экстремум
Касательная горизонтальна
Интуиция, стоящая за градиентным спуском, заключается в знаке производной:
f'(x) > 0 → функция возрастает → двигайтесь в противоположном направлении. f'(x) < 0 → функция убывает → продолжайте двигаться в этом направлении.
Это корень 'направления отрицательного градиента'.
Пример из реальной жизни
Спидометр = производная функции положения
Вся поездка составила 120 km и заняла 2 часа → средняя скорость 60 km/h.
Но мгновенная скорость на приборной панели постоянно меняется. Эта 'скорость в данный момент' является производной функции расстояния по времени.
Математическое определение
\[ f'(x) = \lim_{\Delta x \to 0} \frac{f(x + \Delta x) - f(x)}{\Delta x} \]Если этот предел существует, f дифференцируема в точке x.
Практическое занятие по Python
Пример
def numerical_derivative(f, x, h=1e-5):
return (f(x + h) - f(x - h)) / (2 * h)
f = lambda x: x**2
# f'(2) = 2*2 = 4
print(f"f'(2) value={numerical_derivative(f, 2):.6f}, theoretical=4")
# Производная в каждой точке
for x in [-2, -1, 0, 1, 2]:
d = numerical_derivative(f, x)
dir = убывает if d < 0 else (возрастает if d > 0 else горизонтально)
print(f"x={x:2d}, f'(x)={d:5.1f}, {dir}")
f'(2) 数值=4.000000, 理论=4 x=-2, f'(x)= -4.0, 下降 x=-1, f'(x)= -2.0, 下降 x= 0, f'(x)= 0.0, 水平 x= 1, f'(x)= 2.0, 上升 x= 2, f'(x)= 4.0, 上升
Сценарии применения в ИИ
Одномерный прототип градиентного спуска
Для функции одной переменной градиентный спуск сводится к \( x_{new} = x_{old} - \eta \cdot f'(x_{old}) \). Производная показывает, в каком направлении значение функции убывает — если производная положительна, двигайтесь влево; если отрицательна — вправо.
Производная функции активации определяет эффективность обратного распространения
Производная ReLU равна 1 при x > 0 и 0 при x ≤ 0. Она чрезвычайно быстро вычисляется, и градиент не затухает в положительной области — это ключевая причина, по которой ReLU лучше подходит для глубоких сетей, чем Sigmoid. Максимальная производная Sigmoid составляет всего 0.25, и после перемножения на нескольких слоях градиент экспоненциально затухает (проблема исчезающего градиента).
Производная функции потерь равна нулю в оптимальном решении
Когда модель сходится к локальному оптимуму, частные производные функции потерь по всем параметрам близки к 0 — градиентный спуск естественно останавливается. Это сигнал сходимости обучения: норма градиента ||\nabla J|| \approx 0.
Другие расширения