Основные правила дифференцирования — степенная, показательная и логарифмическая функции
В предыдущей главе мы разобрались со смыслом производных. В этой главе мы осваиваем практические вычисления. Три наиболее часто используемых типа правил дифференцирования в ИИ — запомните их, и вы сможете справиться с большинством сценариев.
Краткая справочная таблица производных основных функций
| Функция f(x) | Производная f'(x) | Сценарии в ИИ |
|---|---|---|
| \( c \) (константа) | \( 0 \) | Константа исчезает при дифференцировании члена смещения |
| \( x^n \) | \( nx^{n-1} \) | \( x^2 \) в функции потерь MSE |
| \( e^x \) | \( e^x \) | Sigmoid, Softmax |
| \( \ln x \) | \( \frac{1}{x} \) | Кросс-энтропийная потеря |
Правила дифференцирования для четырёх арифметических операций
| Правило | Формула |
|---|---|
| Сумма/разность | \( (f \pm g)' = f' \pm g' \) |
| Продукт | \( (fg)' = f'g + fg' \) |
| Умножение на скаляр | \( (cf)' = cf' \) |
Самая важная производная:\( (e^x)' = e^x \)— производная экспоненциальной функции равна самой себе.
Это делает экспоненциальную функцию вездесущей в дифференциальных уравнениях и глубоком обучении.
Повседневные примеры
Изучение правил дифференцирования похоже на освоение навыков владения ножом в кулинарии — каждое правило — это базовый навык, а их сочетание позволяет справиться с любым рецептом.
\( (e^x)' = e^x \) — как неизменный ингредиент: как его ни обрабатывай, он всегда остаётся тем же.
Математическое определение
Дифференцирование степенной функции: уменьшите показатель степени на единицу и умножьте на исходный показатель
\[ \frac{d}{dx} x^n = n x^{n-1} \]Это самая базовая формула дифференцирования. Например, \( (x^2)' = 2x \), \( (x^3)' = 3x^2 \).
В MSE-потере \( (y - \hat{y})^2 \) — это степенная функция; её дифференцирование даёт \( 2(y - \hat{y}) \).
Дифференцирование экспоненциальной функции: производная равна самой себе.
\[ \frac{d}{dx} e^x = e^x \]Это одна из самых уникальных функций в математике.Производная e^x по-прежнему равна e^x — сколько бы раз её ни дифференцировать, она остаётся той же.
Благодаря этому свойству e^x многократно появляется в сигмоидной функции \( \sigma(x) = 1/(1+e^{-x}) \) и Softmax.
Дифференцирование логарифмической функции
\[ \frac{d}{dx} \ln x = \frac{1}{x} \]Производная логарифмического члена в функции потерь кросс-энтропии использует это. Производные логарифма и экспоненты являются обратными величинами — эти функции взаимно обратны.
Правило суммы и разности
\[ (f \pm g)' = f' \pm g' \]Производная суммы = сумма производных. Операция дифференцирования может «проходить через» знаки плюс и минус, дифференцируя каждый член отдельно.
Правило произведения
\[ (f \cdot g)' = f' \cdot g + f \cdot g' \]Производная произведения ≠ произведению производных. Вместо этого она равна «производная первого, умноженная на второе, плюс первое, умноженное на производную второго».
Это правило часто встречается при обратном распространении — когда вычисляется частная производная \( w \cdot x \) по w, используется правило произведения.
Комбинируя эти три типа функций и три правила, можно находить производные подавляющего большинства функций в ИИ.
Например, производная сигмоиды \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \) получается путём совместного применения правила частного, дифференцирования экспоненциальной функции и правила цепочки.
Python на практике
Пример
x = sp.Symbol('x')
funcs = {'x^3': x**3, 'e^x': sp.exp(x), 'ln(x)': sp.log(x),
'x^2 + 3x + 5': x**2 + 3*x + 5}
print("=== Проверка символьного дифференцирования ===")
for name, f in funcs.items():
print(f"f(x)={name:15s} → f'(x)={sp.diff(f, x)}")
# Правило произведения
f = x**2 * sp.exp(x)
print(f"\n(x^2 · e^x)' = {sp.diff(f, x)}")
# Правило цепочки: производная от (2x+1)^3
g = (2*x + 1)**3
print(f"((2x+1)^3)' = {sp.diff(g, x)}")
Сценарии применения в ИИ
Вычисление градиента в обратном распространении
Каждый слой нейронной сети задействует эти базовые правила дифференцирования. Линейный слой y = Wx + b использует правило произведения для производной по параметру W, а для b — тот факт, что производная константы равна 0.
Вывод производной функции активации Sigmoid
\( \sigma(x) = 1/(1+e^{-x}) \), применение правила частного даёт \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \). Эта компактная форма чрезвычайно быстро вычисляется при обратном распространении — ей нужно только значение \sigma(x), уже вычисленное во время прямого распространения, и не нужно заново вычислять экспоненту.
Совместный градиент Softmax + кросс-энтропии
Softmax включает экспоненты, суммирование и деление, и дифференцировать его отдельно сложно. Но в сочетании с кросс-энтропийной потерей градиент чудесным образом упрощается до \( \hat{y} - y \) (предсказание - истинная метка) — это одно из самых элегантных упрощений производных в глубоком обучении и фундаментальная причина, по которой Softmax+CE является стандартом для задач классификации.
Другие расширения