Основные правила дифференцирования — степенная, показательная и логарифмическая функции

В предыдущей главе мы разобрались со смыслом производных. В этой главе мы осваиваем практические вычисления. Три наиболее часто используемых типа правил дифференцирования в ИИ — запомните их, и вы сможете справиться с большинством сценариев.


Краткая справочная таблица производных основных функций

Функция f(x)Производная f'(x)Сценарии в ИИ
\( c \) (константа)\( 0 \)Константа исчезает при дифференцировании члена смещения
\( x^n \)\( nx^{n-1} \)\( x^2 \) в функции потерь MSE
\( e^x \)\( e^x \)Sigmoid, Softmax
\( \ln x \)\( \frac{1}{x} \)Кросс-энтропийная потеря

Правила дифференцирования для четырёх арифметических операций

ПравилоФормула
Сумма/разность\( (f \pm g)' = f' \pm g' \)
Продукт\( (fg)' = f'g + fg' \)
Умножение на скаляр\( (cf)' = cf' \)

Самая важная производная:\( (e^x)' = e^x \)— производная экспоненциальной функции равна самой себе.

Это делает экспоненциальную функцию вездесущей в дифференциальных уравнениях и глубоком обучении.


Повседневные примеры

Изучение правил дифференцирования похоже на освоение навыков владения ножом в кулинарии — каждое правило — это базовый навык, а их сочетание позволяет справиться с любым рецептом.

\( (e^x)' = e^x \) — как неизменный ингредиент: как его ни обрабатывай, он всегда остаётся тем же.


Математическое определение

Дифференцирование степенной функции: уменьшите показатель степени на единицу и умножьте на исходный показатель

\[ \frac{d}{dx} x^n = n x^{n-1} \]

Это самая базовая формула дифференцирования. Например, \( (x^2)' = 2x \), \( (x^3)' = 3x^2 \).

В MSE-потере \( (y - \hat{y})^2 \) — это степенная функция; её дифференцирование даёт \( 2(y - \hat{y}) \).

Дифференцирование экспоненциальной функции: производная равна самой себе.

\[ \frac{d}{dx} e^x = e^x \]

Это одна из самых уникальных функций в математике.Производная e^x по-прежнему равна e^x — сколько бы раз её ни дифференцировать, она остаётся той же.

Благодаря этому свойству e^x многократно появляется в сигмоидной функции \( \sigma(x) = 1/(1+e^{-x}) \) и Softmax.

Дифференцирование логарифмической функции

\[ \frac{d}{dx} \ln x = \frac{1}{x} \]

Производная логарифмического члена в функции потерь кросс-энтропии использует это. Производные логарифма и экспоненты являются обратными величинами — эти функции взаимно обратны.

Правило суммы и разности

\[ (f \pm g)' = f' \pm g' \]

Производная суммы = сумма производных. Операция дифференцирования может «проходить через» знаки плюс и минус, дифференцируя каждый член отдельно.

Правило произведения

\[ (f \cdot g)' = f' \cdot g + f \cdot g' \]

Производная произведения ≠ произведению производных. Вместо этого она равна «производная первого, умноженная на второе, плюс первое, умноженное на производную второго».

Это правило часто встречается при обратном распространении — когда вычисляется частная производная \( w \cdot x \) по w, используется правило произведения.

Комбинируя эти три типа функций и три правила, можно находить производные подавляющего большинства функций в ИИ.

Например, производная сигмоиды \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \) получается путём совместного применения правила частного, дифференцирования экспоненциальной функции и правила цепочки.


Python на практике

Пример

import sympy as sp

x = sp.Symbol('x')
funcs = {'x^3': x**3, 'e^x': sp.exp(x), 'ln(x)': sp.log(x),
         'x^2 + 3x + 5': x**2 + 3*x + 5}

print("=== Проверка символьного дифференцирования ===")
for name, f in funcs.items():
    print(f"f(x)={name:15s} → f'(x)={sp.diff(f, x)}")

# Правило произведения
f = x**2 * sp.exp(x)
print(f"\n(x^2 · e^x)' = {sp.diff(f, x)}")
# Правило цепочки: производная от (2x+1)^3
g = (2*x + 1)**3
print(f"((2x+1)^3)' = {sp.diff(g, x)}")

Сценарии применения в ИИ

Вычисление градиента в обратном распространении

Каждый слой нейронной сети задействует эти базовые правила дифференцирования. Линейный слой y = Wx + b использует правило произведения для производной по параметру W, а для b — тот факт, что производная константы равна 0.

Вывод производной функции активации Sigmoid

\( \sigma(x) = 1/(1+e^{-x}) \), применение правила частного даёт \( \sigma'(x) = \sigma(x)(1-\sigma(x)) \). Эта компактная форма чрезвычайно быстро вычисляется при обратном распространении — ей нужно только значение \sigma(x), уже вычисленное во время прямого распространения, и не нужно заново вычислять экспоненту.

Совместный градиент Softmax + кросс-энтропии

Softmax включает экспоненты, суммирование и деление, и дифференцировать его отдельно сложно. Но в сочетании с кросс-энтропийной потерей градиент чудесным образом упрощается до \( \hat{y} - y \) (предсказание - истинная метка) — это одно из самых элегантных упрощений производных в глубоком обучении и фундаментальная причина, по которой Softmax+CE является стандартом для задач классификации.


Другие расширения