Частные производные -- дифференцирование функций многих переменных по одной

Предыдущая производная была для функции одной переменной f(x). В нейронной сети миллионы параметров, и нам нужно взять производную по каждому параметру.

Частная производная = В функции нескольких переменных берётся производная только по одной переменной, а остальные считаются константами.


Анализ концепции

Ранее мы рассматривали только производную функции одной переменной f(x). Но в реальном мире результат обычно определяетсянесколькими факторамисовместно.

Например: цена дома зависит от нескольких факторов, таких как площадь, расположение, этаж и возраст. Если мы хотим узнать, «насколько увеличится цена дома, если площадь увеличится на 1 квадратный метр», нам нужно зафиксировать остальные факторы.

Это основная идея частных производных:Меняйте только одну переменную за раз, наблюдайте за её влиянием на результат и временно замораживайте остальные переменные.。

Для \( f(x, y) = x^2 + xy + y^2 \):

  • Возьмите частную производную по x (считайте y константой; так как y² — константа, её производная равна 0; в xy y считается константой, а производная от x равна 1): \( \frac{\partial f}{\partial x} = 2x + y + 0 \)
  • Возьмите частную производную по y (аналогично считайте x константой): \( \frac{\partial f}{\partial y} = 0 + x + 2y \)

Обозначение \( \partial \) (читается как «круглая d» или «частная») обозначает частную производную, в отличие от d в обычной производной.

Частные производные второго порядка

Взятие частной производной от частной производной даёт частную производную второго порядка:

  • \( \frac{\partial^2 f}{\partial x^2} \): Возьмите частную производную по x, затем снова возьмите частную производную по x (измеряет кривизну в направлении x).
  • \( \frac{\partial^2 f}{\partial x \partial y} \): сначала возьмите частную производную по x, затем по y (смешанная частная производная, измеряет эффект взаимодействия между двумя переменными).

Суть обучения нейронной сети: частная производная функции потерь покаждому параметруВычислите частные производные, затем обновляйте в направлении отрицательного градиента.

Модель с миллионом параметров имеет градиент, который является вектором из миллиона частных производных.


Повседневный пример

Вкус супа в кастрюле

Вкус супа зависит от соли, соевого соуса, уксуса и других приправ. Вы хотите узнать: «насколько изменится вкус, если добавить ещё одну ложку соли?»

Зафиксируйте количества других приправ и смотрите только на эффект соли — в этом идея частных производных:Изменяйте только одну переменную за раз。


Математическое определение

\[ \frac{\partial f}{\partial x} = \lim_{h \to 0} \frac{f(x+h, y) - f(x, y)}{h} \]

Оставьте y неизменным, изменяйте только x.


Практическое занятие по Python

Пример

import sympy as sp

x, y = sp.symbols('x y')
f = x**2 + x*y + y**2
print(f"f(x,y) = {f}")
print(f"∂f/∂x = {sp.diff(f, x)}")  # 2x + y
print(f"∂f/∂y = {sp.diff(f, y)}")  # x + 2y

# Частная производная второго порядка
print(f"∂²f/∂x² = {sp.diff(f, x, 2)}")      # 2
print(f"∂²f/∂x∂y = {sp.diff(f, x, y)}")     # 1

# Частная производная функции потерь линейной модели по параметрам
w, b, xi, yi = sp.symbols('w b x_i y_i')
loss = (w*xi + b - yi)**2
print(f"\nloss=(w·xi+b-yi)^2")
print(f"∂L/∂w = {sp.diff(loss, w)}")
print(f"∂L/∂b = {sp.diff(loss, b)}")

Вывод:

f(x,y) = x**2 + x*y + y**2
∂f/∂x = 2*x + y
∂f/∂y = x + 2*y
∂²f/∂x² = 2
∂²f/∂x∂y = 1

loss=(w·xi+b-yi)^2
∂L/∂w = 2*x_i*(b + w*x_i - y_i)
∂L/∂b = 2*b + 2*w*x_i - 2*y_i

Сценарии применения в ИИ

Обучение нейронной сети = миллионы вычислений частных производных

Модель с миллионом параметров имеет функцию потерь, которая является функцией от миллиона переменных. В каждом раунде обучения движок автоматического дифференцирования вычисляет частные производные покаждому параметрувычисляет частные производные, получает миллион значений частных производных, собранных в вектор градиента, и обновляет все параметры в направлении отрицательного градиента.

Локальные частные производные при обратном распространении

Каждый узел в графе вычислений должен вычислять локальные частные производные: для узла сложения \( \partial/\partial x = 1 \) (градиент передаётся без изменений), а для узла умножения \( \partial(xy)/\partial x = y \) (градиент умножается на значение другого операнда и передаётся обратно). Эти локальные частные производные перемножаются вдоль графа вычислений по правилу цепочки, чтобы получить окончательные градиенты параметров.

Трансферное обучение с замороженными параметрами

При трансферном обучении предобученные слои часто «замораживают» — для параметров этих слоёв не вычисляются частные производные, и они не обновляются. В PyTorch установите requires_grad=False, и вычисление частных производных для соответствующих параметров пропускается, что значительно экономит память и вычисления.


Другие расширения