Частные производные -- дифференцирование функций многих переменных по одной
Предыдущая производная была для функции одной переменной f(x). В нейронной сети миллионы параметров, и нам нужно взять производную по каждому параметру.
Частная производная = В функции нескольких переменных берётся производная только по одной переменной, а остальные считаются константами.
Анализ концепции
Ранее мы рассматривали только производную функции одной переменной f(x). Но в реальном мире результат обычно определяетсянесколькими факторамисовместно.
Например: цена дома зависит от нескольких факторов, таких как площадь, расположение, этаж и возраст. Если мы хотим узнать, «насколько увеличится цена дома, если площадь увеличится на 1 квадратный метр», нам нужно зафиксировать остальные факторы.
Это основная идея частных производных:Меняйте только одну переменную за раз, наблюдайте за её влиянием на результат и временно замораживайте остальные переменные.。
Для \( f(x, y) = x^2 + xy + y^2 \):
- Возьмите частную производную по x (считайте y константой; так как y² — константа, её производная равна 0; в xy y считается константой, а производная от x равна 1): \( \frac{\partial f}{\partial x} = 2x + y + 0 \)
- Возьмите частную производную по y (аналогично считайте x константой): \( \frac{\partial f}{\partial y} = 0 + x + 2y \)
Обозначение \( \partial \) (читается как «круглая d» или «частная») обозначает частную производную, в отличие от d в обычной производной.
Частные производные второго порядка
Взятие частной производной от частной производной даёт частную производную второго порядка:
- \( \frac{\partial^2 f}{\partial x^2} \): Возьмите частную производную по x, затем снова возьмите частную производную по x (измеряет кривизну в направлении x).
- \( \frac{\partial^2 f}{\partial x \partial y} \): сначала возьмите частную производную по x, затем по y (смешанная частная производная, измеряет эффект взаимодействия между двумя переменными).
Суть обучения нейронной сети: частная производная функции потерь покаждому параметруВычислите частные производные, затем обновляйте в направлении отрицательного градиента.
Модель с миллионом параметров имеет градиент, который является вектором из миллиона частных производных.
Повседневный пример
Вкус супа в кастрюле
Вкус супа зависит от соли, соевого соуса, уксуса и других приправ. Вы хотите узнать: «насколько изменится вкус, если добавить ещё одну ложку соли?»
Зафиксируйте количества других приправ и смотрите только на эффект соли — в этом идея частных производных:Изменяйте только одну переменную за раз。
Математическое определение
\[ \frac{\partial f}{\partial x} = \lim_{h \to 0} \frac{f(x+h, y) - f(x, y)}{h} \]Оставьте y неизменным, изменяйте только x.
Практическое занятие по Python
Пример
x, y = sp.symbols('x y')
f = x**2 + x*y + y**2
print(f"f(x,y) = {f}")
print(f"∂f/∂x = {sp.diff(f, x)}") # 2x + y
print(f"∂f/∂y = {sp.diff(f, y)}") # x + 2y
# Частная производная второго порядка
print(f"∂²f/∂x² = {sp.diff(f, x, 2)}") # 2
print(f"∂²f/∂x∂y = {sp.diff(f, x, y)}") # 1
# Частная производная функции потерь линейной модели по параметрам
w, b, xi, yi = sp.symbols('w b x_i y_i')
loss = (w*xi + b - yi)**2
print(f"\nloss=(w·xi+b-yi)^2")
print(f"∂L/∂w = {sp.diff(loss, w)}")
print(f"∂L/∂b = {sp.diff(loss, b)}")
Вывод:
f(x,y) = x**2 + x*y + y**2 ∂f/∂x = 2*x + y ∂f/∂y = x + 2*y ∂²f/∂x² = 2 ∂²f/∂x∂y = 1 loss=(w·xi+b-yi)^2 ∂L/∂w = 2*x_i*(b + w*x_i - y_i) ∂L/∂b = 2*b + 2*w*x_i - 2*y_i
Сценарии применения в ИИ
Обучение нейронной сети = миллионы вычислений частных производных
Модель с миллионом параметров имеет функцию потерь, которая является функцией от миллиона переменных. В каждом раунде обучения движок автоматического дифференцирования вычисляет частные производные покаждому параметрувычисляет частные производные, получает миллион значений частных производных, собранных в вектор градиента, и обновляет все параметры в направлении отрицательного градиента.
Локальные частные производные при обратном распространении
Каждый узел в графе вычислений должен вычислять локальные частные производные: для узла сложения \( \partial/\partial x = 1 \) (градиент передаётся без изменений), а для узла умножения \( \partial(xy)/\partial x = y \) (градиент умножается на значение другого операнда и передаётся обратно). Эти локальные частные производные перемножаются вдоль графа вычислений по правилу цепочки, чтобы получить окончательные градиенты параметров.
Трансферное обучение с замороженными параметрами
При трансферном обучении предобученные слои часто «замораживают» — для параметров этих слоёв не вычисляются частные производные, и они не обновляются. В PyTorch установите requires_grad=False, и вычисление частных производных для соответствующих параметров пропускается, что значительно экономит память и вычисления.
Другие расширения