Поиск минимума функции с помощью производных
Используйте численные разности для оценки производной и шаг за шагом двигайтесь в противоположном направлении от производной, чтобы интуитивно почувствовать, что «производная задаёт направление поиска».
После завершения этого примера вы поймёте:Производная показывает, в каком направлении значение функции возрастает; движение в противоположном направлении уменьшает его — это прототип градиентного спуска.
Введение на примере из жизни
Спуск с горы в густом тумане
В густом тумане, где не видно собственной руки перед лицом, вам нужно пройти с вершины горы в долину. Вы не видите общий рельеф; вы можете только ощущать наклон под ногами. Ваша стратегия проста: ощутить направление самого крутого склона → сделать маленький шаг в сторону самого крутого спуска → остановиться → снова ощутить → сделать ещё один маленький шаг.
«Ощущение наклона» — это вычисление производной, а «маленький шаг» — это обновление позиции с использованием направления, противоположного производной.Этот метод не требует знания формы всей горы; нужно лишь знать наклон под ногами.
Интуитивное понимание
Для функции \(f(x) = (x-3)^2 + 2\), минимум достигается при \(x=3\), а минимальное значение равно \(f(3) = 2\).
Начиная с \(x=10\), как попасть в \(x=3\)? Не нужно решать уравнение; нужна лишь стратегия:
- Если производная \(f'(x) > 0\) (функция возрастает), двигайтесь влево (уменьшайте x).
- Если производная \(f'(x) < 0\) (функция убывает), двигайтесь вправо (увеличивайте x).
- Чем больше абсолютное значение производной, тем круче наклон, поэтому можно сделать более крупный шаг.
Математическое определение
Численная производная (центральная разность)
\[ f'(x) \approx \frac{f(x+h) - f(x-h)}{2h} \]Не нужно выводить формулу дифференцирования. Используйте разность значений функции в двух очень близких точках, делённую на расстояние, чтобы получить приближение производной. Возьмите \(h\) как чрезвычайно малое число, например \(10^{-5}\).
Наивный алгоритм спуска
\[ x_{t+1} = x_t - \eta \cdot f'(x_t) \]Здесь \(\eta\) — размер шага (скорость обучения), который определяет, насколько большим будет каждый шаг.
Практическое занятие по Python
Пример
# Целевая функция: f(x) = (x-3)^2 + 2, минимум при x=3
def f(x):
return (x - 3) ** 2 + 2
# Численная производная — используем центральную разность, не полагаясь на символьное дифференцирование
def numerical_derivative(f, x, h=1e-5):
"""Оцените производную f в точке x."""
return (f(x + h) - f(x - h)) / (2 * h)
# Наивный алгоритм спуска: двигаться в направлении, противоположном производной
x = 10.0 # Начальная точка, намеренно выбранная далеко от оптимальной точки
step_size = 0.1 # Размер шага для каждого перемещения
history = [x]
for i in range(50):
grad = numerical_derivative(f, x)
x = x - step_size * grad # Если производная положительна, двигаться влево; если отрицательна — вправо
history.append(x)
print("ПРИМЕР Результат алгоритма спуска:")
print(f"Начальная точка x = {history[0]:.1f}")
print(f"Конечная точка x = {history[-1]:.4f} (истинная точка минимума x=3)")
print(f"Конечная точка f(x) = {f(history[-1]):.4f} (истинный минимум f(3)=2)")
print("\nПРИМЕР первые 10 шагов траектории движения:")
print(f"{'Шаг':<6} {'x':<10} {'f(x)':<10} {'Производная':<10} {'Направление'}")
for i, xi in enumerate(history[:10]):
grad = numerical_derivative(f, xi)
direction = Влево if grad > 0 else Вправо
print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
EXAMPLE 下山算法结果: 起点 x = 10.0 终点 x = 3.0000 (真实最小值点 x=3) 终点 f(x) = 2.0000 (真实最小值 f(3)=2) EXAMPLE 前 10 步移动轨迹: 步数 x f(x) 导数 方向 0 10.0000 51.0000 14.0000 往左 1 8.6000 33.3600 11.2000 往左 2 7.4800 22.0704 8.9600 往左 3 6.5840 14.8042 7.1680 往左 4 5.8672 10.1942 5.7344 往左
Сценарии применения в ИИ
| Сценарий | Связь с этим случаем |
|---|---|
| Обучение методом градиентного спуска | Суть обучения нейронной сети: использование частной производной функции потерь по каждому параметру для управления направлением обновления параметров |
| Численная проверка градиента | При отладке обратного распространения используйте численные градиенты для проверки корректности аналитических градиентов — это в точности метод центральной разности в данном случае. |
| Поиск гиперпараметров | Методы настройки, такие как байесовская оптимизация, также ищут минимум на неизвестной поверхности функции вдоль направления "производной". |