Поиск минимума функции с помощью производных

Используйте численные разности для оценки производной и шаг за шагом двигайтесь в противоположном направлении от производной, чтобы интуитивно почувствовать, что «производная задаёт направление поиска».

После завершения этого примера вы поймёте:Производная показывает, в каком направлении значение функции возрастает; движение в противоположном направлении уменьшает его — это прототип градиентного спуска.


Введение на примере из жизни

Спуск с горы в густом тумане

В густом тумане, где не видно собственной руки перед лицом, вам нужно пройти с вершины горы в долину. Вы не видите общий рельеф; вы можете только ощущать наклон под ногами. Ваша стратегия проста: ощутить направление самого крутого склона → сделать маленький шаг в сторону самого крутого спуска → остановиться → снова ощутить → сделать ещё один маленький шаг.

«Ощущение наклона» — это вычисление производной, а «маленький шаг» — это обновление позиции с использованием направления, противоположного производной.Этот метод не требует знания формы всей горы; нужно лишь знать наклон под ногами.


Интуитивное понимание

Для функции \(f(x) = (x-3)^2 + 2\), минимум достигается при \(x=3\), а минимальное значение равно \(f(3) = 2\).

Начиная с \(x=10\), как попасть в \(x=3\)? Не нужно решать уравнение; нужна лишь стратегия:

  • Если производная \(f'(x) > 0\) (функция возрастает), двигайтесь влево (уменьшайте x).
  • Если производная \(f'(x) < 0\) (функция убывает), двигайтесь вправо (увеличивайте x).
  • Чем больше абсолютное значение производной, тем круче наклон, поэтому можно сделать более крупный шаг.

Математическое определение

Численная производная (центральная разность)

\[ f'(x) \approx \frac{f(x+h) - f(x-h)}{2h} \]

Не нужно выводить формулу дифференцирования. Используйте разность значений функции в двух очень близких точках, делённую на расстояние, чтобы получить приближение производной. Возьмите \(h\) как чрезвычайно малое число, например \(10^{-5}\).

Наивный алгоритм спуска

\[ x_{t+1} = x_t - \eta \cdot f'(x_t) \]

Здесь \(\eta\) — размер шага (скорость обучения), который определяет, насколько большим будет каждый шаг.


Практическое занятие по Python

Пример

import numpy as np

# Целевая функция: f(x) = (x-3)^2 + 2, минимум при x=3
def f(x):
    return (x - 3) ** 2 + 2

# Численная производная — используем центральную разность, не полагаясь на символьное дифференцирование
def numerical_derivative(f, x, h=1e-5):
    """Оцените производную f в точке x."""
    return (f(x + h) - f(x - h)) / (2 * h)

# Наивный алгоритм спуска: двигаться в направлении, противоположном производной
x = 10.0          # Начальная точка, намеренно выбранная далеко от оптимальной точки
step_size = 0.1   # Размер шага для каждого перемещения
history = [x]

for i in range(50):
    grad = numerical_derivative(f, x)
    x = x - step_size * grad  # Если производная положительна, двигаться влево; если отрицательна — вправо
    history.append(x)

print("ПРИМЕР Результат алгоритма спуска:")
print(f"Начальная точка x = {history[0]:.1f}")
print(f"Конечная точка x = {history[-1]:.4f} (истинная точка минимума x=3)")
print(f"Конечная точка f(x) = {f(history[-1]):.4f} (истинный минимум f(3)=2)")

print("\nПРИМЕР первые 10 шагов траектории движения:")
print(f"{'Шаг':<6} {'x':<10} {'f(x)':<10} {'Производная':<10} {'Направление'}")
for i, xi in enumerate(history[:10]):
    grad = numerical_derivative(f, xi)
    direction = Влево if grad > 0 else Вправо
    print(f"{i:<6} {xi:<10.4f} {f(xi):<10.4f} {grad:<10.4f} {direction}")
EXAMPLE 下山算法结果:
起点 x = 10.0
终点 x = 3.0000  (真实最小值点 x=3)
终点 f(x) = 2.0000  (真实最小值 f(3)=2)

EXAMPLE 前 10 步移动轨迹:
步数   x          f(x)       导数       方向
0      10.0000    51.0000    14.0000    往左
1      8.6000     33.3600    11.2000    往左
2      7.4800     22.0704    8.9600     往左
3      6.5840     14.8042    7.1680     往左
4      5.8672     10.1942    5.7344     往左

Сценарии применения в ИИ

СценарийСвязь с этим случаем
Обучение методом градиентного спускаСуть обучения нейронной сети: использование частной производной функции потерь по каждому параметру для управления направлением обновления параметров
Численная проверка градиентаПри отладке обратного распространения используйте численные градиенты для проверки корректности аналитических градиентов — это в точности метод центральной разности в данном случае.
Поиск гиперпараметровМетоды настройки, такие как байесовская оптимизация, также ищут минимум на неизвестной поверхности функции вдоль направления "производной".
Другие расширения