Оптимизатор SciPy

SciPyoptimizeмодуль предоставляет реализации распространённых алгоритмов численной оптимизации и решения уравнений. Мы можем напрямую вызывать эти функции для решения практических задач, таких как нахождение минимума или максимума функции или нахождение корней уравнений.

Сам NumPy в основном ориентирован на вычисления с массивами и операции линейной алгебры. Он предоставляетинструменты для поиска корней многочленов(такие какnumpy.roots), но он не предоставляет универсальныйинтерфейс численного поиска корней нелинейных уравнений.

Например, следующее нелинейное уравнение:

x + cos(x)

Для таких задач можно использоватьscipy.optimize.rootфункцию для её решения. Два основных параметра, обычно используемых этой функцией, следующие:

  • fun- Функция, представляющая уравнение (возвращаемое значение 0 означает, что корень найден)
  • x0- Начальное приближение для корня

rootФункция возвращает объект результата (OptimizeResult), который содержит информацию, такую как статус решения, признак успеха, значение функции и итоговое решение.

Фактическое решение хранится вxатрибуте возвращённого объекта. Пример:

Пример

Найдитеx + cos(x) = 0корень уравнения:

from scipy.optimize import root
from math import cos

def eqn(x):
    return x + cos(x)

myroot = root(eqn, 0)

print(myroot.x)
# Просмотреть больше информации
# print(myroot)

Выполнение приведенного выше кода дает следующий вывод:

[-0.73908513]

Если вы выведете возвращённый объект напрямую, вы сможете просмотреть более полную информацию о решении:

Пример

from scipy.optimize import root
from math import cos

def eqn(x):
    return x + cos(x)

myroot = root(eqn, 0)

print(myroot)

Выполнение приведенного выше кода дает следующий вывод:

     fjac: array([[-1.]])
      fun: array([0.])
  message: 'The solution converged.'
     nfev: 9
      qtf: array([-2.66786593e-13])
        r: array([-1.67361202])
   status: 1
  success: True
        x: array([-0.73908513])

Где:

  • successУказывает, успешно ли сошёлся алгоритм
  • messageОписывает результат процесса решения
  • xИтоговый корень полученного уравнения

Функции минимизации

В задачах математики и инженерии функция обычно может быть представлена в виде кривой, и у кривой часто есть высокие и низкие точки.

Высокие точки кривой называютсямаксимумами。

Низкие точки кривой называютсяминимумами。

Самая высокая точка на всей кривой называетсяглобальным максимумом, а другие более высокие, но не самые высокие точки называютсялокальными максимумами。

Аналогично, самая низкая точка на всей кривой называетсяглобальным минимумом, а другие более низкие, но не самые низкие точки называютсялокальными минимумами。

В SciPy можно использовать функциюscipy.optimize.minimize()для нахождения минимума функции.

minimize()Ниже описаны часто используемые параметры функции:

  • fun- целевая функция, которую нужно минимизировать

  • x0- Начальное приближение для независимой переменной

  • method- Название используемого алгоритма оптимизации. Обычные возможные значения включают:'CG'、'BFGS'、'Newton-CG'、 'L-BFGS-B'、'TNC'、 'COBYLA'、'SLSQP'

  • callback- функция обратного вызова, вызываемая после каждой итерации

  • options- словарь других управляющих параметров, например:

    {
        "disp": boolean,  # 是否打印详细的优化过程信息
        "gtol": number    # 梯度收敛容差(部分算法适用)
    }

Пример

Используйте метод BFGS для минимизации функцииx² + x + 2:

from scipy.optimize import minimize

def eqn(x):
    return x**2 + x + 2

mymin = minimize(eqn, 0, method='BFGS')

print(mymin)

Выполнение приведенного выше кода дает следующий вывод:

       fun: 1.75
  hess_inv: array([[0.50000001]])
       jac: array([0.])
   message: 'Optimization terminated successfully.'
      nfev: 8
       nit: 2
      njev: 4
    status: 0
   success: True
         x: array([-0.50000001])

Из результата видно, что функция в точкеx ≈ -0.5достигает своего минимума, а соответствующее минимальное значение функции равно1.75, что согласуется с аналитическим результатом.

minimize()Функция также поддерживает задачи оптимизации с ограничениями. Вы можете добавить ограничения с помощьюconstraintsпараметра, указав ограничения равенства или неравенства, что подходит для более сложных практических сценариев применения.

Когда целевую функцию нельзя продифференцировать напрямую, вы можете выбратьmethod='Nelder-Mead'`Nelder-Mead` или другие алгоритмы оптимизации, не требующие информации о градиенте. Такие методы постепенно приближаются к оптимальному решению посредством симплексного поиска.

На практике,successполе `success` указывает, успешно ли завершилась оптимизация,funполе `fun` — это оптимальное значение целевой функции,xа поле `x` — это оптимальное решение.successРекомендуется всегда проверять статус `success`, чтобы убедиться в надежности решения.

Расширенный поиск корней

В дополнение кroot()функции, SciPy также предоставляетfsolve()функцию для решения корней уравнений. Она более лаконична и подходит для быстрого решения простых уравнений.

Пример

Используйтеfsolveчтобы решитьx + cos(x) = 0:

from scipy.optimize import fsolve
from math import cos

def eqn(x):
    return x + cos(x)

result = fsolve(eqn, 0)
print(result)

Выполнение приведенного выше кода дает следующий вывод:

[-0.73908513]

fsolve()Он напрямую возвращает массив решений, тогда какroot()последний возвращает объект результата, содержащий больше информации.fsolveПервый удобнее.

Решение с несколькими начальными значениями

Для уравнений с несколькими корнями, начиная с разных начальных значений, можно получить разные корни. Далее решаютсяx² - 4 = 0два корня:

Пример

from scipy.optimize import root

def eqn(x):
    return x**2 - 4

# Решение из разных начальных значений
for guess in [-3, 0, 3]:
    result = root(eqn, guess)
    if result.success:
        print(ff"Начальное значение {guess:2d} -> корень: {result.x)

Выполнение приведенного выше кода дает следующий вывод:

初始值 -3 -> 根: -2.000000
初始值  0 -> 根:  2.000000
初始值  3 -> 根:  2.000000

Решение уравнений с параметрами

В практических задачах уравнения часто содержат параметры. Мы можем передать дополнительные параметры в целевую функцию черезargsпараметр:

Пример

from scipy.optimize import root

def eqn(x, a, b):
    return a * x + b * cos(x)

# Решить 2x + cos(x) = 0
result = root(eqn, 0, args=(2, 1))
print(ff"Solution: {result.x)

Выполнение приведенного выше кода дает следующий вывод:

解: -0.450184

Условная оптимизация

minimize()Функция поддерживает добавление ограничений, включая ограничения-равенства и ограничения-неравенства. Вот пример задачи условной оптимизации:

Пример

Минимизироватьx² + y², при ограниченииx + y = 1:

from scipy.optimize import minimize

def objective(x):
    return x[0]**2 + x[1]**2

def constraint(x):
    return x[0] + x[1] - 1

# Определить ограничения
con = {'type': 'eq', 'fun': constraint}
result = minimize(objective, [0, 0], constraints=con)

print(ff"Оптимальное решение: x={result.x)
print(ff"Минимальное значение: {result.fun:.6f}")

Выполнение приведенного выше кода дает следующий вывод:

最优解: x=0.500000, y=0.500000
最小值: 0.500000

Типы ограничений'eq'Указывает ограничение-равенство (функция ограничения должна быть равна 0),'ineq'Указывает ограничение-неравенство (функция ограничения должна быть больше или равна 0).

Оптимизация с граничными ограничениями

Помимо функциональных ограничений, вы также можете использоватьboundsпараметр для ограничения диапазона значений независимой переменной:

Пример

Вx ∈ [0, 2]Минимизировать в пределах диапазона(x - 1)² + 2:

from scipy.optimize import minimize

def objective(x):
    return (x - 1)**2 + 2

# Определить границы
bounds = [(0, 2)]
result = minimize(objective, 0, bounds=bounds)

print(ff"Оптимальное решение: x={result.x)
print(ff"Минимальное значение: {result.fun:.6f}")

Выполнение приведенного выше кода дает следующий вывод:

最优解: x=1.000000
最小值: 2.000000

Безградиентная оптимизация

Когда целевая функция недифференцируема или её производная сложна для вычисления, можно использовать алгоритм оптимизации, не требующий информации о градиенте, напримерNelder-Meadметод:

Пример

Используйте метод Нелдера-Мида для минимизацииsin(x) + 0.5*x:

from scipy.optimize import minimize
from math import sin

def objective(x):
    return sin(x) + 0.5 * x

result = minimize(objective, 0, method='Nelder-Mead')
print(ff"Оптимальное решение: x={result.x)
print(ff"Минимальное значение: {result.fun:.6f}")
print(ff"Success: {result.success}")

Выполнение приведенного выше кода дает следующий вывод:

最优解: x=-1.047198
最小值: -1.523599
是否成功: True

Типичные проблемы и рекомендации

  • Выберите подходящее начальное значение- Выбор начального значения оказывает большое влияние на результат решения. Рекомендуется перед решением выполнить простую визуализацию или анализ целевой функции.
  • Проверьте состояние сходимости- Всегда проверяйтеsuccessПоле `success`, чтобы убедиться, что алгоритм успешно сошёлся. Если решение не удаётся, попробуйте изменить начальное значение или алгоритм оптимизации.
  • Выберите подходящий алгоритм- Для задач без ограничений,BFGS`BFGS` — хороший выбор по умолчанию; для задач большой размерности можно попробовать `L-BFGS-B`;L-BFGS-Bдля недифференцируемых функций используйте `Nelder-Mead`.Nelder-Mead。
  • Обработка нескольких корней- Для задач с несколькими корнями рекомендуется решать, начиная с нескольких различных начальных значений.
  • Передача параметров- Используйтеargsпараметр `args` для передачи дополнительных аргументов, избегая использования глобальных переменных.

Итог

SciPyoptimizeмодуль предоставляет мощные инструменты оптимизации и решения уравнений:

  • Поиск корней:root()иfsolve()для решения нелинейных уравнений
  • Безусловная оптимизация:minimize()в сочетании сmethodПараметр `method` для реализации нескольких алгоритмов
  • Оптимизация с ограничениями: с помощьюconstraintsПараметр `constraints` для добавления ограничений равенства и неравенства
  • Граничные ограничения: используйтеboundsПараметр ограничивает диапазон значений переменных
  • Безградиентные методы:Nelder-MeadПрименимы к недифференцируемым функциям

Освоив эти базовые функции, читатели могут дополнительно изучитьoptimizeДополнительные возможности модуля, такие как аппроксимация кривых (curve_fit), глобальная оптимизация (basinhopping、differential_evolution) и другие продвинутые возможности.

Другие расширения