Оптимизатор SciPy
SciPyoptimizeмодуль предоставляет реализации распространённых алгоритмов численной оптимизации и решения уравнений. Мы можем напрямую вызывать эти функции для решения практических задач, таких как нахождение минимума или максимума функции или нахождение корней уравнений.
Сам NumPy в основном ориентирован на вычисления с массивами и операции линейной алгебры. Он предоставляетинструменты для поиска корней многочленов(такие какnumpy.roots), но он не предоставляет универсальныйинтерфейс численного поиска корней нелинейных уравнений.
Например, следующее нелинейное уравнение:
x + cos(x)
Для таких задач можно использоватьscipy.optimize.rootфункцию для её решения. Два основных параметра, обычно используемых этой функцией, следующие:
- fun- Функция, представляющая уравнение (возвращаемое значение 0 означает, что корень найден)
- x0- Начальное приближение для корня
rootФункция возвращает объект результата (OptimizeResult), который содержит информацию, такую как статус решения, признак успеха, значение функции и итоговое решение.
Фактическое решение хранится вxатрибуте возвращённого объекта. Пример:
Пример
Найдитеx + cos(x) = 0корень уравнения:
from math import cos
def eqn(x):
return x + cos(x)
myroot = root(eqn, 0)
print(myroot.x)
# Просмотреть больше информации
# print(myroot)
Выполнение приведенного выше кода дает следующий вывод:
[-0.73908513]
Если вы выведете возвращённый объект напрямую, вы сможете просмотреть более полную информацию о решении:
Пример
from math import cos
def eqn(x):
return x + cos(x)
myroot = root(eqn, 0)
print(myroot)
Выполнение приведенного выше кода дает следующий вывод:
fjac: array([[-1.]])
fun: array([0.])
message: 'The solution converged.'
nfev: 9
qtf: array([-2.66786593e-13])
r: array([-1.67361202])
status: 1
success: True
x: array([-0.73908513])
Где:
- successУказывает, успешно ли сошёлся алгоритм
- messageОписывает результат процесса решения
- xИтоговый корень полученного уравнения
Функции минимизации
В задачах математики и инженерии функция обычно может быть представлена в виде кривой, и у кривой часто есть высокие и низкие точки.
Высокие точки кривой называютсямаксимумами。
Низкие точки кривой называютсяминимумами。
Самая высокая точка на всей кривой называетсяглобальным максимумом, а другие более высокие, но не самые высокие точки называютсялокальными максимумами。
Аналогично, самая низкая точка на всей кривой называетсяглобальным минимумом, а другие более низкие, но не самые низкие точки называютсялокальными минимумами。
В SciPy можно использовать функциюscipy.optimize.minimize()для нахождения минимума функции.
minimize()Ниже описаны часто используемые параметры функции:
-
fun- целевая функция, которую нужно минимизировать
-
x0- Начальное приближение для независимой переменной
-
method- Название используемого алгоритма оптимизации. Обычные возможные значения включают:
'CG'、'BFGS'、'Newton-CG'、'L-BFGS-B'、'TNC'、'COBYLA'、'SLSQP' -
callback- функция обратного вызова, вызываемая после каждой итерации
-
options- словарь других управляющих параметров, например:
{ "disp": boolean, # 是否打印详细的优化过程信息 "gtol": number # 梯度收敛容差(部分算法适用) }
Пример
Используйте метод BFGS для минимизации функцииx² + x + 2:
def eqn(x):
return x**2 + x + 2
mymin = minimize(eqn, 0, method='BFGS')
print(mymin)
Выполнение приведенного выше кода дает следующий вывод:
fun: 1.75
hess_inv: array([[0.50000001]])
jac: array([0.])
message: 'Optimization terminated successfully.'
nfev: 8
nit: 2
njev: 4
status: 0
success: True
x: array([-0.50000001])
Из результата видно, что функция в точкеx ≈ -0.5достигает своего минимума, а соответствующее минимальное значение функции равно1.75, что согласуется с аналитическим результатом.
minimize()Функция также поддерживает задачи оптимизации с ограничениями. Вы можете добавить ограничения с помощьюconstraintsпараметра, указав ограничения равенства или неравенства, что подходит для более сложных практических сценариев применения.
Когда целевую функцию нельзя продифференцировать напрямую, вы можете выбратьmethod='Nelder-Mead'`Nelder-Mead` или другие алгоритмы оптимизации, не требующие информации о градиенте. Такие методы постепенно приближаются к оптимальному решению посредством симплексного поиска.
На практике,successполе `success` указывает, успешно ли завершилась оптимизация,funполе `fun` — это оптимальное значение целевой функции,xа поле `x` — это оптимальное решение.successРекомендуется всегда проверять статус `success`, чтобы убедиться в надежности решения.
Расширенный поиск корней
В дополнение кroot()функции, SciPy также предоставляетfsolve()функцию для решения корней уравнений. Она более лаконична и подходит для быстрого решения простых уравнений.
Пример
Используйтеfsolveчтобы решитьx + cos(x) = 0:
from math import cos
def eqn(x):
return x + cos(x)
result = fsolve(eqn, 0)
print(result)
Выполнение приведенного выше кода дает следующий вывод:
[-0.73908513]
fsolve()Он напрямую возвращает массив решений, тогда какroot()последний возвращает объект результата, содержащий больше информации.fsolveПервый удобнее.
Решение с несколькими начальными значениями
Для уравнений с несколькими корнями, начиная с разных начальных значений, можно получить разные корни. Далее решаютсяx² - 4 = 0два корня:
Пример
def eqn(x):
return x**2 - 4
# Решение из разных начальных значений
for guess in [-3, 0, 3]:
result = root(eqn, guess)
if result.success:
print(ff"Начальное значение {guess:2d} -> корень: {result.x)
Выполнение приведенного выше кода дает следующий вывод:
初始值 -3 -> 根: -2.000000 初始值 0 -> 根: 2.000000 初始值 3 -> 根: 2.000000
Решение уравнений с параметрами
В практических задачах уравнения часто содержат параметры. Мы можем передать дополнительные параметры в целевую функцию черезargsпараметр:
Пример
def eqn(x, a, b):
return a * x + b * cos(x)
# Решить 2x + cos(x) = 0
result = root(eqn, 0, args=(2, 1))
print(ff"Solution: {result.x)
Выполнение приведенного выше кода дает следующий вывод:
解: -0.450184
Условная оптимизация
minimize()Функция поддерживает добавление ограничений, включая ограничения-равенства и ограничения-неравенства. Вот пример задачи условной оптимизации:
Пример
Минимизироватьx² + y², при ограниченииx + y = 1:
def objective(x):
return x[0]**2 + x[1]**2
def constraint(x):
return x[0] + x[1] - 1
# Определить ограничения
con = {'type': 'eq', 'fun': constraint}
result = minimize(objective, [0, 0], constraints=con)
print(ff"Оптимальное решение: x={result.x)
print(ff"Минимальное значение: {result.fun:.6f}")
Выполнение приведенного выше кода дает следующий вывод:
最优解: x=0.500000, y=0.500000 最小值: 0.500000
Типы ограничений'eq'Указывает ограничение-равенство (функция ограничения должна быть равна 0),'ineq'Указывает ограничение-неравенство (функция ограничения должна быть больше или равна 0).
Оптимизация с граничными ограничениями
Помимо функциональных ограничений, вы также можете использоватьboundsпараметр для ограничения диапазона значений независимой переменной:
Пример
Вx ∈ [0, 2]Минимизировать в пределах диапазона(x - 1)² + 2:
def objective(x):
return (x - 1)**2 + 2
# Определить границы
bounds = [(0, 2)]
result = minimize(objective, 0, bounds=bounds)
print(ff"Оптимальное решение: x={result.x)
print(ff"Минимальное значение: {result.fun:.6f}")
Выполнение приведенного выше кода дает следующий вывод:
最优解: x=1.000000 最小值: 2.000000
Безградиентная оптимизация
Когда целевая функция недифференцируема или её производная сложна для вычисления, можно использовать алгоритм оптимизации, не требующий информации о градиенте, напримерNelder-Meadметод:
Пример
Используйте метод Нелдера-Мида для минимизацииsin(x) + 0.5*x:
from math import sin
def objective(x):
return sin(x) + 0.5 * x
result = minimize(objective, 0, method='Nelder-Mead')
print(ff"Оптимальное решение: x={result.x)
print(ff"Минимальное значение: {result.fun:.6f}")
print(ff"Success: {result.success}")
Выполнение приведенного выше кода дает следующий вывод:
最优解: x=-1.047198 最小值: -1.523599 是否成功: True
Типичные проблемы и рекомендации
- Выберите подходящее начальное значение- Выбор начального значения оказывает большое влияние на результат решения. Рекомендуется перед решением выполнить простую визуализацию или анализ целевой функции.
-
Проверьте состояние сходимости- Всегда проверяйте
successПоле `success`, чтобы убедиться, что алгоритм успешно сошёлся. Если решение не удаётся, попробуйте изменить начальное значение или алгоритм оптимизации. -
Выберите подходящий алгоритм- Для задач без ограничений,
BFGS`BFGS` — хороший выбор по умолчанию; для задач большой размерности можно попробовать `L-BFGS-B`;L-BFGS-Bдля недифференцируемых функций используйте `Nelder-Mead`.Nelder-Mead。 - Обработка нескольких корней- Для задач с несколькими корнями рекомендуется решать, начиная с нескольких различных начальных значений.
-
Передача параметров- Используйте
argsпараметр `args` для передачи дополнительных аргументов, избегая использования глобальных переменных.
Итог
SciPyoptimizeмодуль предоставляет мощные инструменты оптимизации и решения уравнений:
- Поиск корней:
root()иfsolve()для решения нелинейных уравнений - Безусловная оптимизация:
minimize()в сочетании сmethodПараметр `method` для реализации нескольких алгоритмов - Оптимизация с ограничениями: с помощью
constraintsПараметр `constraints` для добавления ограничений равенства и неравенства - Граничные ограничения: используйте
boundsПараметр ограничивает диапазон значений переменных - Безградиентные методы:
Nelder-MeadПрименимы к недифференцируемым функциям
Освоив эти базовые функции, читатели могут дополнительно изучитьoptimizeДополнительные возможности модуля, такие как аппроксимация кривых (curve_fit), глобальная оптимизация (basinhopping、differential_evolution) и другие продвинутые возможности.