Разложение Тейлора — приближение любой функции многочленами.
Любую гладкую функцию можно приблизить многочленом вблизи точки.
Разложение Тейлора первого порядка лежит в основе градиентного спуска, а разложение второго порядка приводит к методу Ньютона. В этой главе достаточно понять это; не нужно углубляться в детали вывода.
Анализ концепции
Разложение Тейлора первого порядка = линейное приближение (основа градиентного спуска)
\[ f(x) \approx f(a) + f'(a)(x - a) \]Это означает: «провести касательную в точке a и использовать значение касательной, чтобы приблизить значение функции».
Разложение Тейлора второго порядка = учёт кривизны.
\[ f(x) \approx f(a) + f'(a)(x - a) + \frac{f''(a)}{2}(x - a)^2 \]Добавление члена второго порядка отражает «кривизну» функции — в этом заключается идея метода Ньютона.
Разложения важных функций
| функция | Разложение в точке x=0 |
|---|---|
| \( e^x \) | \( 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots \) |
| \( \sin x \) | \( x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots \) |
Градиентный спуск использует только информацию первого порядка (направление). Метод Ньютона использует информацию второго порядка (кривизну), сходится быстрее, но при более высоких вычислительных затратах.
Пример из повседневной жизни
Оценим sin(0.1): sin(0)=0, sin'(0)=cos(0)=1. Приближение первого порядка: 0 + 1×0.1 = 0.1.
Истинное значение приблизительно равно 0.0998 — используя только сложение и умножение, было получено приближение высокой точности.
Практическое занятие по Python
Пример
x0 = 0.5
true_val = np.sin(x0)
print(fПриближение Тейлора для sin({x0}) по сравнению с истинным значением {true_val:.8f}:)
# Вычислить вручную первые несколько членов разложения Тейлора
import math
approx = 0.0
for n in range(6):
if n % 2 == 1: Члены с чётными номерами равны 0.
coef = (-1)**((n-1)//2) / math.factorial(n)
approx += coef * x0**n
err = abs(approx - true_val)
print(f"{n} terms: {approx:.8f} Error: {err:.2e}")
Вывод:
sin(0.5) 的泰勒近似 vs 真实值 0.47942554: 1项: 0.50000000 误差: 2.06e-02 3项: 0.47916667 误差: 2.59e-04 5项: 0.47942708 误差: 1.54e-06
Сценарии применения в ИИ.
Градиентный спуск = приближение Тейлора первого порядка.
Градиентный спуск предполагает, что функцию потерь можно локально аппроксимировать разложением Тейлора первого порядка (линейной аппроксимацией). Шаг в направлении отрицательного градиента соответствует выполнению оптимального обновления в рамках приближения первого порядка. Именно поэтому градиентный спуск требует небольшой скорости обучения — если скорость обучения слишком велика, он выходит за пределы области, где линейное приближение применимо.
Метод Ньютона = оптимизация Тейлора второго порядка.
Если добавить члены второго порядка (с использованием матрицы Гессе), функцию потерь можно точно локально аппроксимировать квадратичной функцией, и можно сразу перейти к оптимуму квадратичного приближения. Теоретически это сходится быстрее, но матрица Гессе имеет размер, равный квадрату числа параметров, — модель с миллионом параметров потребовала бы матрицу Гессе триллионного масштаба, что делает и вычисления, и хранение непрактичными.
Целевая функция XGBoost.
XGBoost использует разложение функции потерь в ряд Тейлора второго порядка для приближения целевой функции на каждой итерации, а также задействует градиент первого порядка и гессиан второго порядка (называемый в XGBoost "hess"). По сравнению с GBDT, который использует только градиент первого порядка, он сходится быстрее и более стабилен. Это наиболее успешное применение информации второго порядка в промышленном машинном обучении.
Другие расширения