Разложение Тейлора — приближение любой функции многочленами.

Любую гладкую функцию можно приблизить многочленом вблизи точки.

Разложение Тейлора первого порядка лежит в основе градиентного спуска, а разложение второго порядка приводит к методу Ньютона. В этой главе достаточно понять это; не нужно углубляться в детали вывода.


Анализ концепции

Разложение Тейлора первого порядка = линейное приближение (основа градиентного спуска)

\[ f(x) \approx f(a) + f'(a)(x - a) \]

Это означает: «провести касательную в точке a и использовать значение касательной, чтобы приблизить значение функции».

Разложение Тейлора второго порядка = учёт кривизны.

\[ f(x) \approx f(a) + f'(a)(x - a) + \frac{f''(a)}{2}(x - a)^2 \]

Добавление члена второго порядка отражает «кривизну» функции — в этом заключается идея метода Ньютона.

Разложения важных функций

функцияРазложение в точке x=0
\( e^x \)\( 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \cdots \)
\( \sin x \)\( x - \frac{x^3}{3!} + \frac{x^5}{5!} - \cdots \)

Градиентный спуск использует только информацию первого порядка (направление). Метод Ньютона использует информацию второго порядка (кривизну), сходится быстрее, но при более высоких вычислительных затратах.


Пример из повседневной жизни

Оценим sin(0.1): sin(0)=0, sin'(0)=cos(0)=1. Приближение первого порядка: 0 + 1×0.1 = 0.1.

Истинное значение приблизительно равно 0.0998 — используя только сложение и умножение, было получено приближение высокой точности.


Практическое занятие по Python

Пример

import numpy as np

x0 = 0.5
true_val = np.sin(x0)
print(fПриближение Тейлора для sin({x0}) по сравнению с истинным значением {true_val:.8f}:)

# Вычислить вручную первые несколько членов разложения Тейлора
import math
approx = 0.0
for n in range(6):
    if n % 2 == 1:  Члены с чётными номерами равны 0.
        coef = (-1)**((n-1)//2) / math.factorial(n)
        approx += coef * x0**n
        err = abs(approx - true_val)
        print(f"{n} terms: {approx:.8f} Error: {err:.2e}")

Вывод:

sin(0.5) 的泰勒近似 vs 真实值 0.47942554:
  1项: 0.50000000  误差: 2.06e-02
  3项: 0.47916667  误差: 2.59e-04
  5项: 0.47942708  误差: 1.54e-06

Сценарии применения в ИИ.

Градиентный спуск = приближение Тейлора первого порядка.

Градиентный спуск предполагает, что функцию потерь можно локально аппроксимировать разложением Тейлора первого порядка (линейной аппроксимацией). Шаг в направлении отрицательного градиента соответствует выполнению оптимального обновления в рамках приближения первого порядка. Именно поэтому градиентный спуск требует небольшой скорости обучения — если скорость обучения слишком велика, он выходит за пределы области, где линейное приближение применимо.

Метод Ньютона = оптимизация Тейлора второго порядка.

Если добавить члены второго порядка (с использованием матрицы Гессе), функцию потерь можно точно локально аппроксимировать квадратичной функцией, и можно сразу перейти к оптимуму квадратичного приближения. Теоретически это сходится быстрее, но матрица Гессе имеет размер, равный квадрату числа параметров, — модель с миллионом параметров потребовала бы матрицу Гессе триллионного масштаба, что делает и вычисления, и хранение непрактичными.

Целевая функция XGBoost.

XGBoost использует разложение функции потерь в ряд Тейлора второго порядка для приближения целевой функции на каждой итерации, а также задействует градиент первого порядка и гессиан второго порядка (называемый в XGBoost "hess"). По сравнению с GBDT, который использует только градиент первого порядка, он сходится быстрее и более стабилен. Это наиболее успешное применение информации второго порядка в промышленном машинном обучении.


Другие расширения