Функции и пределы -- стартовая линия математического анализа
Математический анализ — это математический двигатель процесса обучения ИИ. Прежде чем изучать производные, сначала повторите понятие функции, затем разберитесь с "пределами" — основной идеей математического анализа.
Что такое предел?
Предел описывает "к какому значению стремится f(x), когда x бесконечно приближается к некоторой точке, но не равен ей."
Например: \( f(x) = \frac{x^2-1}{x-1} \) не определена при x=1. Но когда x стремится к 1, f(x) стремится к 2.
Предел слева
x → 1⁻ (приближение слева)
f(0.999) → 2
Предел
Пределы слева и справа равны → предел существует
\( \lim_{x\to 1} f(x) = 2 \)
Правосторонний предел
x → 1⁺ (приближение справа)
f(1.001) → 2
Непрерывность = отсутствие разрывов
f(x) непрерывна в точке a: \( \lim_{x\to a} f(x) = f(a) \)— Предел в этой точке равен значению функции в этой точке.
Большинство функций потерь (MSE, кросс-энтропия) непрерывны и дифференцируемы — это необходимое условие для оптимизации с помощью градиентного спуска.
Примеры из реальной жизни
Мгновенная скорость
Вы хотите узнать скорость в точный момент 3-й секунды. Но интервал времени «мгновения» равен 0, и перемещение также равно 0, поэтому 0/0 не имеет смысла.
Решение с помощью математического анализа: брать всё более короткие интервалы времени и смотреть, к какому значению приближается средняя скорость. Это значение, к которому она приближается, и есть мгновенная скорость — то есть производная.
Математическое определение
\[ \lim_{x \to a} f(x) = L \]Правила операций с пределами: предел суммы, разности, произведения или частного = сумма, разность, произведение или частное пределов (при условии, что предел знаменателя не равен 0).
Практическое занятие по Python
Пример
def f(x):
return (x**2 - 1) / (x - 1)
print("=== lim_{x->1} (x^2-1)/(x-1) = 2 ===")
# Подход с обеих сторон: слева и справа
for delta in [0.1, 0.01, 0.001, 0.0001]:
print(f"x = {1-delta:.4f}, f(x) = {f(1-delta):.6f}")
print(f"x = {1+delta:.4f}, f(x) = {f(1+delta):.6f}")
print("→ С какой бы стороны ни приближаться, f(x) стремится к 2")
=== lim_{x->1} (x^2-1)/(x-1) = 2 ===
x = 0.9000, f(x) = 1.900000
x = 1.1000, f(x) = 2.100000
x = 0.9900, f(x) = 1.990000
x = 1.0100, f(x) = 2.010000
→ 无论从哪边逼近,f(x)都趋近于 2
Сценарии применения в ИИ
Определение градиента основано на пределах
Определение самой производной — это предел: \( f'(x) = \lim_{h \to 0} \frac{f(x+h)-f(x)}{h} \). Хотя вычисление градиента при обратном распространении использует аналитическое дифференцирование, а не численные пределы, идея пределов имеет ключевое значение для понимания того, что «скорость обучения не может быть слишком большой» — слишком большая скорость обучения эквивалентна приближению производной значением \(h\), которое слишком велико.
Требования к непрерывности функций потерь
Градиентный спуск требует, чтобы функция потерь была дифференцируема почти всюду. MSE и кросс-энтропия гладкие и непрерывные — это предпосылка того, что они стали стандартными функциями потерь. Hinge Loss (используется в SVM) недифференцируема в точке излома, и её нужно заменять субградиентом.
Выбор функций активации
ReLU недифференцируема при x=0 (левая и правая производные не равны), но на практике вместо этого используется субградиент 0, и модель всё равно может нормально обучаться. LeakyReLU и GELU дифференцируемы всюду, и их поток градиентов более гладкий.
Другие расширения