Функции и графики

В этой главе мы визуально отобразим графики распространённых функций; понимание формы графика важнее запоминания формул.

Поверхности функций потерь и функции активации по сути являются вариантами этих базовых форм. Каждая функция сопровождается переключаемым интерактивным графиком; переключать и перетаскивать вручную гораздо эффективнее, чем смотреть на статичные иллюстрации.


Почему стоит специально учиться «читать графики»

Математические формулы описывают «правила», тогда как графики описывают «то, как выглядят правила».

Многие ключевые задачи глубокого обучения по сути являются задачами «формы кривой или поверхности»:

Задача глубокого обученияПроблема формы в основе
Почему некоторые функции потерь легче оптимизироватьПосмотрите, является ли её поверхность «чашеобразной» (выпуклая функция)
Почему сигмоида приводит к более медленному обучениюПосмотрите, насколько «плоский» её график на обоих концах
Почему ReLU стал выбором по умолчаниюПосмотрите, насколько «прост» её график

Рассматривая каждую функцию с вопросами вроде «Какая у неё форма? Как выглядят концы? Как выглядит середина?», вы запомните её лучше, чем при механическом заучивании формул.


Пять графиков основных функций

Линейная функция: y = kx + b

Её форма — прямая линия.k — это угловой коэффициент, определяющий степень и направление наклона (при k>0 наклон вверх вправо, при k<0 наклон вниз вправо);b — это свободный член, определяющий точку пересечения прямой с осью y.

И область определения, и область значений — все действительные числа, а скорость изменения (наклон) везде одинакова; в этом смысл слова «линейный».

Роль в ИИ: самая базовая операция нейронаЭто в точности линейная функция в многомерном пространстве. Веса управляют направлением и степенью наклона, а смещение управляет общим сдвигом.

Квадратичная функция: y = ax² + bx + c

Её форма — парабола.Ветви вверх (форма чаши), имеет минимальное значение;Ветви вниз (перевёрнутая чаша), имеет максимальное значение.

Вершина — это точка поворота кривой, и её можно найти, выделив полный квадрат:График симметричен относительно вертикальной прямой, проходящей через вершину.

Роль в ИИ: простейшая выпуклая функция выглядит так. Среднеквадратичная ошибка (MSE) аппроксимирует эту «чашеобразную» поверхность во многих упрощённых сценариях — градиентный спуск легко находит самую низкую точку на чашеобразной поверхности, потому что в каком бы направлении вы ни спускались, вы движетесь к одному и тому же дну долины.

Показательная функция: y = aˣ (a>0 и a≠1)

Форма — это кривая, которая возрастает с ускорением (при a>1) или непрерывно убывает (при 0<a<1); она никогда не касается оси x, которая является её горизонтальной асимптотой.

Область определения — все действительные числа, а область значений —Когда вход растёт линейно, выход растёт «взрывообразно» — это ключевое свойство экспоненциальной функции.

Роль в ИИ: в softmax,и экспоненциальное затухание в члене импульса оптимизатора Adam — оба используют свойства «усиления различий» или «постепенного забывания».

Логарифмическая функция: y = logₐx (a>0 и a≠1)

Это в точности «зеркальное отражение» экспоненциальной функции (с прямой y=x в качестве оси симметрии). Кривая быстро возрастает от x=0, затем рост становится всё медленнее и медленнее.

Область определения —, а область значений — все действительные числа. Чем больше вход, тем медленнее рост — полностью противоположно экспоненциальной функции.

Роль в ИИ: в кросс-энтропийной потере,она как раз использует форму логарифма — «чрезвычайно крутая вблизи 0, выполаживающаяся вблизи 1» — чем увереннее модель ошибается, тем тяжелее штраф.

Тригонометрические функции: y = sin(x), y = cos(x)

Форма — это волна, которая непрерывно повторяется (периодичность) и всегда колеблется между -1 и 1 (ограниченность). sin(x) начинается из начала координат и идёт вверх; cos(x) достигает своего максимального значения 1 при x=0.

Период равен, а область значений —。

Роль в ИИ: позиционное кодирование Transformer напрямую накладывает sin/cos-волны разных частот, чтобы сгенерировать уникальную, но регулярную «координату» для каждой позиции в последовательности (подробнее в главе 3).

Интерактивная демонстрация: галерея пяти графиков базовых функций
Нажмите кнопку, чтобы переключить функции; информационная карточка ниже одновременно обновляет характеристики формы и роли ИИ.

Три ключевые функции активации ИИ

Функции активации — это "источник нелинейности" для каждого слоя нейронной сети, и их формы напрямую определяют, насколько лёгким или трудным будет обучение.

сигмоида:σ(x) = 1 / (1 + e⁻ˣ)

Форма — это S-образная кривая, которая медленно поднимается от 0 до 1, быстрее всего растёт в середине (около x=0) и выполаживается на обоих концах.

Область значений — открытый интервал, часто интерпретируется как 'вероятность'.

Самый большой побочный эффект: наклон на обоих концах стремится к 0.Когда абсолютное значение входа велико (например, x=10 или x=-10), кривая сигмоиды почти плоская, а градиент почти равен нулю.

В глубоких сетях, если многие слои используют sigmoid, градиент ослабляется слой за слоем этими «плоскими областями» во время обратного распространения и в конечном итоге не может достичь более ранних слоёв — это...Проблема исчезающего градиентаСамая интуитивная геометрическая первопричина.

ReLU: f(x) = max(0, x)

Форма — кусочно-линейная линия: при x<0 она прижимается к оси x (выход всегда равен 0), а при x≥0 это прямая с наклоном 1.

Производная всегда равна 0 на отрицательной полуоси и всегда равна 1 на положительной полуоси. Здесь нет процесса «постепенного уплощения», как у sigmoid, а вычисление чрезвычайно просто (нужно только одно сравнение).

Градиент на положительной полуоси всегда равен 1 и не затухает при увеличении входа, что значительно смягчает проблему исчезающего градиента. Это интуитивная причина, по которой ReLU стала функцией активации по умолчанию.

У неё также есть собственная проблема: градиент на отрицательной полуоси всегда равен 0, что может привести к тому, что некоторые нейроны «умрут» и перестанут обновляться — это можно напрямую увидеть из формы графика.

tanh: f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)

S-образная кривая, очень похожая на sigmoid, но центрированная в начале координат, с диапазоном...。

По сравнению с sigmoid выход tanh центрирован около 0. Если среднее значение входа следующего слоя близко к 0, обучение обычно становится более стабильным — поэтому tanh популярнее в некоторых сценариях.

Но это не решает фундаментальную проблему «уплощения на обоих концах», что также стало предпосылкой того, что функции семейства ReLU позже приобрели популярность.

Интерактивная демонстрация: функция активации и её производная
Переключайте функцию активации. Сплошная линия — это сама функция, а пунктирная — её производная (наклон). Обратите внимание на пик кривой производной и затухание на обоих концах.
У sigmoid максимальное значение производной всего 0.25, а при |x| > 4 оно почти равно 0 — после перемножения в многослойной сети градиент быстро исчезает, это один из источников «исчезновения градиента».

Почему кросс-энтропия использует -log(p)

В задачах бинарной классификации вероятность того, что модель предсказывает "правильный класс", равна..., потеря кросс-энтропии равна。

Интуитивно можно подумать: использоватьРазве потеря не была бы проще? Когда две кривые располагают рядом, разница сразу видна.

Интерактивная демонстрация: сравнение штрафов -log(p) и 1-p
Перетаскивайте ползунок, чтобы изменить предсказанную моделью вероятность p, и наблюдайте, чем отличаются штрафы двух видов потерь. Когда p очень мала (модель уверенно ошибается), штраф -log(p) намного больше, чем 1-p.
Синий — это -log(p), зелёный — 1-p. Первый уходит в бесконечность при p → 0, тогда как второй достигает максимум 1.

Примеры

# Разберите вручную: исчезающие градиенты и штраф -log(p)
import math

# ---- Часть 1: производная сигмоиды убывает по мере увеличения |x| ----
def sigmoid(x):
    return 1 / (1 + math.exp(-x))

def sigmoid_grad(x):
    s = sigmoid(x)
    return s * (1 - s)     # Формула производной сигмоиды

print(sigmoid_grad(0))    # В точке максимума: 0.25, уже максимальное значение производной сигмоиды
print(sigmoid_grad(5))    # При |x|=5: остаётся менее 0.007
print(sigmoid_grad(10))   # При |x|=10: около 0.0000456, градиент почти исчезает

# ---- Часть 2: рост штрафа -log(p) ----
for p in [1.0, 0.5, 0.1, 0.01]:
    print(p, -math.log(p))   # Чем меньше p, тем круче штраф; при p=0.01 штраф уже достиг 4.6

Выполнение приведённого выше кода даёт следующий вывод:

0.25
0.006648056670790155
4.5395807735957664e-05
1.0 0.0
0.5 0.6931471805599453
0.1 2.302585092994046
0.01 4.605170185988091

Стоит запомнить два числа: пик производной сигмоиды составляет всего0.25; когда p падает с 0.5 до 0.01,штраф возрастает с 0.69 до 4.6.


Три сценария применения «интуиции формы»

СценарийНа какую форму обращать вниманиеКритерий
Оценка того, легко ли оптимизировать функцию потерьБлизка ли поверхность к «чашеобразной» форме (выпуклая)Чем ближе к форме чаши, тем легче градиентному спуску найти глобальный минимум; на бугристой (невыпуклой) поверхности можно застрять в локальном оптимуме
Оценка того, замедляет ли функция активации обучениеВыравниваются ли оба конца графикаЧем сильнее они выравниваются, тем очевиднее проблема исчезающего градиента
Оценка того, подходит ли функция для вывода вероятностейОграничен ли диапазон значенийТолько когда диапазон сжат в интервал вроде (0,1), его можно интерпретировать как вероятность; это прямая причина, по которой выбирают sigmoid и softmax

Упражнение: не глядя на формулы, определите только по интуиции — между ReLU и sigmoid, какая больше подходит для последнего слоя сети для «вывода вероятности бинарной классификации»? Почему?

Нажмите, чтобы увидеть ответ

sigmoid больше подходит, потому что его диапазон —, что естественно интерпретируется как «вероятность принадлежности к определённому классу».

Область значений ReLU —, она не имеет верхней границы, поэтому её нельзя напрямую использовать в качестве вероятности.


Итоги главы

ФункцияКлючевые слова формыСоответствующая концепция ИИ
Линейная функцияПрямая линия, одинаковый наклон всюдуВзвешенная сумма нейрона wx+b
Квадратичная функцияФорма чаши / перевёрнутой чашиПоверхность функции потерь (интуиция выпуклой функции)
Экспоненциальная функцияУскоренный рост или затуханиеsoftmax, член импульса
Логарифмическая функцияРост становится всё медленнее и медленнее.Кросс-энтропийная потеря
Тригонометрические функцииПериодические волныПозиционное кодирование
sigmoidS-образная форма, уплощённая с обоих концов.Вероятностный выход — источник исчезающих градиентов.
ReLUЛоманая, отрицательная полуось возвращается к нулю.Функция активации по умолчанию
tanhS-образная, центрированная относительно 0.Сценарии, требующие "выхода с нулевым средним"
Другие расширения