Общие математические символы

Первое препятствие к пониманию статей и руководств по ИИ — часто не сама математика, а страницы, заполненные математическими символами.

В этой главе наиболее часто используемые в изучении ИИ символы собраны в таблицы. Можно сначала бегло их просмотреть, а позже вернуться, когда понадобится что-то уточнить:

  • Читайте по порядкуК каждому символу прилагается пояснение, когда он используется; пройдитесь по ним в общих чертах, чтобы создать общее представление.

  • Справляйтесь по мере необходимостиЕсли при чтении статей или руководств вы застряли на каком-то символе, вернитесь к таблице.

К большинству символов прилагаются исполняемые примеры на Python. Один раз попробовать самому эффективнее, чем десять раз прочитать.


Числа и основные операции

Эти символы используются ещё с математики начальной школы и являются основой всех формул.

СимволЗначениеПример
Сложение, вычитание, умножение и деление
Знак плюс-минус, указывающий на два возможных значения
Не равно
Меньше, больше, меньше или равно, больше или равно
Приблизительно равно
Модуль, убирает знак минус
Квадратный корень
Корень n-й степени
Квадрат, n-я степень
Обратная величина (отрицательная степень)
Факториал, умножение от 1 до n
Бесконечность

В научных статьях знак умножения обычно опускают или записывают в виде маленькой точки:Означает w, умноженное на x; обе записи имеют абсолютно одинаковое значение.


Переменные и соглашения о буквенных обозначениях

В математике буквы выбираются не произвольно; разные буквы имеют роли по умолчанию.

БукваРоль по умолчаниюТипичное значение в контексте ИИ
КонстантаФиксированный, неизменный коэффициент
Переменнаяx — входной признак, y — выходная метка
Веса и смещенияПараметры, которые должна изучить нейронная сеть
Набор параметровСобирательное название для всех параметров модели, произносится как тета
ВеличинаКоличество выборок, размерность признаков
Пи
Число Эйлера

Когда используются и x, и X, будьте внимательны, чтобы различать:Строчная буква обычно обозначает одно число (скаляр), прописная обычно обозначает матрицуЭто будет подробно объяснено в разделе о строчных буквах.

Когда вы видитеНе паникуйте, это просто традиционное обозначение «параметра», иПринципиальной разницы нет; то, какой из них выберет автор статьи, — исключительно вопрос предпочтения.


Экспоненты и логарифмы

Самая распространённая пара функций в ИИ.

Встречается в sigmoid и softmax, отвечает за «усиление или сжатие» значений;Встречается в кросс-энтропийной потере, отвечает за «превращение умножения в сложение».

СимволЗначениеПример
a в n-й степени
Любое ненулевое число в степени 0
Экспоненциальная функция с основанием e
Логарифм x по основанию a
Натуральный логарифм (по основанию e)
В статьях обычно по умолчанию используется

Четыре арифметических правила необходимо освоить; они многократно используются при выводе функций потерь:

Формула перехода к новому основанию позволяет преобразовать логарифм по любому основанию в натуральный логарифм; она часто используется в программировании:

Примеры

# Вычислить log_2(100) с помощью формулы перехода к новому основанию
# Python-функция math.log(x, base) делает это внутри
import math

x = 100
base = 2

# Прямой вызов
print(math.log(x, base))

# Формула перехода к новому основанию, написанная от руки: log_2(100) = ln(100) / ln(2)
print(math.log(x) / math.log(base))

Вывод вышеприведённого кода:

6.643856189774725
6.643856189774725

Почему добавляют небольшую константу ε: Аргумент логарифма должен быть больше 0, но на ранней стадии обучения модель может выдавать вероятность 0; в этот моментвы получаете отрицательную бесконечность, что приводит к краху обучения.

Поэтому в реализациях это обычно записывают как, где— очень маленькое положительное число, например 0.0000001.


Символы, связанные с функциями

Функция — это «правило соответствия от входа к выходу»; нейронная сеть по сути представляет собой композицию многих слоёв функций.

СимволЗначениеПример / Пояснение
Функция; результат, полученный после отображения x функцией f
f отображает элементы множества A во множество BОпишите «сигнатуру типа» функции.
Обратная функция, отменяет действие f.
Композиция функций: сначала вычислите g(x), затем подставьте в f.
Изменение x.
Предсказанное значение y (читается как y-hat).Чтобы отличать от истинной метки y.
сигмоидная функция активации.

В машинном обучении,(читается как y-hat) конкретно обозначает предсказанное значение модели,обозначает истинную метку; разница между ними — это ошибка предсказания.

Композиции функций — ключ к пониманию нейронных сетей: двухслойная сеть по сути представляет собой, обратное распространение вычисляет градиенты слой за слоем, опираясь именно на правило цепочки для дифференцирования композиций функций.

Примеры

# Вычисление композиции функций: y = f(g(x))
# Пусть g(x) = x + 1, f(x) = x^2

def g(x):
    return x + 1          # Внутренняя функция

def f(x):
    return x ** 2         # Внешняя функция

# Композиция: сначала вычислить g(x), затем подставить результат в f
print(f(g(3)))            # g(3)=4, f(4)=16
print(f(g(3)) == (3 + 1) ** 2)

При выполнении приведённого выше кода выводится:

16
True

Суммирование и произведение

являются самыми часто встречающимися символами в формулах ИИ, вне конкуренции.

Это означает: пусть нижний индекс i изменяется от нижней границы до верхней, а затем просуммировать каждое слагаемое.

Читается как «i от 1 до n, сумма по x с нижним индексом i». Читайте выражение суммирования в три шага:

ШагиНа что смотретьВ этом примере
1По какой переменной выполняется суммирование (нижний индекс)i
2Диапазон суммирования (от нижней границы до верхней)от 1 до n
3Как выглядит каждый член

Символ произведенияСтруктура та же, только замените "сложение" на "умножение":

Две самые распространённые формулы в ИИ строятся на суммировании:

Потеря среднеквадратичной ошибки:

Взвешенная сумма нейрона:

Примеры

# Разберём символ суммирования с помощью кода: z = sum(w_i * x_i) + b
w = [0.5, -1.0, 2.0]   # Веса, соответствующие w_i в формуле
x = [2.0,  3.0, 1.0]   # Входы, соответствующие x_i в формуле
b = 0.1                # Смещение

# sum_{i=1}^{3} w_i * x_i — это ровно следующая строка
z = sum(wi * xi for wi, xi in zip(w, x)) + b
print(z)

# Развёрнутая проверка: 0.5*2 + (-1.0)*3 + 2.0*1 + 0.1
print(0.5*2 + (-1.0)*3 + 2.0*1 + 0.1)

При выполнении приведённого выше кода выводится:

0.1
0.1

Множества и логика

Символы множеств описывают, «к какой категории относятся данные», символы логики описывают, «как комбинируются условия», а теория вероятностей и машинного обучения широко их используют.

СимволЗначениеПример
принадлежит
не принадлежит
подмножество
объединение
пересечение
пустое множество (не содержит элементов)
множество вещественных чисел
произвольный, все (квантор всеобщности)
существует (квантор существования)
логическое НЕ
логическое И, логическое ИЛИ
влечёт, импликация
эквивалентно (если и только если)

Эти символы чаще всего встречаются в разделах теорем и предположений статей, например,читается как "для любого эпсилона, большего 0, существует N".


Верхние индексы, нижние индексы и диапазоны значений

В этом разделе разъясняются две распространённые путаницы: что на самом деле означают нижние индексы и как читать запись интервалов.

Нижний индекс: нумерация переменных одного типа

В обучающих данных много примеров; использовать x для всех сбивало бы с толку, поэтому для их различения используются нижние индексы:。

Когда есть два нижних индекса, например, это обычно означает "i-я строка и j-й столбец", что как раз и является элементом матрицы.

Вектор записывается как(жирным), его компоненты равны; матрицаЕё форма описывается как "строки × столбцы", обозначается как。

Интервалы и диапазоны значений

Круглые скобки означают "концы не включены", а квадратные скобки означают "концы включены".

СимволЧтениеЗначение
Открытый интервалВсе числа между a и b, исключая оба конца
Замкнутый интервалВсе числа между a и b, включая оба конца
Полуоткрытый интервалВключает b, исключает a
x принадлежит замкнутому интервалуx принимает значения между 0 и 1, концы допускаются

Область значений сигмоидной функции равна, этот открытый интервал означает, что выход всегда строго больше 0 и меньше 1, и именно это является математической причиной, по которой её можно использовать как "вероятность".


Таблица греческого алфавита

Многочисленные греческие буквы в статьях — не украшение; каждая имеет значение по умолчанию. Знание их всех сделает чтение статей намного проще.

Верхний регистрНижний регистрNameРаспространённые значения в ИИ
альфаСкорость обучения
бетаКоэффициент импульса, скорость затухания второго момента в Adam
гаммаКоэффициент дисконтирования (обучение с подкреплением)
дельтаИзменение, приращение
эпсилонКрошечное положительное число, вероятность исследования
тетаПараметры модели
lambdaКоэффициент регуляризации
пиПолитика (обучение с подкреплением), пи
сигмаСуммирование / сигмоидная функция, стандартное отклонение
фиФункция отображения признаков
омегаВеса модели (в некоторых работах)

Один и тот же символ имеет разные значения в разных областях:В контексте функции активации это сигмоида, в статистическом контексте это стандартное отклонение, а в формулах суммирования прописная— это оператор суммирования. Чтобы понять значение, сначала посмотрите на контекст — это самая важная привычка при чтении статей.


Вероятность и статистика

Основной язык машинного обучения. «Уверенность», выдаваемая моделями классификации, вывод функций потерь и байесовские методы — всё это построено на этих символах.

СимволЗначениеПример / Пояснение
Вероятность наступления события A
Условная вероятность: вероятность A при условии BВертикальная черта читается как «при условии»
Совместная вероятность: A и B происходят одновременно
Теорема БайесаОснова всех байесовских методов
Ожидание (среднее)
Дисперсия (степень разброса)
СреднееЦентр распределения данных
Дисперсия (сигма в квадрате)
Подчиняется ... распределению
Нормальное распределение (распределение Гаусса)В скобках указаны среднее значение и дисперсия
Информационная энтропия

Потери кросс-энтропии — это кульминация этих символов, объединяющая суммирование, условную вероятность и логарифм:

Разбираем символ за символом:— истинная метка i-го образца,— предсказанная моделью вероятность,превращает умножение вероятностей в сложение, а знак минус делает так, что «чем меньше потери, тем лучше».

— это рукописная форма «Normal», обозначающая нормальное распределение, а не букву N. Рукописные символы、часто используются для обозначения «множествоподобных» объектов, таких как распределения, функции потерь и наборы данных.


Линейная алгебра

Базовая структура нейронных сетей. Каждая матричная операция в фреймворках глубокого обучения использует эти символы.

СимволЗначениеПример / Пояснение
Вектор (полужирная строчная буква)
Матрица (полужирные заглавные буквы)Таблица чисел с m строками и n столбцами
Транспонирование: поменять местами строки и столбцыВектор-строка становится вектором-столбцом
Умножение матрицНе поэлементное умножение
Поэлементное умножение (произведение Адамара)Умножение соответствующих позиций матриц одинаковой формы
Норма ("длина" вектора)
Норма L1: сумма абсолютных значенийОснова L1-регуляризации
Обратная матрица
Единичная матрицаДиагональные элементы равны 1, все остальные — 0
Скалярное произведение (внутреннее произведение)

Скалярное произведение — основа механизма внимания: каждый слой трансформера вычисляет скалярное произведение между векторами запросов и векторами ключей, измеряя их «сходство».

Примеры

# Справочник по обозначениям для скалярного произведения и нормы L2
# x · y = sum(x_i * y_i),||x||_2 = sqrt(sum(x_i^2))
import math

x = [1.0, 2.0, 3.0]
y = [4.0, 0.0, -1.0]

# Скалярное произведение x · y
dot = sum(xi * yi for xi, yi in zip(x, y))
print(dot)

# Норма L2 ||x||_2
norm2 = math.sqrt(sum(xi ** 2 for xi in x))
print(norm2)

# Раскрыть и проверить
print(1.0*4.0 + 2.0*0.0 + 3.0*(-1.0))
print(math.sqrt(1 + 4 + 9))

Выполнение приведённого выше кода даёт следующий вывод:

1.0
3.7416573867739413
1.0
3.7416573867739413

Математический анализ

Суть обучения — «корректировка параметров в направлении, противоположном градиенту», поэтому разделы оптимизации в статьях не могут обойтись без этих символов.

Вам пока не нужно уметь их вычислять; достаточно уметь распознавать каждый из них.

СимволЗначениеПример / Описание
Производная: скорость изменения y относительно x
Альтернативное обозначение производной
Частная производная: скорость изменения f, когда изменяется только xИспользуется для функций нескольких переменных
Градиент: вектор всех частных производных
Интеграл — операция, обратная дифференцированию
Предел: значение, когда x стремится к a

Самая важная формула в глубоком обучении использует только две строки из приведённой выше таблицы: правило обновления параметров для градиентного спуска.

Разбор каждого символа:— это параметр,означает «обновить левую часть значением справа»,— это скорость обучения,— это градиент функции потерь J по параметру θ.

В одном предложении:новый параметр = старый параметр − скорость обучения × градиент, то есть сделать небольшой шаг в направлении, в котором потери убывают быстрее всего.

Читается как набла или «оператор градиента»: это не число, а указание взять частные производные по всем следующим за ним переменным, во многом подобно функции высшего порядка в программировании.


Оптимизация и другие часто встречающиеся символы

В этом последнем разделе рассматриваются символы, которые встречаются в статьях лишь изредка, но тем не менее критически важны.

СимволЗначениеПример / Описание
x, максимизирующий fвозвращает x, а не само максимальное значение
x, минимизирующий fОбучение — это нахождение
минимума fвозвращает само значение
функция softmax
композиция функций
определяется каклевая часть определяется как значение справа
пропорционально
функция активации ReLU
Нотация Big O: порядок ростаИгнорируйте константы, смотрите только на масштаб.

То, что модель классификации делает во время прогнозирования, — это ровно: взять класс с наибольшей вероятностью; argmax возвращает индекс класса, а не значение вероятности.

иЛегко перепутать:Ответ «чему равно максимальное значение»,Ответ «при каком x достигается максимум». В задачах классификации важен последний вариант.


Советы по изучению

Не нужно заучивать таблицы символов наизусть; методы эффективнее зубрёжки.

Во-первых, выработайте привычку разбирать символы по одному: получив формулу, сначала спросите, является ли каждый символ оператором, переменной или функцией, а затем — что он означает в текущем контексте. После такого разбора она часто перестаёт быть загадочной.

Во-вторых, в первую очередь досконально освойте три вещи:суммирование, степени и логарифмы, запись с нижними индексами. Они необходимы для чтения формул линейной алгебры и математического анализа. Для каждой из них в этой статье есть отдельный раздел.

В-третьих, столкнувшись с незнакомым символом, сразу ищите "название символа + математическое значение" — это быстрее, чем продираться через учебники.

Символы — это карта, а не местность. Истинное понимание приходит через вычисление конкретных примеров с ними; каждый пример на Python в тексте стоит запустить вручную.

Другие расширения