Основы алгебры

В этой главе рассматриваются преобразования уравнений и неравенств, ключевые понятия функций, операции со степенями и логарифмами, а также символ суммирования Σ и сходимость рядов.

Содержание этой главы — общая математическая основа для сигмоиды, softmax, кросс-энтропии и информационной энтропии. Каждый пункт знаний сопровождается интерактивными графическими демонстрациями. Перетаскивание ползунка развивает интуицию лучше, чем десятикратное чтение формул.


Решение и преобразование уравнений и неравенств

Алгебраическое преобразование опирается на одну фразу.

Если выполнить одну и ту же операцию с обеими частями уравнения, уравнение останется верным.

Если вы одинаково обращаетесь с обеими частями уравнения — прибавляете, вычитаете, умножаете, делите (на ненулевое число) или извлекаете корни (учитывайте знак) — решения уравнения не изменятся.

Линейные уравнения с одной переменной

Самая базовая форма —。

решитьПолные шаги:

3x + 5 = 20
3x = 20 - 5        ← 两边同减 5(移项)
3x = 15
x = 15 / 3         ← 两边同除以 3
x = 5

Есть только два основных действия:Перенос (перемещение членов)(По сути, вычитание одной и той же величины из обеих частей) иДеление обеих частей。

Квадратные уравнения с одной переменной и дискриминант

Форма имеет вид, два распространённых метода решения.

Метод 1: Разложение на множители。

x² - 5x + 6 = 0
(x - 2)(x - 3) = 0
→ x = 2 或 x = 3

Метод 2: Формула корней квадратного уравнения, применима во всех случаях, но требует больше вычислений:

Гденазываютдискриминантом, обозначается как, он напрямую определяет число корней:

ДискриминантХарактер корнейГеометрический смысл (парабола и ось x)
Два различных действительных корняПарабола пересекает ось x в двух точках.
Один кратный кореньПарабола только касается оси x (касание)
Нет действительных корнейПарабола целиком расположена выше или ниже оси x

Ниже перетащите ползунки, чтобы изменить, и понаблюдайте, как форма параболы и дискриминант связаны.

Интерактивная демонстрация: дискриминант и парабола
Перетащите три ползунка и понаблюдайте, как меняется число точек пересечения параболы с осью x при изменении знака Δ.

solveПроцесс подстановки в формулу квадратного уравнения:

a=1, b=-2, c=-3
Δ = (-2)² - 4×1×(-3) = 4 + 12 = 16
x = (2 ± √16) / 2 = (2 ± 4) / 2
→ x = 3 或 x = -1

Дробные уравнения: проверка обязательна в конце

Сначала найдите общий знаменатель или избавьтесь от знаменателей, затем преобразуйте его в обычное уравнение и решите.

В конце нужно подставить найденное решение в исходное уравнение и убедиться, что ни один знаменатель не обращается в ноль.

Решения, которые обращают знаменатель в ноль, нужно отбросить; они называютсяпосторонними корнями。

Неравенства: правило, в котором легче всего ошибиться

Правила преобразования неравенств похожи на правила для уравнений, но есть одно ключевое отличие.

Когда обе стороны неравенства умножаются (или делятся) на отрицательное число, знак неравенства необходимо поменять на противоположный.

решить:

-2x > -6       ← 两边同减 6
x < 3          ← 两边同除以 -2(负数,不等号从 > 变成 <)

Это правило очень важно в машинном обучении: при выводе направления сходимости алгоритмов оптимизации или условий убывания функции потерь, если знак обработан в неверном направлении, вывод будет полностью противоположным.

Система неравенствМножество решений системы — это взятьпересечение множеств решений нескольких неравенств.:

x > 1
x < 5
→ 解集为 1 < x < 5

Общие приёмы преобразования

ТехникаМетодТипичное использование
ПереносПеренести член на другую сторону от знака равенства и изменить его знак.Основная операция для решения всех уравнений.
Выделение полного квадратаНахождение вершины квадратичной функции, упрощение вывода функций потерь.
Метод подстановкиЗамените сложное подвыражение, которое встречается многократно, новой переменной.Упростите выражения со сложной структурой.

Примеры

# Решение квадратного уравнения с одной переменной через дискриминант и формулу корней квадратного уравнения
import math

def solve_quadratic(a, b, c):
    """Решить ax^2 + bx + c = 0, вернуть все действительные корни"""
    delta = b * b - 4 * a * c   # Дискриминант Δ = b² - 4ac
    if delta > 0:               # Δ > 0: два различных действительных корня
        r = math.sqrt(delta)
        return [(-b + r) / (2 * a), (-b - r) / (2 * a)]
    elif delta == 0:            # Δ = 0: один кратный корень
        return [-b / (2 * a)]
    else:                       # Δ < 0: нет действительных корней
        return []

# Проверить x² - 2x - 3 = 0; ранее ручной расчёт дал x = 3 или x = -1
print(solve_quadratic(1, -2, -3))

# Случай Δ = 0: x² - 4x + 4 = 0, то есть (x-2)² = 0
print(solve_quadratic(1, -4, 4))

# Случай Δ < 0: x² + x + 1 = 0
print(solve_quadratic(1, 1, 1))

Запуск приведённого выше кода даёт следующий вывод:

[3.0, -1.0]
[2.0]
[]

Упражнение: Решите неравенство。

Нажмите, чтобы увидеть ответ

Вычтите 9 из обеих частей:; разделите обе части на -3 (отрицательное число, знак неравенства меняется на противоположный):。


Понятие функций: область определения, область значений, композиция функций

Функцияописывает правило отображения из «входа в выход»:Для каждого входного значения x существует ровно одно соответствующее ему выходное значение y。

Записывается как, читается как «y — функция от x».

Область определения: множество всех «допустимых входных значений»

Нахождение области определения по сути означает исключение значений, которые делают выражение «бессмысленным»:

Особенность выраженияОграничениеПример
Знаменательне может быть равен 0
Корень чётной степениЗначение под корнем не может быть отрицательным
ЛогарифмАргумент должен быть больше 0

Это логарифмическое правило особенно важно в ИИ: везде, где используется log (например, в кросс-энтропийной потере), необходимо следить, чтобы вход был положительным. Именно поэтому во многих реализациях кода его записывают как—добавляя очень маленькую константу ε, чтобы предотвратитьошибки или бесконечные значения.

Область значений: множество всех "возможных выходных значений"

Область значений равна, потому что квадрат всегда неотрицателен.

Сигмоидная функцияимеет область значений открытый интервал, никогда не равна 0 или 1, только бесконечно приближается к ним.

Именно такова математическая причина, по которой его используют для обозначения "вероятности": вероятности теоретически могут бесконечно приближаться к 0% или 100%, но никогда не становятся точно равными им.

Композиция функций: функция внутри функции

Использование выхода одной функции в качестве входа другой, записывается как。

Порядок вычисления таков:Сначала вычисляем внутреннюю g(x), затем подставляем результат во внешнюю f。

спроектировать,, чтобы найти:

f(g(x)) = f(x+1) = (x+1)²

обычно не равно, порядок нельзя менять произвольно.

Почему композиция функций важна для ИИ: нейронная сеть по сути представляет собой композицию многих слоёв функций.

Двухслойную сеть можно записать как, где— первый слой (линейное преобразование + функция активации),— второй слой.

Алгоритм обратного распространения ошибки вычисляет градиенты "слой за слоем" именно из-зацепного правиладля дифференцирования композиции функций (будет подробно рассмотрено в последующих курсах математического анализа).

Примеры

# Проверка вычисления композиции функций и "некоммутативности порядка"
def f(x):
    return x ** 2          # Внешняя функция f(x) = x²

def g(x):
    return x + 1           # Внутренняя функция g(x) = x + 1

# f(g(x)): сначала вычислим g(3) = 4, затем подставим в f и получим 16
print(f(g(3)))

# g(f(x)): сначала вычислим f(3) = 9, затем подставим в g и получим 10
# Эти два значения не равны, а значит, порядок композиции нельзя менять местами
print(g(f(3)))

Результат выполнения приведённого выше кода:

16
10

Упражнение: Пусть,, найдитеи, и сравните, совпадают ли эти два.

Нажмите, чтобы увидеть ответ

Эти два различаются, что указывает на то, что порядок композиции функций нельзя менять местами.


Возведение в степень и логарифмы

Одно предложение, чтобы понять разделение труда между этими двумя функциями:Экспоненциальная функция отвечает за «усиление/сжатие числовых диапазонов»; логарифмическая функция отвечает за «превращение умножения/деления в сложение/вычитание и сжатие значений большого диапазона в управляемый диапазон»。

Они неоднократно встречаются при разработке функций потерь и функций активации в ИИ.

Стремится к 0 при увеличении x, сжимая любое действительное число в интервал (0,1)
Сценарии ИИФормулаИспользуемое свойство
сигмоидная функция
функция softmaxЭкспоненты усиливают различия, затем нормализуют в распределение вероятностей
Кросс-энтропийная потеряЛогарифм превращает «умножение вероятностей» в «сложение значений», избегая антипереполнения
Информационная энтропиялогарифм обеспечивает аддитивность энтропии

Правила, которыми вы должны свободно владеть

Правила операций с экспонентами:

Правила операций с логарифмами, взаимно однозначно соответствующие правилам для экспонент:

Формула перехода к новому основанию, преобразующая логарифмы по любому основанию в натуральные логарифмы:

Экспоненты и логарифмы — зеркальное отражение друг друга

Показательная функцияи логарифмическая функцияявляются взаимно обратными функциями, и их графики симметричны относительно прямойсимметричны.

Перетащите ползунок, чтобы изменить основание a, и понаблюдайте, как две кривые движутся вместе.

Интерактивная демонстрация: экспоненты и логарифмы — зеркальные отражения друг друга
Перетащите ползунок, чтобы изменить основание a; две кривые всегда симметричны относительно серой штриховой линии y = x.
Синяя кривая — экспоненциальная функция y = a^x, зелёная — логарифмическая функция y = log_a(x), а серая штриховая линия — ось симметрии y = x.

Упражнение на вывод: почему кросс-энтропия использует log

Предположим, истинная метка — "cat" (вероятность 1), а модель предсказывает вероятность "это cat" как。

Если не использовать log, а напрямую использоватьв качестве функции потерь, то когда p падает с 0.5 до 0.1, потери растут только "линейно", и штраф недостаточен.

использовать: когда(модель чрезвычайно уверена, но ошибается),, налагать чрезвычайно суровое наказание; когда(предсказание верно),, почти никакого наказания.

Это прямое применение формы логарифмической функции — "крутая вблизи 0, пологая вблизи 1" — при проектировании функции потерь. В главе 2 с помощью интерактивного изображения будет специально продемонстрирована эта кривая.

Примеры

# Используйте код, чтобы проверить правило логарифма: log(mn) = log(m) + log(n)
import math

m, n = 8, 4

# Слева: напрямую вычислить log₂(8×4)
left = math.log(m * n, 2)

# Справа: log₂(8) + log₂(4)
right = math.log(m, 2) + math.log(n, 2)

print(left)   # log₂32 = 5
print(right)  # 3 + 2 = 5, они равны, правило выполняется
print(abs(left - right) < 1e-12)

Запуск приведённого выше кода выводит:

5.0
5.0
True

Упражнение: Вычислите, и используйте правила логарифмов, чтобы упростить до одного логарифма.

Нажмите, чтобы увидеть ответ


Последовательности и ряды: понимание Σ и сходимости

Последовательность — это набор чисел, расположенных в определённом порядке, обозначается как, сокращённо。

Два самых базовых типа последовательностей:

TypeХарактеристикаПримерФормула общего члена
Арифметическая прогрессияРазность между соседними членами постоянна (разность d)2, 5, 8, 11, ...(d=3)
Геометрическая прогрессияОтношение между соседними членами постоянно (знаменатель r)2, 4, 8, 16, ...(r=2)

Что на самом деле вычисляет символ суммирования Σ?

Это означает: пусть индекс i пробегает от 1 до n, и для каждоговычислить его, затем сложить их все вместе.

Метод трёх шагов для чтения формулы с Σ: сначала посмотрите напеременную суммированиякоторая является индексом, затем посмотрите надиапазон суммирования(откуда и до куда), и наконец посмотрите нато, как выглядит каждый член。

В формулах ИИ почти всегда можно увидеть Σ, например, потерю среднеквадратичной ошибки, и взвешенную сумму нейрона。

Две формулы суммирования: арифметическая прогрессия, геометрическая прогрессия ()。

Ряды и сходимость

Ряд — это сумма «бесконечно многих членов» последовательности, то есть。

Когда складывают бесконечно много чисел, будет ли результат бесконечным? Это вопрос сходимости и расходимости:

Если по мере увеличения числа членов накопленная сумма приближается копределённому конечному значению, говорят, что ряд сходится; если сумма неограниченно растёт или не имеет фиксированной тенденции, говорят, что ряд расходится.

Самый классический пример — геометрический ряд:

Когдасходится при , а сумма равна; когдарасходится при .

Нажмите кнопку «Воспроизвести», чтобы шаг за шагом наблюдать, как частичные суммы приближаются к пределу.

Интерактивная демонстрация: процесс сходимости геометрического ряда
Перетащите ползунок, чтобы изменить знаменатель r, затем нажмите «Воспроизвести», чтобы наблюдать, как частичные суммы S₁, S₂, ... приближаются (или удаляются) к пределу 1/(1-r).
Красная пунктирная линия — теоретический предел 1/(1-r). Когда |r| близко к 0.9, сходимость становится заметно медленнее; если |r| ≥ 1 (ползунок в этой демонстрации ограничен значением 0.9), ряд расходится.

Почему сходимость важна для ИИ

При обучении нейронных сетей каждый шаг обновления градиентного спуска можно рассматривать как последовательность; то, могут ли обновления весов «сойтись» к стабильному значению, имеет ту же интуицию, что и сходимость рядов.

Некоторые алгоритмы оптимизации (например, момент в Adam) по сути выполняютвзвешенное экспоненциально затухающее суммирование, математическая форма которого — геометрический ряд со знаменателем меньше 1.

В рекуррентных нейронных сетях (RNN), если мультипликативный коэффициент многократно перемножается и его абсолютное значение меньше 1, это приводит к «исчезающим градиентам» (что соответствует сходимости ряда к 0); если больше 1, это приводит к «взрывающимся градиентам» (что соответствует расходимости ряда). Это классическая проблема глубокого обучения, коренящаяся именно в интуиции геометрических последовательностей.

Примеры

# Наблюдение за процессом приближения частичных сумм геометрического ряда к пределу: r = 0.5
# Теоретический предел: 1 / (1 - 0.5) = 2

r = 0.5
limit = 1 / (1 - r)      # Теоретическое предельное значение 2
s = 0                    # Частичная сумма, накопление с 0

for i in range(6):       # Накопление почленно: 1 + 0.5 + 0.25 + ...
    s += r ** i
    print(i + 1, s)      # Вывести член и частичную сумму

print(limit)             # Теоретический предел, частичные суммы становятся всё ближе и ближе к нему

Выполнение приведённого выше кода даёт следующий вывод:

1 1.0
2 1.5
3 1.75
4 1.875
5 1.9375
6 1.96875
2.0

Вы можете видеть, что с каждым добавленным членом разрыв между частичной суммой и пределом уменьшается вдвое — это в точности ритм сходимости геометрической прогрессии со знаменателем 0.5.

Упражнение: Определите, сходится ли ряд, и если да, найдите его сумму.

Нажмите, чтобы увидеть ответ

Знаменательудовлетворяет условию, ряд сходится.


Итоги главы

ТемаОсновная идея в одном предложении
Уравнения и неравенстваВыполняйте одну и ту же операцию с обеими сторонами; меняйте знак неравенства на противоположный при умножении/делении на отрицательное число
Понятие функцииОбласть определения — это "что можно подать на вход", область значений — "что можно получить на выходе", а композиция функций — это "функция внутри функции"
Степени и логарифмыЭкспоненты усиливают/сжимают значения, логарифмы превращают умножение и деление в сложение и вычитание — ключевые инструменты для функций потерь ИИ
Последовательности и рядыΣ означает «сумму по правилу»; сходимость ряда определяет, будет ли стабильным обучение модели
Другие расширения