Основы алгебры
В этой главе рассматриваются преобразования уравнений и неравенств, ключевые понятия функций, операции со степенями и логарифмами, а также символ суммирования Σ и сходимость рядов.
Содержание этой главы — общая математическая основа для сигмоиды, softmax, кросс-энтропии и информационной энтропии. Каждый пункт знаний сопровождается интерактивными графическими демонстрациями. Перетаскивание ползунка развивает интуицию лучше, чем десятикратное чтение формул.
Решение и преобразование уравнений и неравенств
Алгебраическое преобразование опирается на одну фразу.
Если выполнить одну и ту же операцию с обеими частями уравнения, уравнение останется верным.
Если вы одинаково обращаетесь с обеими частями уравнения — прибавляете, вычитаете, умножаете, делите (на ненулевое число) или извлекаете корни (учитывайте знак) — решения уравнения не изменятся.
Линейные уравнения с одной переменной
Самая базовая форма —。
решитьПолные шаги:
3x + 5 = 20 3x = 20 - 5 ← 两边同减 5(移项) 3x = 15 x = 15 / 3 ← 两边同除以 3 x = 5
Есть только два основных действия:Перенос (перемещение членов)(По сути, вычитание одной и той же величины из обеих частей) иДеление обеих частей。
Квадратные уравнения с одной переменной и дискриминант
Форма имеет вид, два распространённых метода решения.
Метод 1: Разложение на множители。
x² - 5x + 6 = 0 (x - 2)(x - 3) = 0 → x = 2 或 x = 3
Метод 2: Формула корней квадратного уравнения, применима во всех случаях, но требует больше вычислений:
Гденазываютдискриминантом, обозначается как, он напрямую определяет число корней:
| Дискриминант | Характер корней | Геометрический смысл (парабола и ось x) |
|---|---|---|
| Два различных действительных корня | Парабола пересекает ось x в двух точках. | |
| Один кратный корень | Парабола только касается оси x (касание) | |
| Нет действительных корней | Парабола целиком расположена выше или ниже оси x |
Ниже перетащите ползунки, чтобы изменить, и понаблюдайте, как форма параболы и дискриминант связаны.
solveПроцесс подстановки в формулу квадратного уравнения:
a=1, b=-2, c=-3 Δ = (-2)² - 4×1×(-3) = 4 + 12 = 16 x = (2 ± √16) / 2 = (2 ± 4) / 2 → x = 3 或 x = -1
Дробные уравнения: проверка обязательна в конце
Сначала найдите общий знаменатель или избавьтесь от знаменателей, затем преобразуйте его в обычное уравнение и решите.
В конце нужно подставить найденное решение в исходное уравнение и убедиться, что ни один знаменатель не обращается в ноль.
Решения, которые обращают знаменатель в ноль, нужно отбросить; они называютсяпосторонними корнями。
Неравенства: правило, в котором легче всего ошибиться
Правила преобразования неравенств похожи на правила для уравнений, но есть одно ключевое отличие.
Когда обе стороны неравенства умножаются (или делятся) на отрицательное число, знак неравенства необходимо поменять на противоположный.
решить:
-2x > -6 ← 两边同减 6 x < 3 ← 两边同除以 -2(负数,不等号从 > 变成 <)
Это правило очень важно в машинном обучении: при выводе направления сходимости алгоритмов оптимизации или условий убывания функции потерь, если знак обработан в неверном направлении, вывод будет полностью противоположным.
Система неравенствМножество решений системы — это взятьпересечение множеств решений нескольких неравенств.:
x > 1 x < 5 → 解集为 1 < x < 5
Общие приёмы преобразования
| Техника | Метод | Типичное использование |
|---|---|---|
| Перенос | Перенести член на другую сторону от знака равенства и изменить его знак. | Основная операция для решения всех уравнений. |
| Выделение полного квадрата | Нахождение вершины квадратичной функции, упрощение вывода функций потерь. | |
| Метод подстановки | Замените сложное подвыражение, которое встречается многократно, новой переменной. | Упростите выражения со сложной структурой. |
Примеры
import math
def solve_quadratic(a, b, c):
"""Решить ax^2 + bx + c = 0, вернуть все действительные корни"""
delta = b * b - 4 * a * c # Дискриминант Δ = b² - 4ac
if delta > 0: # Δ > 0: два различных действительных корня
r = math.sqrt(delta)
return [(-b + r) / (2 * a), (-b - r) / (2 * a)]
elif delta == 0: # Δ = 0: один кратный корень
return [-b / (2 * a)]
else: # Δ < 0: нет действительных корней
return []
# Проверить x² - 2x - 3 = 0; ранее ручной расчёт дал x = 3 или x = -1
print(solve_quadratic(1, -2, -3))
# Случай Δ = 0: x² - 4x + 4 = 0, то есть (x-2)² = 0
print(solve_quadratic(1, -4, 4))
# Случай Δ < 0: x² + x + 1 = 0
print(solve_quadratic(1, 1, 1))
Запуск приведённого выше кода даёт следующий вывод:
[3.0, -1.0] [2.0] []
Упражнение: Решите неравенство。
Нажмите, чтобы увидеть ответ
Вычтите 9 из обеих частей:; разделите обе части на -3 (отрицательное число, знак неравенства меняется на противоположный):。
Понятие функций: область определения, область значений, композиция функций
Функцияописывает правило отображения из «входа в выход»:Для каждого входного значения x существует ровно одно соответствующее ему выходное значение y。
Записывается как, читается как «y — функция от x».
Область определения: множество всех «допустимых входных значений»
Нахождение области определения по сути означает исключение значений, которые делают выражение «бессмысленным»:
| Особенность выражения | Ограничение | Пример |
|---|---|---|
| Знаменатель | не может быть равен 0 | |
| Корень чётной степени | Значение под корнем не может быть отрицательным | |
| Логарифм | Аргумент должен быть больше 0 |
Это логарифмическое правило особенно важно в ИИ: везде, где используется log (например, в кросс-энтропийной потере), необходимо следить, чтобы вход был положительным. Именно поэтому во многих реализациях кода его записывают как—добавляя очень маленькую константу ε, чтобы предотвратитьошибки или бесконечные значения.
Область значений: множество всех "возможных выходных значений"
Область значений равна, потому что квадрат всегда неотрицателен.
Сигмоидная функцияимеет область значений открытый интервал, никогда не равна 0 или 1, только бесконечно приближается к ним.
Именно такова математическая причина, по которой его используют для обозначения "вероятности": вероятности теоретически могут бесконечно приближаться к 0% или 100%, но никогда не становятся точно равными им.
Композиция функций: функция внутри функции
Использование выхода одной функции в качестве входа другой, записывается как。
Порядок вычисления таков:Сначала вычисляем внутреннюю g(x), затем подставляем результат во внешнюю f。
спроектировать,, чтобы найти:
f(g(x)) = f(x+1) = (x+1)²
обычно не равно, порядок нельзя менять произвольно.
Почему композиция функций важна для ИИ: нейронная сеть по сути представляет собой композицию многих слоёв функций.
Двухслойную сеть можно записать как, где— первый слой (линейное преобразование + функция активации),— второй слой.
Алгоритм обратного распространения ошибки вычисляет градиенты "слой за слоем" именно из-зацепного правиладля дифференцирования композиции функций (будет подробно рассмотрено в последующих курсах математического анализа).
Примеры
def f(x):
return x ** 2 # Внешняя функция f(x) = x²
def g(x):
return x + 1 # Внутренняя функция g(x) = x + 1
# f(g(x)): сначала вычислим g(3) = 4, затем подставим в f и получим 16
print(f(g(3)))
# g(f(x)): сначала вычислим f(3) = 9, затем подставим в g и получим 10
# Эти два значения не равны, а значит, порядок композиции нельзя менять местами
print(g(f(3)))
Результат выполнения приведённого выше кода:
16 10
Упражнение: Пусть,, найдитеи, и сравните, совпадают ли эти два.
Нажмите, чтобы увидеть ответ
Эти два различаются, что указывает на то, что порядок композиции функций нельзя менять местами.
Возведение в степень и логарифмы
Одно предложение, чтобы понять разделение труда между этими двумя функциями:Экспоненциальная функция отвечает за «усиление/сжатие числовых диапазонов»; логарифмическая функция отвечает за «превращение умножения/деления в сложение/вычитание и сжатие значений большого диапазона в управляемый диапазон»。
Они неоднократно встречаются при разработке функций потерь и функций активации в ИИ.
| Сценарии ИИ | Формула | Используемое свойство |
|---|---|---|
| сигмоидная функция | Стремится к 0 при увеличении x, сжимая любое действительное число в интервал (0,1) | |
| функция softmax | Экспоненты усиливают различия, затем нормализуют в распределение вероятностей | |
| Кросс-энтропийная потеря | Логарифм превращает «умножение вероятностей» в «сложение значений», избегая антипереполнения | |
| Информационная энтропия | логарифм обеспечивает аддитивность энтропии |
Правила, которыми вы должны свободно владеть
Правила операций с экспонентами:
Правила операций с логарифмами, взаимно однозначно соответствующие правилам для экспонент:
Формула перехода к новому основанию, преобразующая логарифмы по любому основанию в натуральные логарифмы:
Экспоненты и логарифмы — зеркальное отражение друг друга
Показательная функцияи логарифмическая функцияявляются взаимно обратными функциями, и их графики симметричны относительно прямойсимметричны.
Перетащите ползунок, чтобы изменить основание a, и понаблюдайте, как две кривые движутся вместе.
Упражнение на вывод: почему кросс-энтропия использует log
Предположим, истинная метка — "cat" (вероятность 1), а модель предсказывает вероятность "это cat" как。
Если не использовать log, а напрямую использоватьв качестве функции потерь, то когда p падает с 0.5 до 0.1, потери растут только "линейно", и штраф недостаточен.
использовать: когда(модель чрезвычайно уверена, но ошибается),, налагать чрезвычайно суровое наказание; когда(предсказание верно),, почти никакого наказания.
Это прямое применение формы логарифмической функции — "крутая вблизи 0, пологая вблизи 1" — при проектировании функции потерь. В главе 2 с помощью интерактивного изображения будет специально продемонстрирована эта кривая.
Примеры
import math
m, n = 8, 4
# Слева: напрямую вычислить log₂(8×4)
left = math.log(m * n, 2)
# Справа: log₂(8) + log₂(4)
right = math.log(m, 2) + math.log(n, 2)
print(left) # log₂32 = 5
print(right) # 3 + 2 = 5, они равны, правило выполняется
print(abs(left - right) < 1e-12)
Запуск приведённого выше кода выводит:
5.0 5.0 True
Упражнение: Вычислите, и используйте правила логарифмов, чтобы упростить до одного логарифма.
Нажмите, чтобы увидеть ответ
Последовательности и ряды: понимание Σ и сходимости
Последовательность — это набор чисел, расположенных в определённом порядке, обозначается как, сокращённо。
Два самых базовых типа последовательностей:
| Type | Характеристика | Пример | Формула общего члена |
|---|---|---|---|
| Арифметическая прогрессия | Разность между соседними членами постоянна (разность d) | 2, 5, 8, 11, ...(d=3) | |
| Геометрическая прогрессия | Отношение между соседними членами постоянно (знаменатель r) | 2, 4, 8, 16, ...(r=2) |
Что на самом деле вычисляет символ суммирования Σ?
Это означает: пусть индекс i пробегает от 1 до n, и для каждоговычислить его, затем сложить их все вместе.
Метод трёх шагов для чтения формулы с Σ: сначала посмотрите напеременную суммированиякоторая является индексом, затем посмотрите надиапазон суммирования(откуда и до куда), и наконец посмотрите нато, как выглядит каждый член。
В формулах ИИ почти всегда можно увидеть Σ, например, потерю среднеквадратичной ошибки, и взвешенную сумму нейрона。
Две формулы суммирования: арифметическая прогрессия, геометрическая прогрессия ()。
Ряды и сходимость
Ряд — это сумма «бесконечно многих членов» последовательности, то есть。
Когда складывают бесконечно много чисел, будет ли результат бесконечным? Это вопрос сходимости и расходимости:
Если по мере увеличения числа членов накопленная сумма приближается копределённому конечному значению, говорят, что ряд сходится; если сумма неограниченно растёт или не имеет фиксированной тенденции, говорят, что ряд расходится.
Самый классический пример — геометрический ряд:
Когдасходится при , а сумма равна; когдарасходится при .
Нажмите кнопку «Воспроизвести», чтобы шаг за шагом наблюдать, как частичные суммы приближаются к пределу.
Почему сходимость важна для ИИ
При обучении нейронных сетей каждый шаг обновления градиентного спуска можно рассматривать как последовательность; то, могут ли обновления весов «сойтись» к стабильному значению, имеет ту же интуицию, что и сходимость рядов.
Некоторые алгоритмы оптимизации (например, момент в Adam) по сути выполняютвзвешенное экспоненциально затухающее суммирование, математическая форма которого — геометрический ряд со знаменателем меньше 1.
В рекуррентных нейронных сетях (RNN), если мультипликативный коэффициент многократно перемножается и его абсолютное значение меньше 1, это приводит к «исчезающим градиентам» (что соответствует сходимости ряда к 0); если больше 1, это приводит к «взрывающимся градиентам» (что соответствует расходимости ряда). Это классическая проблема глубокого обучения, коренящаяся именно в интуиции геометрических последовательностей.
Примеры
# Теоретический предел: 1 / (1 - 0.5) = 2
r = 0.5
limit = 1 / (1 - r) # Теоретическое предельное значение 2
s = 0 # Частичная сумма, накопление с 0
for i in range(6): # Накопление почленно: 1 + 0.5 + 0.25 + ...
s += r ** i
print(i + 1, s) # Вывести член и частичную сумму
print(limit) # Теоретический предел, частичные суммы становятся всё ближе и ближе к нему
Выполнение приведённого выше кода даёт следующий вывод:
1 1.0 2 1.5 3 1.75 4 1.875 5 1.9375 6 1.96875 2.0
Вы можете видеть, что с каждым добавленным членом разрыв между частичной суммой и пределом уменьшается вдвое — это в точности ритм сходимости геометрической прогрессии со знаменателем 0.5.
Упражнение: Определите, сходится ли ряд, и если да, найдите его сумму.
Нажмите, чтобы увидеть ответ
Знаменательудовлетворяет условию, ряд сходится.
Итоги главы
| Тема | Основная идея в одном предложении |
|---|---|
| Уравнения и неравенства | Выполняйте одну и ту же операцию с обеими сторонами; меняйте знак неравенства на противоположный при умножении/делении на отрицательное число |
| Понятие функции | Область определения — это "что можно подать на вход", область значений — "что можно получить на выходе", а композиция функций — это "функция внутри функции" |
| Степени и логарифмы | Экспоненты усиливают/сжимают значения, логарифмы превращают умножение и деление в сложение и вычитание — ключевые инструменты для функций потерь ИИ |
| Последовательности и ряды | Σ означает «сумму по правилу»; сходимость ряда определяет, будет ли стабильным обучение модели |