Геометрия и тригонометрия

В этой главе формируется интуиция о векторах как о 'направлении + длине', развивается понимание основных тригонометрических функций, а пространственная интуиция систем координат используется как ступенька для изучения 'векторных пространств' в линейной алгебре.

Векторные представления слов, вычисления сходства в рекомендательных системах и позиционное кодирование в Трансформерах — всё это основано на геометрической интуиции из этой главы.


Векторы на плоскости: направление + длина

Что такое вектор?

Обычное число (скаляр) несёт только одну единицу информации: 'величину', например, 'температура равна 25 градусам'.

Векторнесёт одновременно две единицы информации:НаправлениеиДлина (модуль)。

В плоской прямоугольной системе координат вектор записывается в координатной форме, что представляет положение, достигаемое, если 'начать из начала координат, переместиться на x единиц вдоль направления x и на y единиц вдоль направления y'. Сама стрелка кодирует направление и длину.

Длина вектора (модуль)

Это теорема Пифагора: длина вектора — это гипотенуза прямоугольного треугольника, образованного его компонентами вдоль оси x и оси y.

Сложение векторов и умножение на скаляр

ДействиеАлгебраическое правилоГеометрический смысл
СложениеПравило «конец к началу»: соедините начало второго вектора с концом первого вектора
Умножение на скалярИзменяет только длину (при отрицательном k направление меняется на противоположное), не изменяя прямую, на которой лежит направление

Скалярное произведение векторов: измерение того, насколько близки два направления

где— угол между двумя векторами. Знак скалярного произведения имеет ясный геометрический смысл:

Знак скалярного произведенияДиапазон углаГеометрический смысл
Направления примерно совпадают
Два вектора перпендикулярны (ортогональны)
Примерно противоположные направления
Интерактивная демонстрация: угол и скалярное произведение векторов
Синий вектор a фиксирован и направлен вправо. Перетащите ползунок, чтобы повернуть зелёный вектор b и изменить его длину, и наблюдайте за знаком скалярного произведения (зелёный означает близкие направления, красный — противоположные, серый — перпендикулярные).

Почему векторы критически важны для ИИ

В машинном обучении точка данных (изображение, эмбеддинг фрагмента текста, признаки пользователя) по сути являетсявектором в многомерном пространстве.。

Чем больше скалярное произведение (или косинус угла) векторов-эмбеддингов двух слов, тем более семантически похожими обычно являются эти два слова. Это математическая основа «вычисления сходства» в векторных представлениях слов и рекомендательных системах.

То, что делает каждый слой нейронной сети,по сути является скалярным произведением вектора весов и входного вектора.

Примеры

# Длина вектора, скалярное произведение и косинус угла (прототип сходства векторных представлений слов)
import math

# Два «вектора слов»: предположим эмбеддинги двух слов (упрощённо до 2D)
король  = (3, 4)
королева = (4, 3)

# Норма |v| = sqrt(x² + y²)
norm_king  = math.sqrt(3**2 + 4**2)   # 5
norm_queen = math.sqrt(4**2 + 3**2)   # 5
print(norm_king, norm_queen)

# Скалярное произведение a·b = a₁b₁ + a₂b₂
dot = king[0] * queen[0] + king[1] * queen[1]
print(dot)

# Косинус угла cos θ = (a·b) / (|a||b|); чем ближе к 1, тем ближе направления двух векторов
cos_theta = dot / (norm_king * norm_queen)
print(cos_theta)

При выполнении приведённого выше кода выводится:

5.0 5.0
24
0.96

Косинусное сходство 0.96 означает, что направления двух векторов очень близки; это и есть геометрическое выражение "семантической близости".

Упражнение: вектор, найдите его длину。

Нажмите, чтобы увидеть ответ


Основные тригонометрические функции: sin и cos

От прямоугольных треугольников к единичной окружности

Когда только начинают изучать тригонометрические функции, обычно начинают с отношений длин сторон прямоугольного треугольника:

Более общий и более подходящий для сценариев ИИ способ понять их — этоопределение через единичную окружность: На окружности радиуса 1, от положительной оси x при повороте против часовой стрелки на уголсоответствующая точка имеет координаты。

Преимущество этого определения в следующем:Оно может принимать любой угол (не ограничиваясь 0°~90°). Sin и cos продолжают «ходить по кругу», когда θ изменяется, демонстрируяпериодичность(каждый полный оборот — это 360°, т. е.,2π радиан, значения повторяются один раз).

Нажмите «Play», чтобы увидеть, как точка на единичной окружности вычерчивает синусоиду.

Динамическая демонстрация: единичная окружность порождает синусоиду
Когда точка на единичной окружности вращается против часовой стрелки на угол θ, её высота (sin θ) записывается точка за точкой справа, образуя красную синусоидальную кривую; её горизонтальная проекция (cos θ) отмечена синим.

Ключевые свойства

СвойстваВыражениеЗначение
ОграниченностьКаким бы большим ни был угол, значение всегда лежит в [-1, 1]
ПериодичностьПри каждом полном обороте значение повторяется один раз
Соотношение квадратовПрямое следствие того, что радиус единичной окружности равен 1 (теорема Пифагора)

sin, cos и позиционное кодирование

При обработке последовательности текста модель Transformer по своей природе не знает «порядок слов» (она обрабатывает все слова параллельно).

Чтобы закодировать информацию о «позиции» в модель, Transformer использует следующую формулу:

Здесь используются два ключевых свойства sin/cos:

Ограниченность: Какой бы длинной ни была последовательность, значения позиционного кодирования не взорвутся; они всегда остаются в пределах [-1, 1] и не мешают другим численным вычислениям.

Периодичность + суперпозиция разных частот: Разные размерности используют sin/cos-волны разных частот, поэтому модель может различать «соседние позиции» (высокочастотные волны меняются быстро), а также воспринимать «дальние позиционные связи» (низкочастотные волны меняются медленно).

За этим стоит то же самое, что и в обработке сигналов,преобразование Фурье.Идея общая: любой сложный сигнал можно представить в виде суперпозиции ряда синусоидальных волн разных частот.

Интерактивная демонстрация: тепловая карта позиционного кодирования
По горизонтальной оси отложена позиция в последовательности (0~49), по вертикальной — размерность кодирования (0~15), а цветом показано значение кодирования. Видно, что младшие размерности (сверху) имеют быстро меняющиеся волны, а старшие размерности (снизу) — медленно меняющиеся волны -- sin/cos разных частот накладываются друг на друга.
Красный соответствует положительным значениям, синий — отрицательным, что согласуется с формами волн sin/cos. Размерность кодирования настоящего Transformer обычно равна 512 или даже больше; здесь для иллюстрации показаны только первые 16 размерностей.

Примеры

# Вычисление позиционного кодирования вручную: распределение частот первых нескольких размерностей при d=16
import math

d = 16   # Общая размерность кодирования (для иллюстрации; в реальной модели 512+)

# Угловая частота размерности 2i равна 1 / 10000^(2i/d)
# Младшие размерности имеют высокую частоту (различают соседние позиции), старшие размерности имеют низкую частоту (воспринимают длинные расстояния)
for i in [0, 2, 4]:
    freq = 1 / (10000 ** (i / d))
    print(i, round(freq, 6))

# значение sin-кодирования при pos=3 в размерности 0: sin(3 * 1.0)
print(round(math.sin(3 * 1.0), 6))

При выполнении приведённого выше кода выводится:

0 1.0
2 0.316228
4 0.1
0.14112

Частота размерности 0 равна 1.0, а у размерности 4 она спадает до 0.1 -- частота экспоненциально убывает вдоль размерностей; это в точности порядок «сначала высокая частота, позже низкая».


Системы координат и пространственная интуиция

Двумерная система координат — отправная точка для понимания «многомерных пространств»

Прямоугольная система координат на плоскостиИспользуйте две взаимно перпендикулярные числовые оси, чтобы дать каждой точке плоскости уникальный «адрес».

Эту интуитивную идею можно напрямую расширить: добавьте ось z для трёхмерного пространства, а для n-мерного пространства это。

Хотя n-мерное пространство нельзя нарисовать напрямую, алгебраическая работа с ним точно такая же: каждая координатная ось («измерение») по-прежнему является независимым направлением.

Что это означает для понимания «векторных пространств» в линейной алгебре

Двумерная интуицияОбобщение на многомерный случайПрименения в ИИ
Проекция: компонента вектора вдоль осиПроекция многомерного вектора на произвольное направлениеСкалярное произведение / ортогональное разложение — основа алгоритмов снижения размерности
Ортогональность: два направления перпендикулярны и не влияют друг на друга"Ортогональный базис" в многомерном пространствеСнижение размерности методом PCA находит взаимно ортогональные главные направления
Базис: оси x и y — это самые базовые опорные направленияЛюбой вектор записывается как комбинация базисных векторовРазмерность пространства эмбеддингов равна числу базисных векторов

Размерность эмбеддингов многих языковых моделей составляет от сотен до тысяч (например, 768 измерений). Вы не можете нарисовать это пространство на бумаге, но можете "представить" его, используя знакомые операции из 2D и 3D.

Конкретная аналогия

Представьте, что вы описываете фильм; вы можете оценить его по многим измерениям, таким как "количество сцен действия", "уровень юмора", "сложность сюжета" и так далее.

Каждый фильм соответствует точке (вектору) в этом "многомерном пространстве оценок".

Чем более похожи два фильма, тем "ближе" их соответствующие векторы в пространстве (большое скалярное произведение, маленький угол).

Это в точности геометрическая интуиция, лежащая в основе "рекомендации похожего контента" в рекомендательных системах, и источник этой интуиции — пространственное представление о том, "близки ли две точки" в двумерной системе координат.

Упражнение: Если у вектора большая проекция вдоль направления оси x и почти нулевая проекция вдоль направления оси y, что это говорит об общем направлении вектора?

Нажмите, чтобы увидеть ответ

Направление почти совпадает с осью x: его «вклад» в направлении y очень мал, а значит, оно почти перпендикулярно оси y и почти параллельно оси x.


Краткое содержание главы

ТемаОсновная идея в одном предложении
Вектор на плоскостиНесёт в себе как «направление», так и «длину», и является базовой единицей многомерных данных (эмбеддинга)
Скалярное произведениеИзмеряет, насколько «близки» два направления; это математическая основа вычисления сходства
sin / cosКоординаты на единичной окружности обладают периодичностью и ограниченностью и являются математическим инструментом для позиционного кодирования
Система координатПространственная интуиция 2D/3D — это отправная точка для понимания n-мерных векторных пространств, проекции, ортогональности и других понятий
Дополнительные расширения