Геометрия и тригонометрия
В этой главе формируется интуиция о векторах как о 'направлении + длине', развивается понимание основных тригонометрических функций, а пространственная интуиция систем координат используется как ступенька для изучения 'векторных пространств' в линейной алгебре.
Векторные представления слов, вычисления сходства в рекомендательных системах и позиционное кодирование в Трансформерах — всё это основано на геометрической интуиции из этой главы.
Векторы на плоскости: направление + длина
Что такое вектор?
Обычное число (скаляр) несёт только одну единицу информации: 'величину', например, 'температура равна 25 градусам'.
Векторнесёт одновременно две единицы информации:НаправлениеиДлина (модуль)。
В плоской прямоугольной системе координат вектор записывается в координатной форме, что представляет положение, достигаемое, если 'начать из начала координат, переместиться на x единиц вдоль направления x и на y единиц вдоль направления y'. Сама стрелка кодирует направление и длину.
Длина вектора (модуль)
Это теорема Пифагора: длина вектора — это гипотенуза прямоугольного треугольника, образованного его компонентами вдоль оси x и оси y.
Сложение векторов и умножение на скаляр
| Действие | Алгебраическое правило | Геометрический смысл |
|---|---|---|
| Сложение | Правило «конец к началу»: соедините начало второго вектора с концом первого вектора | |
| Умножение на скаляр | Изменяет только длину (при отрицательном k направление меняется на противоположное), не изменяя прямую, на которой лежит направление |
Скалярное произведение векторов: измерение того, насколько близки два направления
где— угол между двумя векторами. Знак скалярного произведения имеет ясный геометрический смысл:
| Знак скалярного произведения | Диапазон угла | Геометрический смысл |
|---|---|---|
| Направления примерно совпадают | ||
| Два вектора перпендикулярны (ортогональны) | ||
| Примерно противоположные направления |
Почему векторы критически важны для ИИ
В машинном обучении точка данных (изображение, эмбеддинг фрагмента текста, признаки пользователя) по сути являетсявектором в многомерном пространстве.。
Чем больше скалярное произведение (или косинус угла) векторов-эмбеддингов двух слов, тем более семантически похожими обычно являются эти два слова. Это математическая основа «вычисления сходства» в векторных представлениях слов и рекомендательных системах.
То, что делает каждый слой нейронной сети,по сути является скалярным произведением вектора весов и входного вектора.
Примеры
import math
# Два «вектора слов»: предположим эмбеддинги двух слов (упрощённо до 2D)
король = (3, 4)
королева = (4, 3)
# Норма |v| = sqrt(x² + y²)
norm_king = math.sqrt(3**2 + 4**2) # 5
norm_queen = math.sqrt(4**2 + 3**2) # 5
print(norm_king, norm_queen)
# Скалярное произведение a·b = a₁b₁ + a₂b₂
dot = king[0] * queen[0] + king[1] * queen[1]
print(dot)
# Косинус угла cos θ = (a·b) / (|a||b|); чем ближе к 1, тем ближе направления двух векторов
cos_theta = dot / (norm_king * norm_queen)
print(cos_theta)
При выполнении приведённого выше кода выводится:
5.0 5.0 24 0.96
Косинусное сходство 0.96 означает, что направления двух векторов очень близки; это и есть геометрическое выражение "семантической близости".
Упражнение: вектор, найдите его длину。
Нажмите, чтобы увидеть ответ
Основные тригонометрические функции: sin и cos
От прямоугольных треугольников к единичной окружности
Когда только начинают изучать тригонометрические функции, обычно начинают с отношений длин сторон прямоугольного треугольника:
Более общий и более подходящий для сценариев ИИ способ понять их — этоопределение через единичную окружность: На окружности радиуса 1, от положительной оси x при повороте против часовой стрелки на уголсоответствующая точка имеет координаты。
Преимущество этого определения в следующем:Оно может принимать любой угол (не ограничиваясь 0°~90°). Sin и cos продолжают «ходить по кругу», когда θ изменяется, демонстрируяпериодичность(каждый полный оборот — это 360°, т. е.,2π радиан, значения повторяются один раз).
Нажмите «Play», чтобы увидеть, как точка на единичной окружности вычерчивает синусоиду.
Ключевые свойства
| Свойства | Выражение | Значение |
|---|---|---|
| Ограниченность | Каким бы большим ни был угол, значение всегда лежит в [-1, 1] | |
| Периодичность | При каждом полном обороте значение повторяется один раз | |
| Соотношение квадратов | Прямое следствие того, что радиус единичной окружности равен 1 (теорема Пифагора) |
sin, cos и позиционное кодирование
При обработке последовательности текста модель Transformer по своей природе не знает «порядок слов» (она обрабатывает все слова параллельно).
Чтобы закодировать информацию о «позиции» в модель, Transformer использует следующую формулу:
Здесь используются два ключевых свойства sin/cos:
Ограниченность: Какой бы длинной ни была последовательность, значения позиционного кодирования не взорвутся; они всегда остаются в пределах [-1, 1] и не мешают другим численным вычислениям.
Периодичность + суперпозиция разных частот: Разные размерности используют sin/cos-волны разных частот, поэтому модель может различать «соседние позиции» (высокочастотные волны меняются быстро), а также воспринимать «дальние позиционные связи» (низкочастотные волны меняются медленно).
За этим стоит то же самое, что и в обработке сигналов,преобразование Фурье.Идея общая: любой сложный сигнал можно представить в виде суперпозиции ряда синусоидальных волн разных частот.
Примеры
import math
d = 16 # Общая размерность кодирования (для иллюстрации; в реальной модели 512+)
# Угловая частота размерности 2i равна 1 / 10000^(2i/d)
# Младшие размерности имеют высокую частоту (различают соседние позиции), старшие размерности имеют низкую частоту (воспринимают длинные расстояния)
for i in [0, 2, 4]:
freq = 1 / (10000 ** (i / d))
print(i, round(freq, 6))
# значение sin-кодирования при pos=3 в размерности 0: sin(3 * 1.0)
print(round(math.sin(3 * 1.0), 6))
При выполнении приведённого выше кода выводится:
0 1.0 2 0.316228 4 0.1 0.14112
Частота размерности 0 равна 1.0, а у размерности 4 она спадает до 0.1 -- частота экспоненциально убывает вдоль размерностей; это в точности порядок «сначала высокая частота, позже низкая».
Системы координат и пространственная интуиция
Двумерная система координат — отправная точка для понимания «многомерных пространств»
Прямоугольная система координат на плоскостиИспользуйте две взаимно перпендикулярные числовые оси, чтобы дать каждой точке плоскости уникальный «адрес».
Эту интуитивную идею можно напрямую расширить: добавьте ось z для трёхмерного пространства, а для n-мерного пространства это。
Хотя n-мерное пространство нельзя нарисовать напрямую, алгебраическая работа с ним точно такая же: каждая координатная ось («измерение») по-прежнему является независимым направлением.
Что это означает для понимания «векторных пространств» в линейной алгебре
| Двумерная интуиция | Обобщение на многомерный случай | Применения в ИИ |
|---|---|---|
| Проекция: компонента вектора вдоль оси | Проекция многомерного вектора на произвольное направление | Скалярное произведение / ортогональное разложение — основа алгоритмов снижения размерности |
| Ортогональность: два направления перпендикулярны и не влияют друг на друга | "Ортогональный базис" в многомерном пространстве | Снижение размерности методом PCA находит взаимно ортогональные главные направления |
| Базис: оси x и y — это самые базовые опорные направления | Любой вектор записывается как комбинация базисных векторов | Размерность пространства эмбеддингов равна числу базисных векторов |
Размерность эмбеддингов многих языковых моделей составляет от сотен до тысяч (например, 768 измерений). Вы не можете нарисовать это пространство на бумаге, но можете "представить" его, используя знакомые операции из 2D и 3D.
Конкретная аналогия
Представьте, что вы описываете фильм; вы можете оценить его по многим измерениям, таким как "количество сцен действия", "уровень юмора", "сложность сюжета" и так далее.
Каждый фильм соответствует точке (вектору) в этом "многомерном пространстве оценок".
Чем более похожи два фильма, тем "ближе" их соответствующие векторы в пространстве (большое скалярное произведение, маленький угол).
Это в точности геометрическая интуиция, лежащая в основе "рекомендации похожего контента" в рекомендательных системах, и источник этой интуиции — пространственное представление о том, "близки ли две точки" в двумерной системе координат.
Упражнение: Если у вектора большая проекция вдоль направления оси x и почти нулевая проекция вдоль направления оси y, что это говорит об общем направлении вектора?
Нажмите, чтобы увидеть ответ
Направление почти совпадает с осью x: его «вклад» в направлении y очень мал, а значит, оно почти перпендикулярно оси y и почти параллельно оси x.
Краткое содержание главы
| Тема | Основная идея в одном предложении |
|---|---|
| Вектор на плоскости | Несёт в себе как «направление», так и «длину», и является базовой единицей многомерных данных (эмбеддинга) |
| Скалярное произведение | Измеряет, насколько «близки» два направления; это математическая основа вычисления сходства |
| sin / cos | Координаты на единичной окружности обладают периодичностью и ограниченностью и являются математическим инструментом для позиционного кодирования |
| Система координат | Пространственная интуиция 2D/3D — это отправная точка для понимания n-мерных векторных пространств, проекции, ортогональности и других понятий |