Векторные пространства и базисы -- Взгляд на мир через другую систему координат
У одного и того же местоположения разные значения долготы/широты в системе координат GPS и системе координат BeiDou — но само местоположение не изменилось.
То же самое применимо к векторам:Один и тот же вектор имеет разные координаты в разных базисах.Поняв это, вы поймёте суть снижения размерности с помощью PCA и пространств эмбеддингов слов.
Векторные пространства
Векторное пространство — это множество, элементы которого (векторы) замкнуты относительно сложения и умножения на скаляр.
Замкнутость = если сложить любые два вектора в пространстве или умножить любой вектор на скаляр, результат всё равно остаётся вектором внутри пространства.
Базис: координатная линейка для описания пространства
Базис — это набор векторов, линейные комбинации которых могут однозначно представить любой вектор в пространстве.
Стандартный базис: (1,0,0), (0,1,0), (0,0,1) — соответствующие направлениям осей x, y и z соответственно.
Линейная независимость: отсутствие избыточности
Набор векторов линейно независим = ни один из векторов не может быть представлен линейной комбинацией остальных векторов.
Интуиция: каждый вектор привносит действительно «новое направление» без лишнего.
Линейно независимы
{(1,0), (0,1)}
Каждый вектор задаёт новое направление
Ранг = 2 (полный ранг)
Линейно зависимы
{(1,2), (2,4)}
Второй = первый × 2
Ранг = 1 (избыточный)
Базис должен удовлетворять двум условиям: линейная независимость (отсутствие избыточности) + порождение всего пространства (возможность представить все векторы).
Базис n-мерного пространства содержит ровно n векторов.
Примеры из реальной жизни
Смена систем координат
Местоположение Пекина — (x₁, y₁) в системе координат Beijing 54, а (x₂, y₂) — в системе координат WGS-84.
Само местоположение не изменилось, но «линейка» (базис), используемая для его описания, отличается, поэтому числа координат различаются.
Пространство векторных представлений слов
Модель векторных представлений слов отображает каждое слово в вектор в 300-мерном пространстве. Каждое измерение этого пространства соответствует скрытому семантическому направлению.
"King - Man + Woman ≈ Queen" — все эти векторные операции происходят в этом 300-мерном векторном пространстве.
Математическое определение
\( \{\mathbf{v}_1, \dots, \mathbf{v}_n\} \) — базис = они линейно независимы + линейная оболочка{\(\mathbf{v}_1,\dots,\mathbf{v}_n\)} = всё пространство.
Линейная комбинация: \( c_1\mathbf{v}_1 + \cdots + c_n\mathbf{v}_n = \mathbf{0} \) имеет только нулевое решение → линейно независимы.
Практическое занятие по Python
Пример
# Стандартный базис
e1, e2, e3 = np.array([1,0,0]), np.array([0,1,0]), np.array([0,0,1])
v = np.array([4, 5, 6])
print("v = 4*e1 + 5*e2 + 6*e3:", 4*e1 + 5*e2 + 6*e3)
# Определить линейную независимость с помощью ранга
v1, v2 = np.array([1,2]), np.array([2,4]) # v2 = 2*v1
M = np.column_stack([v1, v2])
print(f"Ранг {{v1, v2}}: {np.linalg.matrix_rank(M)} (< 2 → линейно зависимы)")
# Замена базиса: один и тот же вектор имеет разные координаты в разных базисах
v_std = np.array([3.0, 2.0])
B_new = np.array([[2.0, 0], [0, 3.0]]) # Новый базис
v_new = np.linalg.inv(B_new) @ v_std
print(f"Стандартные координаты: {v_std}, координаты в новом базисе: {v_new}")
print(f"Проверить: B @ новые координаты = {B_new @ v_new}")
v = 4*e1 + 5*e2 + 6*e3: [4 5 6]
{v1, v2} 的秩: 1 (< 2 → 线性相关)
标准坐标: [3. 2.], 新基下坐标: [1.5 0.67]
验证 B @ 新坐标 = [3. 2.]
Сценарии применения в ИИ
Снижение размерности PCA = Смена базиса
PCA находит новый набор ортонормированных базисных векторов (направлений главных компонент), которые максимизируют дисперсию данных вдоль первых k координат в новом базисе. Снижение размерности = сохранение только первых k координат в новом базисе и отбрасывание направлений с малой дисперсией после этого. По сути, это преобразование системы координат — переход из 784-мерного пространства пикселей в 50-мерное пространство главных компонент.
Пространство векторных представлений слов
Word2Vec и GloVe отображают каждое слово в точку в 300-мерном векторном пространстве. Это пространство построено не произвольно — геометрические отношения между словами отражают семантические отношения. Синонимы близки по расстоянию, тогда как антонимы точно противоположны в определённых направлениях. Линейные операции (сложение и вычитание) в векторном пространстве соответствуют семантическим операциям.
Преобразование пространства признаков
Каждый слой нейронной сети можно рассматривать как отображение входных данных в новое векторное пространство. Данные, линейно неразделимые в исходном пространстве (например, задача XOR), становятся линейно разделимыми после преобразования скрытыми слоями в пространство признаков. Это основная интуиция глубокого обучения — послойное преобразование, в результате которого данные наконец становятся разделимыми в пространстве признаков с помощью простого классификатора.
Другие расширения