Формы данных -- скаляры, векторы, матрицы, тензоры
В мире ИИ все данные — будь то изображение, фрагмент текста или аудиоклип — в конечном итоге организуются в единую форму:Тензор。
Тензор — это общий термин; в зависимости от числа измерений он имеет разные названия.
От нульмерных к многомерным: многоуровневые вложенные структуры данных
Другой способ понять это — «вложенность» — скаляр находится на самом внутреннем уровне; обернув его на один уровень, получаем вектор, обернув его, получаем матрицу, а продолжая оборачивать, получаем тензоры более высокой размерности.
В фреймворках глубокого обучения, таких как PyTorch и TensorFlow, все данные единообразно представляются как «тензоры».
Скаляр — это 0-мерный тензор, вектор — это 1-мерный тензор, а матрица — это 2-мерный тензор — они являются частными случаями тензоров.
Понимание форм данных с размерностями
Это просто число. Например, температура 26°C. В NumPy форма отображается как пустой кортеж.()。
Упорядоченная последовательность чисел. Например, записи температуры для каждого часа суток. Форма —(n,), где n — количество элементов.
Таблица со строками и столбцами. Например, таблица температуры на 7 дней недели и 24 часа в сутках. Форма —(number of rows, number of columns)。
Несколько слоёв данных, сложенных вместе. Например, температуры для 300 городов по всей стране, для каждого города за 7 дней недели и 24 часа в сутки. Форма —(number of cities, number of days, number of hours)i.e.(300, 7, 24)。
Измерения можно просто понять так:сколько «координат» нужно, чтобы точно указать конкретное число.
Примеры из реальной жизни
Ниже мы используем постепенный сценарий, чтобы закрепить понимание.
Сценарий 1: запись температуры прямо сейчас
Вам нужно записать только одно число:26. Этоскаляр. У него нет измерений; это просто изолированное значение.
Сценарий 2: запись изменений температуры в течение дня
Вы измеряете раз в час с утра до вечера, получая 24 числа:[22, 23, 24, 26, 28, ...]。
Этовектор. Вам нужна одна координата (какой час), чтобы найти определённое значение температуры.
Сценарий 3: запись температур за неделю
Вы размещаете данные за семь дней в таблицу: каждая строка — день, каждый столбец — час.
Этоматрицас 7 строками и 24 столбцами. Нужны две координаты (какой день, какой час), чтобы определить местоположение.
Сценарий 4: Запись температур в городах по всей стране
По всей стране есть 300 городов, и у каждого города есть таблица 7×24.
Если сложить эти 300 таблиц вместе, получится3D-тензор. Нужны три координаты (какой город, какой день, какой час).
Математические определения
Скаляр
Скаляр — это одно число, обозначаемое как \( a = 26 \), или \( x \in \mathbb{R} \) (x принадлежит множеству действительных чисел).
Вектор
Вектор — это упорядоченный набор чисел, обычно записываемый вертикально (вектор-столбец):
\[ \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \in \mathbb{R}^{n} \]\( \mathbb{R}^{n} \) означает, что это n-мерный действительный вектор, \( v_1 \) — 1-я компонента, а \( v_n \) — n-я компонента.
Matrix
Матрица — это прямоугольный массив с m строками и n столбцами:
\[ \mathbf{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \in \mathbb{R}^{m \times n} \]Она обозначается как матрица m×n (m строк, n столбцов), где \( a_{ij} \) — элемент в i-й строке и j-м столбце.
Тензор
Тензор — это обобщение векторов и матриц на произвольные размерности.
Форма k-мерного тензора обозначается как \( (d_1, d_2, \dots, d_k) \), а общее число элементов равно \( d_1 \times d_2 \times \cdots \times d_k \).
Краткая справочная таблица сравнения
| Name | Размерность | Пример формы | Количество координат | Математическое обозначение |
|---|---|---|---|---|
| Скаляр | 0 | () | 0 | \( x \in \mathbb{R} \) |
| Вектор | 1 | (n,) | 1 | \( \mathbf{v} \in \mathbb{R}^{n} \) |
| Matrix | 2 | (m, n) | 2 | \( \mathbf{A} \in \mathbb{R}^{m \times n} \) |
| 3D-тензор | 3 | (d1, d2, d3) | 3 | \( \mathcal{T} \in \mathbb{R}^{d_1 \times d_2 \times d_3} \) |
Практическое упражнение на Python
Далее мы используем NumPy, чтобы создавать и проверять эти структуры данных.атрибут shapeявляется ключом к пониманию размерностей данных.
Примеры
# Скаляр (0-мерный тензор): shape = ()
scalar = np.array(26)
# Вектор (1-мерный тензор): shape = (n,)
vector = np.array([22, 23, 24, 26, 28, 30, 31, 29])
# Матрица (2-мерный тензор): shape = (строки, столбцы)
matrix = np.array([[1, 2, 3], [4, 5, 6]])
# 3D тензор: shape = (слои, строки, столбцы)
tensor_3d = np.array([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
# 4D тензор: имитация 3 одноканальных изображений с пикселями 2x2
batch_images = np.array([
[[[10],[20]],[[30],[40]]],
[[[50],[60]],[[70],[80]]],
[[[90],[100]],[[110],[120]]]
])
print("Скаляр: shape=", scalar.shape, " ndim=", scalar.ndim)
print("Вектор: shape=", vector.shape, " ndim=", vector.ndim)
print("Матрица: shape=", matrix.shape, " ndim=", matrix.ndim)
print("3D тензор: shape=", tensor_3d.shape, " ndim=", tensor_3d.ndim)
print("4D тензор: shape=", batch_images.shape, " ndim=", batch_images.ndim)
Вывод:
标量: shape= () ndim= 0 向量: shape= (8,) ndim= 1 矩阵: shape= (2, 3) ndim= 2 3D 张量: shape= (2, 2, 3) ndim= 3 4D 张量: shape= (3, 2, 2, 1) ndim= 4
Закономерность атрибута Shape
| Attribute | Значение | Скаляр | Вектор (8 элементов) | Матрица (2×3) | 3D(2×2×3) |
|---|---|---|---|---|---|
.shape | Размер каждого измерения | () | (8,) | (2, 3) | (2, 2, 3) |
.ndim | Количество измерений = len(shape) | 0 | 1 | 2 | 3 |
.size | Общее количество элементов | 1 | 8 | 6 | 12 |
При отладке кода глубокого обучения, если вы видите ошибку несовпадения shape, первый шаг — вывести shape, чтобы проверить размерности данных.
Понимание shape — первый навык для изучения NumPy и всех фреймворков глубокого обучения.
3D-визуализация тензоров
Ниже тензор 3×3×3 изображён как 27 точек в пространстве: три координатные оси соответствуют «строке, столбцу, каналу», а интенсивность цвета каждой точки представляет значение в этой позиции. Перетащите мышь, чтобы повернуть вид.
Обратите внимание: зафиксировав слой «канал», вы увидите плоскость 3×3 — это в точности тензор второго порядка (матрица). Именно поэтому говорят, что «матрица — частный случай тензора».
Сценарии применения в ИИ
Классификация изображений: от 3D-тензоров к 4D-тензорам
В задаче классификации ImageNet входные изображения приводятся к единому размеру 224×224 пикселей. Одно цветное изображение имеет shape(224, 224, 3)3D-тензор.
Во время фактического обучения GPU обрабатывает по одному батчу за раз (например, 32 изображения), и данные становятся 4D-тензором.(32, 224, 224, 3)。
Обратите внимание, что в разных фреймворках разные соглашения о положении каналов: TensorFlow/Keras используют(N, H, W, C)(Channels last), PyTorch использует(N, C, H, W)(Канал находится в самом начале).
Когда вы видите ошибку "shape mismatch: (32, 224, 224, 3) vs (32, 3, 224, 224)", она вызвана несовпадением позиций каналов — используйте.permute()или.transpose()Просто скорректируйте это.
Обработка естественного языка: матрицы эмбеддингов
Размер словаря модели BERT — 30522, а скрытая размерность — 768. Форма её матрицы эмбеддингов слов —(30522, 768)—Каждая строка — это 768-мерный вектор для слова.
То же самое верно для серии GPT: словарь GPT-2 — 50,257, а размерность эмбеддингов варьируется от 768 (маленькая модель) до 1600 (большая модель).
Когда вы вводите фрагмент текста, модель сначала ищет по таблице, чтобы преобразовать каждый ID слова в соответствующий вектор эмбеддинга; это «поиск по таблице для извлечения строк» — операция индексации матрицы.
Полносвязные слои: центральное место матричного умножения
Классическая сеть распознавания рукописных цифр MNIST: вход 784 измерения (28×28 пикселей, развёрнутых в вектор), первый скрытый слой — 256 измерений.
Форма матрицы весов W₁ —(256, 784)Каждое вычисление прямого распространения.h = W₁ @ x, то есть матрица 256×784, умноженная на 784-мерный вектор.
Прямое распространение всей нейронной сети по сути представляет собой чередование слоёв матричного умножения и функций активации.
Видеоданные: 5D-тензоры
Видео можно понимать как последовательность нескольких кадров изображения. Цветной видеоклип из 16 кадров 224×224 имеет форму(16, 224, 224, 3)。
После добавления размерности батча он становится 5D-тензором.(8, 16, 224, 224, 3)——Это стандартный вход для моделей классификации видео (таких как 3D-ResNet).
Другие расширения