Формы данных -- скаляры, векторы, матрицы, тензоры

В мире ИИ все данные — будь то изображение, фрагмент текста или аудиоклип — в конечном итоге организуются в единую форму:Тензор。

Тензор — это общий термин; в зависимости от числа измерений он имеет разные названия.

От нульмерных к многомерным: многоуровневые вложенные структуры данных

Скаляр
26
0-мерный: одно число
Чтобы найти его, координаты не нужны
Вектор
[22, 23, 24, 26]
1-мерный: упорядоченная последовательность чисел
1 координата: Какая?
Matrix
2D-таблица
2-мерный: таблица, состоящая из строк и столбцов
2 координаты: Какая строка? Какой столбец?
Тензор
Куб данных
3-мерные и выше: несколько таблиц, уложенных друг на друга
3+ координаты, чтобы найти число

Другой способ понять это — «вложенность» — скаляр находится на самом внутреннем уровне; обернув его на один уровень, получаем вектор, обернув его, получаем матрицу, а продолжая оборачивать, получаем тензоры более высокой размерности.

Тензор: стопка таблиц
Матрица: одна таблица
Вектор: строка чисел
Скаляр: одно число

В фреймворках глубокого обучения, таких как PyTorch и TensorFlow, все данные единообразно представляются как «тензоры».

Скаляр — это 0-мерный тензор, вектор — это 1-мерный тензор, а матрица — это 2-мерный тензор — они являются частными случаями тензоров.

Понимание форм данных с размерностями

Скаляр (0-мерный)

Это просто число. Например, температура 26°C. В NumPy форма отображается как пустой кортеж.()。

Вектор (1-мерный)

Упорядоченная последовательность чисел. Например, записи температуры для каждого часа суток. Форма —(n,), где n — количество элементов.

Матрица (2-мерная)

Таблица со строками и столбцами. Например, таблица температуры на 7 дней недели и 24 часа в сутках. Форма —(number of rows, number of columns)。

Тензор (3 измерения и выше)

Несколько слоёв данных, сложенных вместе. Например, температуры для 300 городов по всей стране, для каждого города за 7 дней недели и 24 часа в сутки. Форма —(number of cities, number of days, number of hours)i.e.(300, 7, 24)。

Измерения можно просто понять так:сколько «координат» нужно, чтобы точно указать конкретное число.


Примеры из реальной жизни

Ниже мы используем постепенный сценарий, чтобы закрепить понимание.

Сценарий 1: запись температуры прямо сейчас

Вам нужно записать только одно число:26. Этоскаляр. У него нет измерений; это просто изолированное значение.

Сценарий 2: запись изменений температуры в течение дня

Вы измеряете раз в час с утра до вечера, получая 24 числа:[22, 23, 24, 26, 28, ...]。

Этовектор. Вам нужна одна координата (какой час), чтобы найти определённое значение температуры.

Сценарий 3: запись температур за неделю

Вы размещаете данные за семь дней в таблицу: каждая строка — день, каждый столбец — час.

Этоматрицас 7 строками и 24 столбцами. Нужны две координаты (какой день, какой час), чтобы определить местоположение.

Сценарий 4: Запись температур в городах по всей стране

По всей стране есть 300 городов, и у каждого города есть таблица 7×24.

Если сложить эти 300 таблиц вместе, получится3D-тензор. Нужны три координаты (какой город, какой день, какой час).


Математические определения

Скаляр

Скаляр — это одно число, обозначаемое как \( a = 26 \), или \( x \in \mathbb{R} \) (x принадлежит множеству действительных чисел).

Вектор

Вектор — это упорядоченный набор чисел, обычно записываемый вертикально (вектор-столбец):

\[ \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \in \mathbb{R}^{n} \]

\( \mathbb{R}^{n} \) означает, что это n-мерный действительный вектор, \( v_1 \) — 1-я компонента, а \( v_n \) — n-я компонента.

Matrix

Матрица — это прямоугольный массив с m строками и n столбцами:

\[ \mathbf{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \in \mathbb{R}^{m \times n} \]

Она обозначается как матрица m×n (m строк, n столбцов), где \( a_{ij} \) — элемент в i-й строке и j-м столбце.

Тензор

Тензор — это обобщение векторов и матриц на произвольные размерности.

Форма k-мерного тензора обозначается как \( (d_1, d_2, \dots, d_k) \), а общее число элементов равно \( d_1 \times d_2 \times \cdots \times d_k \).

Краткая справочная таблица сравнения

NameРазмерностьПример формыКоличество координатМатематическое обозначение
Скаляр0()0\( x \in \mathbb{R} \)
Вектор1(n,)1\( \mathbf{v} \in \mathbb{R}^{n} \)
Matrix2(m, n)2\( \mathbf{A} \in \mathbb{R}^{m \times n} \)
3D-тензор3(d1, d2, d3)3\( \mathcal{T} \in \mathbb{R}^{d_1 \times d_2 \times d_3} \)

Практическое упражнение на Python

Далее мы используем NumPy, чтобы создавать и проверять эти структуры данных.атрибут shapeявляется ключом к пониманию размерностей данных.

Примеры

import numpy as np

# Скаляр (0-мерный тензор): shape = ()
scalar = np.array(26)
# Вектор (1-мерный тензор): shape = (n,)
vector = np.array([22, 23, 24, 26, 28, 30, 31, 29])
# Матрица (2-мерный тензор): shape = (строки, столбцы)
matrix = np.array([[1, 2, 3], [4, 5, 6]])
# 3D тензор: shape = (слои, строки, столбцы)
tensor_3d = np.array([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
# 4D тензор: имитация 3 одноканальных изображений с пикселями 2x2
batch_images = np.array([
    [[[10],[20]],[[30],[40]]],
    [[[50],[60]],[[70],[80]]],
    [[[90],[100]],[[110],[120]]]
])

print("Скаляр: shape=", scalar.shape, " ndim=", scalar.ndim)
print("Вектор: shape=", vector.shape, " ndim=", vector.ndim)
print("Матрица: shape=", matrix.shape, " ndim=", matrix.ndim)
print("3D тензор: shape=", tensor_3d.shape, " ndim=", tensor_3d.ndim)
print("4D тензор: shape=", batch_images.shape, " ndim=", batch_images.ndim)

Вывод:

标量:    shape= ()        ndim= 0
向量:    shape= (8,)      ndim= 1
矩阵:    shape= (2, 3)    ndim= 2
3D 张量: shape= (2, 2, 3) ndim= 3
4D 张量: shape= (3, 2, 2, 1) ndim= 4

Закономерность атрибута Shape

AttributeЗначениеСкалярВектор (8 элементов)Матрица (2×3)3D(2×2×3)
.shapeРазмер каждого измерения()(8,)(2, 3)(2, 2, 3)
.ndimКоличество измерений = len(shape)0123
.sizeОбщее количество элементов18612

При отладке кода глубокого обучения, если вы видите ошибку несовпадения shape, первый шаг — вывести shape, чтобы проверить размерности данных.

Понимание shape — первый навык для изучения NumPy и всех фреймворков глубокого обучения.


3D-визуализация тензоров

Ниже тензор 3×3×3 изображён как 27 точек в пространстве: три координатные оси соответствуют «строке, столбцу, каналу», а интенсивность цвета каждой точки представляет значение в этой позиции. Перетащите мышь, чтобы повернуть вид.

Пространственное распределение тензора 3×3×3 · Более яркие цвета соответствуют большим значениям.

Обратите внимание: зафиксировав слой «канал», вы увидите плоскость 3×3 — это в точности тензор второго порядка (матрица). Именно поэтому говорят, что «матрица — частный случай тензора».


Сценарии применения в ИИ

Классификация изображений: от 3D-тензоров к 4D-тензорам

В задаче классификации ImageNet входные изображения приводятся к единому размеру 224×224 пикселей. Одно цветное изображение имеет shape(224, 224, 3)3D-тензор.

Во время фактического обучения GPU обрабатывает по одному батчу за раз (например, 32 изображения), и данные становятся 4D-тензором.(32, 224, 224, 3)。

Обратите внимание, что в разных фреймворках разные соглашения о положении каналов: TensorFlow/Keras используют(N, H, W, C)(Channels last), PyTorch использует(N, C, H, W)(Канал находится в самом начале).

Когда вы видите ошибку "shape mismatch: (32, 224, 224, 3) vs (32, 3, 224, 224)", она вызвана несовпадением позиций каналов — используйте.permute()или.transpose()Просто скорректируйте это.

Обработка естественного языка: матрицы эмбеддингов

Размер словаря модели BERT — 30522, а скрытая размерность — 768. Форма её матрицы эмбеддингов слов —(30522, 768)—Каждая строка — это 768-мерный вектор для слова.

То же самое верно для серии GPT: словарь GPT-2 — 50,257, а размерность эмбеддингов варьируется от 768 (маленькая модель) до 1600 (большая модель).

Когда вы вводите фрагмент текста, модель сначала ищет по таблице, чтобы преобразовать каждый ID слова в соответствующий вектор эмбеддинга; это «поиск по таблице для извлечения строк» — операция индексации матрицы.

Полносвязные слои: центральное место матричного умножения

Классическая сеть распознавания рукописных цифр MNIST: вход 784 измерения (28×28 пикселей, развёрнутых в вектор), первый скрытый слой — 256 измерений.

Форма матрицы весов W₁ —(256, 784)Каждое вычисление прямого распространения.h = W₁ @ x, то есть матрица 256×784, умноженная на 784-мерный вектор.

Прямое распространение всей нейронной сети по сути представляет собой чередование слоёв матричного умножения и функций активации.

Видеоданные: 5D-тензоры

Видео можно понимать как последовательность нескольких кадров изображения. Цветной видеоклип из 16 кадров 224×224 имеет форму(16, 224, 224, 3)。

После добавления размерности батча он становится 5D-тензором.(8, 16, 224, 224, 3)——Это стандартный вход для моделей классификации видео (таких как 3D-ResNet).


Другие расширения