データの形状 -- スカラー、ベクトル、行列、テンソル

AI の世界では、画像・文章・音声を問わず、すべてのデータは最終的にある統一された形式に整理されます:テンソル(Tensor)。

テンソルは総称であり、次元の違いに応じて異なる名前を持ちます。

ゼロ次元から多次元へ:幾重にも入れ子になったデータ構造

スカラー Scalar
26
0次元:単一の数値
座標で位置を指定する必要がない
ベクトル Vector
[22, 23, 24, 26]
1次元:順序付けられた数値の並び
1つの座標:何番目か?
行列 Matrix
2D テーブル
2次元:行と列からなる表
2つの座標:何行目?何列目?
テンソル Tensor
データキューブ
3次元以上:複数の表を重ねたもの
3つ以上の座標で数値を特定する

もう一つの理解の仕方は「入れ子」です。スカラーが最も内側にあり、外側に1層かぶせるとベクトル、さらに1層かぶせると行列、そしてさらにかぶせると高次元のテンソルになります。

テンソル:表の束
行列:1枚の表
ベクトル:1行の数値
スカラー:1つの数値

PyTorch や TensorFlow などのディープラーニングフレームワークでは、すべてのデータは「テンソル(Tensor)」として統一的に表現されます。

スカラーは0次元テンソル、ベクトルは1次元テンソル、行列は2次元テンソルであり、これらはテンソルの特殊なケースです。

次元(Dimension)でデータの形状を理解する

スカラー(0次元)

単なる1つの数値です。たとえば気温 26°C など。NumPy では shape は空のタプルとして表示されます。()。

ベクトル(1次元)

順序付けられた数値の並びです。たとえば1日の1時間ごとの気温記録。Shape は(n,)、n は要素数です。

行列(2次元)

行と列を持つ1枚の表です。たとえば7日間、1日24時間の気温表。Shape は(行数, 列数)。

テンソル(3次元以上)

複数層のデータを重ねたものです。たとえば全国300都市、各都市7日間、1日24時間の気温。Shape は(都市数, 日数, 時間数) 即 (300, 7, 24)。

次元は簡単に次のように理解できます:特定の数値を特定するために必要な「座標」がいくつあるか。


身近な例

理解を深めるために、段階的なシナリオを使いましょう。

シナリオ1:現在の気温を記録する

数値を1つ書くだけで済みます:26。これは、スカラー。次元を持たず、ただ一つの値です。

シナリオ2:1日の気温変化を記録する

朝から晩まで1時間ごとに測定し、24個の数値を得ます:[22, 23, 24, 26, 28, ...]。

これはベクトル。ある温度値を特定するには、1つの座標(何時間目か)が必要です。

シナリオ3:1週間の気温を記録する

7日分のデータを1枚の表にします。各行が1日、各列が1時間です。

これは7行24列の行列。位置を特定するには2つの座標(何日目、何時間目)が必要です。

シナリオ4:全国の都市の気温を記録する

全国300都市あり、各都市に7×24の表があります。

この300枚の表を重ねると、3D テンソルになります。3つの座標(どの都市、何日目、何時間目)が必要です。


数学的な定義

スカラー Scalar

スカラーは単一の数値で、\( a = 26 \) または \( x \in \mathbb{R} \)(x は実数集合に属する)と表記されます。

ベクトル Vector

ベクトルは順序付けられた数値の集まりで、通常は縦に書きます(列ベクトル):

\[ \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \in \mathbb{R}^{n} \]

\( \mathbb{R}^{n} \) はn次元の実数ベクトルであることを示し、\( v_1 \) は第1成分、\( v_n \) は第n成分です。

行列 Matrix

行列はm行n列の長方形の配列です:

\[ \mathbf{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \in \mathbb{R}^{m \times n} \]

m×n 行列(m行n列)と表記し、\( a_{ij} \) は第i行第j列の要素を表します。

テンソル Tensor

テンソルは、ベクトルと行列を任意の次元へ一般化したものです。

k次元テンソルの形状は \( (d_1, d_2, \dots, d_k) \) と表記され、合計 \( d_1 \times d_2 \times \cdots \times d_k \) 個の要素を持ちます。

比較早見表

名称次元Shape の例座標の数数学的表記
スカラー0()0\( x \in \mathbb{R} \)
ベクトル1(n,)1\( \mathbf{v} \in \mathbb{R}^{n} \)
行列2(m, n)2\( \mathbf{A} \in \mathbb{R}^{m \times n} \)
3D テンソル3(d1, d2, d3)3\( \mathcal{T} \in \mathbb{R}^{d_1 \times d_2 \times d_3} \)

Python で実際に試す

次に NumPy を使ってこれらのデータ構造を作成し、確認してみましょう。shape 属性はデータの次元を理解するための鍵です。

実例

import numpy as np

# スカラー(0次元テンソル):shape = ()
scalar = np.array(26)
# ベクトル(1次元テンソル):shape = (n,)
vector = np.array([22, 23, 24, 26, 28, 30, 31, 29])
# 行列(2次元テンソル):shape = (行数, 列数)
matrix = np.array([[1, 2, 3], [4, 5, 6]])
# 3D テンソル:shape = (層数, 行数, 列数)
tensor_3d = np.array([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
# 4D テンソル:3枚の2x2ピクセルのシングルチャンネル画像を模擬
batch_images = np.array([
    [[[10],[20]],[[30],[40]]],
    [[[50],[60]],[[70],[80]]],
    [[[90],[100]],[[110],[120]]]
])

print("スカラー:    shape=", scalar.shape, "   ndim=", scalar.ndim)
print("ベクトル:    shape=", vector.shape, "   ndim=", vector.ndim)
print("行列:    shape=", matrix.shape, "   ndim=", matrix.ndim)
print("3D テンソル: shape=", tensor_3d.shape, "  ndim=", tensor_3d.ndim)
print("4D テンソル: shape=", batch_images.shape, " ndim=", batch_images.ndim)

実行出力:

标量:    shape= ()        ndim= 0
向量:    shape= (8,)      ndim= 1
矩阵:    shape= (2, 3)    ndim= 2
3D 张量: shape= (2, 2, 3) ndim= 3
4D 张量: shape= (3, 2, 2, 1) ndim= 4

Shape 属性の規則性

属性意味スカラーベクトル(8個の要素)行列(2×3)3D(2×2×3)
.shape各次元のサイズ()(8,)(2, 3)(2, 2, 3)
.ndim次元数 = len(shape)0123
.size要素の総数18612

ディープラーニングのコードをデバッグするとき、shape mismatch エラーが出たら、最初に shape を出力してデータの次元を確認します。

shape を理解することは、NumPy とすべてのディープラーニングフレームワークを学ぶための第一のスキルです。


テンソルの3次元可視化

次に 3×3×3 テンソルを空間内の27個の点として描きます。3つの座標軸はそれぞれ「行、列、チャンネル」に対応し、各点の色の濃さはその位置の数値の大きさを表します。マウスをドラッグすると視点を回転できます。

3×3×3 テンソルの空間分布 · 色が明るいほど数値が大きい

よく観察してください。「チャンネル」の層を固定すると、3×3 の平面が見えます。それはまさに2階のテンソル(行列)です。これが「行列はテンソルの特殊なケースである」と言う理由です。


AI での応用シーン

画像分類:3D から 4D テンソルへ

ImageNet 分類タスクでは、入力画像は一律に224×224ピクセルにリサイズされます。1枚のカラー画像は shape が(224, 224, 3)の 3D テンソルです。

実際のトレーニングでは、GPU は一度に1つのバッチ(例:32枚の画像)を処理するため、データは4Dテンソルになります。(32, 224, 224, 3)。

(チャンネルが最後)、PyTorch では(N, H, W, C)(チャンネルが最初)を使用します。(N, C, H, W)(通路が最前にある)。

「shape mismatch: (32, 224, 224, 3) vs (32, 3, 224, 224)」というエラーが表示された場合、チャネルの位置が一致していないことが原因です。次を使って.permute() 或 .transpose()調整するだけでOKです。

自然言語処理:埋め込み行列

BERT モデルの語彙サイズは 30522、隠れ次元は 768 です。その単語埋め込み行列の shape は(30522, 768)——各行が単語の 768 次元ベクトルです。

GPT シリーズも同様です:GPT-2 の語彙は 50257、埋め込み次元は 768(小モデル)から 1600(大モデル)までです。

テキストを入力すると、モデルはまずテーブルを参照して各単語 ID を対応する埋め込みベクトルに変換します。これが「テーブル参照で行を取得」——行列インデックス操作です。

全結合層:行列乗算の中心的役割

古典的な MNIST 手書き数字認識ネットワーク:入力は 784 次元(28×28 ピクセルをフラット化)、最初の隠れ層は 256 次元です。

重み行列 W₁ の shape は(256, 784)。毎回の順伝播計算はh = W₁ @ x、すなわち 256×784 行列と 784 次元ベクトルの乗算です。

ニューラルネットワーク全体の順伝播は、本質的に層ごとの行列乗算と活性化関数の交互の繰り返しです。

動画データ:5D テンソル

動画は複数フレームの画像のシーケンスとみなせます。16 フレームの 224×224 カラー動画クリップの shape は(16, 224, 224, 3)。

batch 次元を加えると 5D テンソルになります(8, 16, 224, 224, 3)——これが動画分類モデル(例:3D-ResNet)の標準入力です。


その他の拡張