データの形状 -- スカラー、ベクトル、行列、テンソル
AI の世界では、画像・文章・音声を問わず、すべてのデータは最終的にある統一された形式に整理されます:テンソル(Tensor)。
テンソルは総称であり、次元の違いに応じて異なる名前を持ちます。
ゼロ次元から多次元へ:幾重にも入れ子になったデータ構造
もう一つの理解の仕方は「入れ子」です。スカラーが最も内側にあり、外側に1層かぶせるとベクトル、さらに1層かぶせると行列、そしてさらにかぶせると高次元のテンソルになります。
PyTorch や TensorFlow などのディープラーニングフレームワークでは、すべてのデータは「テンソル(Tensor)」として統一的に表現されます。
スカラーは0次元テンソル、ベクトルは1次元テンソル、行列は2次元テンソルであり、これらはテンソルの特殊なケースです。
次元(Dimension)でデータの形状を理解する
単なる1つの数値です。たとえば気温 26°C など。NumPy では shape は空のタプルとして表示されます。()。
順序付けられた数値の並びです。たとえば1日の1時間ごとの気温記録。Shape は(n,)、n は要素数です。
行と列を持つ1枚の表です。たとえば7日間、1日24時間の気温表。Shape は(行数, 列数)。
複数層のデータを重ねたものです。たとえば全国300都市、各都市7日間、1日24時間の気温。Shape は(都市数, 日数, 時間数) 即 (300, 7, 24)。
次元は簡単に次のように理解できます:特定の数値を特定するために必要な「座標」がいくつあるか。
身近な例
理解を深めるために、段階的なシナリオを使いましょう。
シナリオ1:現在の気温を記録する
数値を1つ書くだけで済みます:26。これは、スカラー。次元を持たず、ただ一つの値です。
シナリオ2:1日の気温変化を記録する
朝から晩まで1時間ごとに測定し、24個の数値を得ます:[22, 23, 24, 26, 28, ...]。
これはベクトル。ある温度値を特定するには、1つの座標(何時間目か)が必要です。
シナリオ3:1週間の気温を記録する
7日分のデータを1枚の表にします。各行が1日、各列が1時間です。
これは7行24列の行列。位置を特定するには2つの座標(何日目、何時間目)が必要です。
シナリオ4:全国の都市の気温を記録する
全国300都市あり、各都市に7×24の表があります。
この300枚の表を重ねると、3D テンソルになります。3つの座標(どの都市、何日目、何時間目)が必要です。
数学的な定義
スカラー Scalar
スカラーは単一の数値で、\( a = 26 \) または \( x \in \mathbb{R} \)(x は実数集合に属する)と表記されます。
ベクトル Vector
ベクトルは順序付けられた数値の集まりで、通常は縦に書きます(列ベクトル):
\[ \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \in \mathbb{R}^{n} \]\( \mathbb{R}^{n} \) はn次元の実数ベクトルであることを示し、\( v_1 \) は第1成分、\( v_n \) は第n成分です。
行列 Matrix
行列はm行n列の長方形の配列です:
\[ \mathbf{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \in \mathbb{R}^{m \times n} \]m×n 行列(m行n列)と表記し、\( a_{ij} \) は第i行第j列の要素を表します。
テンソル Tensor
テンソルは、ベクトルと行列を任意の次元へ一般化したものです。
k次元テンソルの形状は \( (d_1, d_2, \dots, d_k) \) と表記され、合計 \( d_1 \times d_2 \times \cdots \times d_k \) 個の要素を持ちます。
比較早見表
| 名称 | 次元 | Shape の例 | 座標の数 | 数学的表記 |
|---|---|---|---|---|
| スカラー | 0 | () | 0 | \( x \in \mathbb{R} \) |
| ベクトル | 1 | (n,) | 1 | \( \mathbf{v} \in \mathbb{R}^{n} \) |
| 行列 | 2 | (m, n) | 2 | \( \mathbf{A} \in \mathbb{R}^{m \times n} \) |
| 3D テンソル | 3 | (d1, d2, d3) | 3 | \( \mathcal{T} \in \mathbb{R}^{d_1 \times d_2 \times d_3} \) |
Python で実際に試す
次に NumPy を使ってこれらのデータ構造を作成し、確認してみましょう。shape 属性はデータの次元を理解するための鍵です。
実例
# スカラー(0次元テンソル):shape = ()
scalar = np.array(26)
# ベクトル(1次元テンソル):shape = (n,)
vector = np.array([22, 23, 24, 26, 28, 30, 31, 29])
# 行列(2次元テンソル):shape = (行数, 列数)
matrix = np.array([[1, 2, 3], [4, 5, 6]])
# 3D テンソル:shape = (層数, 行数, 列数)
tensor_3d = np.array([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
# 4D テンソル:3枚の2x2ピクセルのシングルチャンネル画像を模擬
batch_images = np.array([
[[[10],[20]],[[30],[40]]],
[[[50],[60]],[[70],[80]]],
[[[90],[100]],[[110],[120]]]
])
print("スカラー: shape=", scalar.shape, " ndim=", scalar.ndim)
print("ベクトル: shape=", vector.shape, " ndim=", vector.ndim)
print("行列: shape=", matrix.shape, " ndim=", matrix.ndim)
print("3D テンソル: shape=", tensor_3d.shape, " ndim=", tensor_3d.ndim)
print("4D テンソル: shape=", batch_images.shape, " ndim=", batch_images.ndim)
実行出力:
标量: shape= () ndim= 0 向量: shape= (8,) ndim= 1 矩阵: shape= (2, 3) ndim= 2 3D 张量: shape= (2, 2, 3) ndim= 3 4D 张量: shape= (3, 2, 2, 1) ndim= 4
Shape 属性の規則性
| 属性 | 意味 | スカラー | ベクトル(8個の要素) | 行列(2×3) | 3D(2×2×3) |
|---|---|---|---|---|---|
.shape | 各次元のサイズ | () | (8,) | (2, 3) | (2, 2, 3) |
.ndim | 次元数 = len(shape) | 0 | 1 | 2 | 3 |
.size | 要素の総数 | 1 | 8 | 6 | 12 |
ディープラーニングのコードをデバッグするとき、shape mismatch エラーが出たら、最初に shape を出力してデータの次元を確認します。
shape を理解することは、NumPy とすべてのディープラーニングフレームワークを学ぶための第一のスキルです。
テンソルの3次元可視化
次に 3×3×3 テンソルを空間内の27個の点として描きます。3つの座標軸はそれぞれ「行、列、チャンネル」に対応し、各点の色の濃さはその位置の数値の大きさを表します。マウスをドラッグすると視点を回転できます。
よく観察してください。「チャンネル」の層を固定すると、3×3 の平面が見えます。それはまさに2階のテンソル(行列)です。これが「行列はテンソルの特殊なケースである」と言う理由です。
AI での応用シーン
画像分類:3D から 4D テンソルへ
ImageNet 分類タスクでは、入力画像は一律に224×224ピクセルにリサイズされます。1枚のカラー画像は shape が(224, 224, 3)の 3D テンソルです。
実際のトレーニングでは、GPU は一度に1つのバッチ(例:32枚の画像)を処理するため、データは4Dテンソルになります。(32, 224, 224, 3)。
(チャンネルが最後)、PyTorch では(N, H, W, C)(チャンネルが最初)を使用します。(N, C, H, W)(通路が最前にある)。
「shape mismatch: (32, 224, 224, 3) vs (32, 3, 224, 224)」というエラーが表示された場合、チャネルの位置が一致していないことが原因です。次を使って.permute() 或 .transpose()調整するだけでOKです。
自然言語処理:埋め込み行列
BERT モデルの語彙サイズは 30522、隠れ次元は 768 です。その単語埋め込み行列の shape は(30522, 768)——各行が単語の 768 次元ベクトルです。
GPT シリーズも同様です:GPT-2 の語彙は 50257、埋め込み次元は 768(小モデル)から 1600(大モデル)までです。
テキストを入力すると、モデルはまずテーブルを参照して各単語 ID を対応する埋め込みベクトルに変換します。これが「テーブル参照で行を取得」——行列インデックス操作です。
全結合層:行列乗算の中心的役割
古典的な MNIST 手書き数字認識ネットワーク:入力は 784 次元(28×28 ピクセルをフラット化)、最初の隠れ層は 256 次元です。
重み行列 W₁ の shape は(256, 784)。毎回の順伝播計算はh = W₁ @ x、すなわち 256×784 行列と 784 次元ベクトルの乗算です。
ニューラルネットワーク全体の順伝播は、本質的に層ごとの行列乗算と活性化関数の交互の繰り返しです。
動画データ:5D テンソル
動画は複数フレームの画像のシーケンスとみなせます。16 フレームの 224×224 カラー動画クリップの shape は(16, 224, 224, 3)。
batch 次元を加えると 5D テンソルになります(8, 16, 224, 224, 3)——これが動画分類モデル(例:3D-ResNet)の標準入力です。
その他の拡張