画像は行列

グレースケール画像は本質的に2次元NumPy配列です。行列に対して転置、反転、切り抜き、畳み込みを行うと、画像もそれに応じて変化します。

このケースを学ぶと、以下のことが理解できます:画像処理の基盤は線形代数であり、行列とは数字の表のことです。


生活からの導入

写真のピクセルの升目

スマホの中の写真を拡大して、さらに拡大していくと、小さな升目が見えてきます。それぞれの升目には色の値が1つだけあります。0は純粋な黒、255は純粋な白を表し、その間の数字は濃淡の異なるグレーを表します。

写真全体は、これらの小さな升目が矩形に並んだ配列です。数学者たちはこれを「行列」。


直感的理解

行列は難しい概念ではありません。数字がびっしりと詰まった表にすぎないのです。

たとえば、次の \(3 \times 3\) の行列では、各数字が1つのピクセルの明るさを表します(0が最も暗く、1が最も明るい):

3x3 グレースケール画像 1つの行列、9つの数字
\[ M = \begin{bmatrix} 0.0 & 0.5 & 1.0 \\ 0.3 & 0.7 & 0.6 \\ 0.8 & 0.2 & 0.4 \end{bmatrix} \]

この理解があれば、画像処理のさまざまな操作が一目瞭然になります:

転置
img.T
対角線に沿って反転
水平鏡像
img[:, ::-1]
左右反転
垂直鏡像
img[::-1, :]
上下反転
切り抜き
img[10:54, 10:54]
部分領域の切り出し
ぼかし
畳み込みカーネルのスライディング平均
近傍平均
回転
座標変換
行列の積

Photoshopでボタンを1つクリックすると、その背後ではNumPyが2次元配列を操作しています。


数学的定義

\(H \times W\) のグレースケール画像は、実数行列として表せます:

\[ M \in \mathbb{R}^{H \times W}, \quad M_{ij} \in [0, 1] \]

ここで \(M_{ij}\) は \(i\) 行目、\(j\) 列目のピクセルの明るさの値を表します。

行列操作の核心的な概念:

操作数学的表現NumPy での記述画像への効果
転置\(M^T_{ij} = M_{ji}\)img.T行と列を入れ替え、対角線に沿って反転
水平反転\(M'_{ij} = M_{i, W-1-j}\)img[:, ::-1]列インデックスの反転
垂直反転\(M'_{ij} = M_{H-1-i, j}\)img[::-1, :]行インデックスの反転
平均ぼかし\(M'_{ij} = \frac{1}{k^2}\sum_{p,q} M_{i+p, j+q}\)スライディングウィンドウで mean() を求める各ピクセルを近傍の平均値に置き換える

平均ぼかしで使う「スライディングウィンドウ」操作は、本質的には畳み込みの原型であり、畳み込みニューラルネットワーク(CNN)の核となる演算です。


Python で実践

合成グレースケール画像を生成し、NumPy配列の操作で転置、反転、切り抜き、手書きの畳み込みぼかしを実装します。

実例

import numpy as np
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import os

# 出力ディレクトリを作成
OUT = os.path.join(os.path.dirname(os.path.abspath(__file__)), "outputs")
os.makedirs(OUT, exist_ok=True)

# 1. 合成グレースケール画像を生成:対角グラデーション + 中央の明るい四角
size = 64
img = np.zeros((size, size))
for i in range(size):
    for j in range(size):
        img[i, j] = (i + j) / (2 * size)  # 暗いところから明るいところへの対角グラデーション
img[20:44, 20:44] += 0.6                  # 中央に明るい四角を追加
img = np.clip(img, 0, 1)                  # [0, 1] の範囲に制限

print("サンプル 画像行列の形状 (shape):", img.shape)
print("画像行列の先頭 3x3 部分:\n", np.round(img[:3, :3], 3))

# 2. 行列演算 = 画像変換
img_transpose = img.T           # 転置:行と列の入れ替え
img_flip_lr = img[:, ::-1]      # 水平鏡像:列インデックスの反転
img_flip_ud = img[::-1, :]      # 垂直鏡像:行インデックスの反転
img_crop = img[10:54, 10:54]    # 切り抜き:スライスで部分行列を取得

# 3. 手書きの平均ぼかし(5x5 畳み込みカーネル、OpenCVは使わない)
def box_blur(mat, k=5):
    """k x k のスライディングウィンドウで行列に平均ぼかしを適用する"""
    pad = k // 2
    # 境界は端の値で埋める(edge padding)
    padded = np.pad(mat, pad, mode="edge")
    out = np.zeros_like(mat)
    for i in range(mat.shape[0]):
        for j in range(mat.shape[1]):
            # k x k の近傍を取得し、平均を求める
            out[i, j] = padded[i:i+k, j:j+k].mean()
    return out

img_blur = box_blur(img, k=5)
print("サンプル ぼかし後の行列の先頭 3x3 部分:\n",
      np.round(img_blur[:3, :3], 3))

# 4. 可視化の比較画像を保存
fig, axes = plt.subplots(2, 3, figsize=(12, 8))
titles = ["元画像 (行列)", "転置 img.T",
          "水平鏡像 img[:, ::-1]",
          "垂直鏡像 img[::-1, :]",
          "切り抜き img[10:54, 10:54]",
          "平均ぼかし (5x5 畳み込み)"]
images = [img, img_transpose, img_flip_lr,
          img_flip_ud, img_crop, img_blur]

for ax, title, im in zip(axes.flat, titles, images):
    ax.imshow(im, cmap="gray", vmin=0, vmax=1)
    ax.set_title(title, fontsize=11)
    ax.axis("off")

plt.tight_layout()
plt.savefig(os.path.join(OUT, "01_image_as_matrix.png"), dpi=130)
print(f"\nサンプル 可視化結果は {OUT}/01_image_as_matrix.png に保存されました")
サンプル 图像矩阵形状 (shape): (64, 64)
图像矩阵前 3x3 部分:
 [[0.    0.008 0.016]
 [0.008 0.016 0.023]
 [0.016 0.023 0.031]]
サンプル 模糊后矩阵前 3x3 部分:
 [[0.009 0.011 0.013]
 [0.01  0.013 0.016]
 [0.011 0.016 0.021]]
サンプル 可视化结果已保存到 .../outputs/01_image_as_matrix.png

見てわかるように、ぼかし後は隣接ピクセル間の数値の差が小さくなっています。これこそが「ぼかし」の数学的本質です:元のピクセル値を近傍の平均値で置き換える。


AIでの応用シーン

AI シーン行列の使い方
畳み込みニューラルネットワーク (CNN)入力は画像のバッチからなる4階のテンソル (batch, H, W, C) で、各層は畳み込みカーネル(小さな行列)を入力上でスライドさせます
データ拡張 (Augmentation)トレーニング時に画像をランダムに反転、回転、切り抜きします。すべて行列操作で、トレーニングセットを拡張するために使われます
画像の前処理モデルに入力する前に、固定サイズ(例:224x224)に統一して切り抜きます。これは行列のスライスとスケーリングです
スタイル変換画像を特徴行列として表現し、行列演算によって「スタイル」の特徴を変更します

NumPy の ndarray と PyTorch の Tensor は、本質的には同じものです。多次元の数字の表です。行列を理解すれば、ディープラーニングフレームワークで最も基本的なデータ構造を理解したことになります。

その他の拡張