画像は行列
グレースケール画像は本質的に2次元NumPy配列です。行列に対して転置、反転、切り抜き、畳み込みを行うと、画像もそれに応じて変化します。
このケースを学ぶと、以下のことが理解できます:画像処理の基盤は線形代数であり、行列とは数字の表のことです。
生活からの導入
写真のピクセルの升目
スマホの中の写真を拡大して、さらに拡大していくと、小さな升目が見えてきます。それぞれの升目には色の値が1つだけあります。0は純粋な黒、255は純粋な白を表し、その間の数字は濃淡の異なるグレーを表します。
写真全体は、これらの小さな升目が矩形に並んだ配列です。数学者たちはこれを「行列」。
直感的理解
行列は難しい概念ではありません。数字がびっしりと詰まった表にすぎないのです。
たとえば、次の \(3 \times 3\) の行列では、各数字が1つのピクセルの明るさを表します(0が最も暗く、1が最も明るい):
この理解があれば、画像処理のさまざまな操作が一目瞭然になります:
Photoshopでボタンを1つクリックすると、その背後ではNumPyが2次元配列を操作しています。
数学的定義
\(H \times W\) のグレースケール画像は、実数行列として表せます:
\[ M \in \mathbb{R}^{H \times W}, \quad M_{ij} \in [0, 1] \]ここで \(M_{ij}\) は \(i\) 行目、\(j\) 列目のピクセルの明るさの値を表します。
行列操作の核心的な概念:
| 操作 | 数学的表現 | NumPy での記述 | 画像への効果 |
|---|---|---|---|
| 転置 | \(M^T_{ij} = M_{ji}\) | img.T | 行と列を入れ替え、対角線に沿って反転 |
| 水平反転 | \(M'_{ij} = M_{i, W-1-j}\) | img[:, ::-1] | 列インデックスの反転 |
| 垂直反転 | \(M'_{ij} = M_{H-1-i, j}\) | img[::-1, :] | 行インデックスの反転 |
| 平均ぼかし | \(M'_{ij} = \frac{1}{k^2}\sum_{p,q} M_{i+p, j+q}\) | スライディングウィンドウで mean() を求める | 各ピクセルを近傍の平均値に置き換える |
平均ぼかしで使う「スライディングウィンドウ」操作は、本質的には畳み込みの原型であり、畳み込みニューラルネットワーク(CNN)の核となる演算です。
Python で実践
合成グレースケール画像を生成し、NumPy配列の操作で転置、反転、切り抜き、手書きの畳み込みぼかしを実装します。
実例
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import os
# 出力ディレクトリを作成
OUT = os.path.join(os.path.dirname(os.path.abspath(__file__)), "outputs")
os.makedirs(OUT, exist_ok=True)
# 1. 合成グレースケール画像を生成:対角グラデーション + 中央の明るい四角
size = 64
img = np.zeros((size, size))
for i in range(size):
for j in range(size):
img[i, j] = (i + j) / (2 * size) # 暗いところから明るいところへの対角グラデーション
img[20:44, 20:44] += 0.6 # 中央に明るい四角を追加
img = np.clip(img, 0, 1) # [0, 1] の範囲に制限
print("サンプル 画像行列の形状 (shape):", img.shape)
print("画像行列の先頭 3x3 部分:\n", np.round(img[:3, :3], 3))
# 2. 行列演算 = 画像変換
img_transpose = img.T # 転置:行と列の入れ替え
img_flip_lr = img[:, ::-1] # 水平鏡像:列インデックスの反転
img_flip_ud = img[::-1, :] # 垂直鏡像:行インデックスの反転
img_crop = img[10:54, 10:54] # 切り抜き:スライスで部分行列を取得
# 3. 手書きの平均ぼかし(5x5 畳み込みカーネル、OpenCVは使わない)
def box_blur(mat, k=5):
"""k x k のスライディングウィンドウで行列に平均ぼかしを適用する"""
pad = k // 2
# 境界は端の値で埋める(edge padding)
padded = np.pad(mat, pad, mode="edge")
out = np.zeros_like(mat)
for i in range(mat.shape[0]):
for j in range(mat.shape[1]):
# k x k の近傍を取得し、平均を求める
out[i, j] = padded[i:i+k, j:j+k].mean()
return out
img_blur = box_blur(img, k=5)
print("サンプル ぼかし後の行列の先頭 3x3 部分:\n",
np.round(img_blur[:3, :3], 3))
# 4. 可視化の比較画像を保存
fig, axes = plt.subplots(2, 3, figsize=(12, 8))
titles = ["元画像 (行列)", "転置 img.T",
"水平鏡像 img[:, ::-1]",
"垂直鏡像 img[::-1, :]",
"切り抜き img[10:54, 10:54]",
"平均ぼかし (5x5 畳み込み)"]
images = [img, img_transpose, img_flip_lr,
img_flip_ud, img_crop, img_blur]
for ax, title, im in zip(axes.flat, titles, images):
ax.imshow(im, cmap="gray", vmin=0, vmax=1)
ax.set_title(title, fontsize=11)
ax.axis("off")
plt.tight_layout()
plt.savefig(os.path.join(OUT, "01_image_as_matrix.png"), dpi=130)
print(f"\nサンプル 可視化結果は {OUT}/01_image_as_matrix.png に保存されました")
サンプル 图像矩阵形状 (shape): (64, 64) 图像矩阵前 3x3 部分: [[0. 0.008 0.016] [0.008 0.016 0.023] [0.016 0.023 0.031]] サンプル 模糊后矩阵前 3x3 部分: [[0.009 0.011 0.013] [0.01 0.013 0.016] [0.011 0.016 0.021]] サンプル 可视化结果已保存到 .../outputs/01_image_as_matrix.png
見てわかるように、ぼかし後は隣接ピクセル間の数値の差が小さくなっています。これこそが「ぼかし」の数学的本質です:元のピクセル値を近傍の平均値で置き換える。
AIでの応用シーン
| AI シーン | 行列の使い方 |
|---|---|
| 畳み込みニューラルネットワーク (CNN) | 入力は画像のバッチからなる4階のテンソル (batch, H, W, C) で、各層は畳み込みカーネル(小さな行列)を入力上でスライドさせます |
| データ拡張 (Augmentation) | トレーニング時に画像をランダムに反転、回転、切り抜きします。すべて行列操作で、トレーニングセットを拡張するために使われます |
| 画像の前処理 | モデルに入力する前に、固定サイズ(例:224x224)に統一して切り抜きます。これは行列のスライスとスケーリングです |
| スタイル変換 | 画像を特徴行列として表現し、行列演算によって「スタイル」の特徴を変更します |
その他の拡張NumPy の ndarray と PyTorch の Tensor は、本質的には同じものです。多次元の数字の表です。行列を理解すれば、ディープラーニングフレームワークで最も基本的なデータ構造を理解したことになります。