OpenCV 画像ステッチ

画像ステッチはコンピュータビジョンにおける重要な応用の一つで、重なり合う領域を持つ複数の画像を1枚のより大きな画像にステッチすることができます。

一般的な応用シナリオには、パノラマ画像の生成、衛星画像のステッチングなどがあります。

OpenCV は強力なコンピュータビジョンライブラリであり、画像ステッチを実現するための豊富なツールを提供しています。

この記事では、OpenCV を使用して画像ステッチを行う方法を詳しく説明し、特徴点検出とマッチングの技術に重点を置いて解説します。

応用シナリオ

  • パノラマ画像の生成: 複数の画像を1枚のパノラマ画像にステッチします。
  • 地図ステッチ: 複数の地図画像を1枚のより大きな地図にステッチします。
  • 医用画像処理: 複数の医用画像を1枚の完全な画像にステッチします。

画像ステッチの基本フロー

画像ステッチの基本フローは、以下の手順に分けることができます:

  1. 画像の読み込み:ステッチする画像を読み込みます。
  2. 特徴点検出:各画像内でキーポイント(特徴点)を検出します。
  3. 特徴点マッチング:異なる画像間でこれらの特徴点をマッチングします。
  4. 変換行列の計算:マッチングした特徴点に基づいて、画像間の変換行列を計算します。
  5. 画像融合:変換行列に従って画像をステッチし、つなぎ目を消すために融合処理を行います。

次に、各手順の実装を詳しく説明します。


1. 画像の読み込み

まず、ステッチする画像を読み込む必要があります。OpenCV はcv2.imread()関数を使用して画像を読み取ります。

例

import cv2

# 画像を読み込む
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')

# 画像が正常に読み込まれたか確認
if image1 is None or image2 is None:
    print(Error: 画像を読み込めません)
    exit()

2. 特徴点検出

特徴点検出は画像ステッチの重要なステップです。OpenCV は SIFT、SURF、ORB など、さまざまな特徴点検出アルゴリズムを提供しています。ここでは SIFT を例として説明します。

例

# SIFT検出器を作成
sift = cv2.SIFT_create()

# 特徴点と記述子を検出
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

detectAndCompute()この関数は2つの値を返します:キーポイント(keypoints)と記述子(descriptors)です。キーポイントは画像内の顕著な点であり、記述子はそれらのキーポイントを表すもので、後続のマッチングに使用されます。


3. 特徴点マッチング

特徴点を検出した後、異なる画像間でこれらの特徴点をマッチングする必要があります。OpenCV はBFMatcher 或 FlannBasedMatcherを使用して特徴点マッチングを行います。

例

# BFMatcherオブジェクトを作成
bf = cv2.BFMatcher()

# KNNマッチングを使用
matches = bf.knnMatch(descriptors1, descriptors2, k=2)

# 比率テストを適用して、良いマッチングを選別する
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

knnMatch()この関数は各特徴点に対して最良の2つのマッチングを返します。比率テスト(Lowe's ratio test)を用いて、良いマッチング点を選別します。


4. 変換行列の計算

良いマッチング点が得られたら、これらの点を使用して画像間の変換行列を計算できます。一般的な変換行列として、ホモグラフィ行列(Homography)があります。これは、ある画像内の点を別の画像にマッピングすることができます。

例

# マッチング点の座標を抽出
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

# ホモグラフィ行列を計算
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

findHomography()この関数は 3x3 のホモグラフィ行列を返します。Hこれは、image1内の点をimage2にマッピングできます。


5. 画像融合

最後に、計算したホモグラフィ行列を使用して画像をステッチし、つなぎ目を消すために融合処理を行います。

例

# 画像サイズを取得
h1, w1 = image1.shape[:2]
h2, w2 = image2.shape[:2]

# ステッチ後の画像サイズを計算
pts = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
dst = cv2.perspectiveTransform(pts, H)
[x_min, y_min] = np.int32(dst.min(axis=0).ravel() - 0.5)
[x_max, y_max] = np.int32(dst.max(axis=0).ravel() + 0.5)

# 平行移動行列を計算
translation_matrix = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]])

# 平行移動行列を適用して画像をステッチ
result = cv2.warpPerspective(image1, translation_matrix.dot(H), (x_max - x_min, y_max - y_min))
result[-y_min:h2 - y_min, -x_min:w2 - x_min] = image2

# ステッチ結果を表示
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

warpPerspective()この関数はホモグラフィ行列に基づいてHに対してimage1透視変換を実行し、それをimage2とステッチします。


応用実装

以下は、特徴点検出とマッチングを使用して画像ステッチを行う完全なコードです:

例

import cv2
import numpy as np

# 1. 画像を読み込む
image1 = cv2.imread("path/to/image1.jpg")
image2 = cv2.imread("path/to/image2.jpg")

# 2. グレースケール画像に変換
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

# 3. 特徴点検出
sift = cv2.SIFT_create()
keypoints1, descriptors1 = sift.detectAndCompute(gray1, None)
keypoints2, descriptors2 = sift.detectAndCompute(gray2, None)

# 4. 特徴点マッチング
matcher = cv2.BFMatcher()
matches = matcher.knnMatch(descriptors1, descriptors2, k=2)

# 5. マッチング点を選別
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

# 6. ホモグラフィ行列を計算
if len(good_matches) > 10:
    src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
else:
    print("Not enough matches found.")
    exit()

# 7. 画像変換
height1, width1 = image1.shape[:2]
height2, width2 = image2.shape[:2]
warped_image = cv2.warpPerspective(image1, H, (width1 + width2, height1))

# 8. 画像ステッチ
warped_image[0:height2, 0:width2] = image2

# 9. 結果を表示
cv2.imshow("Stitched Image", warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()
その他の拡張