OpenCV 画像ステッチ
画像ステッチはコンピュータビジョンにおける重要な応用の一つで、重なり合う領域を持つ複数の画像を1枚のより大きな画像にステッチすることができます。
一般的な応用シナリオには、パノラマ画像の生成、衛星画像のステッチングなどがあります。
OpenCV は強力なコンピュータビジョンライブラリであり、画像ステッチを実現するための豊富なツールを提供しています。
この記事では、OpenCV を使用して画像ステッチを行う方法を詳しく説明し、特徴点検出とマッチングの技術に重点を置いて解説します。
応用シナリオ
- パノラマ画像の生成: 複数の画像を1枚のパノラマ画像にステッチします。
- 地図ステッチ: 複数の地図画像を1枚のより大きな地図にステッチします。
- 医用画像処理: 複数の医用画像を1枚の完全な画像にステッチします。
画像ステッチの基本フロー
画像ステッチの基本フローは、以下の手順に分けることができます:
- 画像の読み込み:ステッチする画像を読み込みます。
- 特徴点検出:各画像内でキーポイント(特徴点)を検出します。
- 特徴点マッチング:異なる画像間でこれらの特徴点をマッチングします。
- 変換行列の計算:マッチングした特徴点に基づいて、画像間の変換行列を計算します。
- 画像融合:変換行列に従って画像をステッチし、つなぎ目を消すために融合処理を行います。
次に、各手順の実装を詳しく説明します。
1. 画像の読み込み
まず、ステッチする画像を読み込む必要があります。OpenCV はcv2.imread()関数を使用して画像を読み取ります。
例
# 画像を読み込む
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')
# 画像が正常に読み込まれたか確認
if image1 is None or image2 is None:
print(Error: 画像を読み込めません)
exit()
2. 特徴点検出
特徴点検出は画像ステッチの重要なステップです。OpenCV は SIFT、SURF、ORB など、さまざまな特徴点検出アルゴリズムを提供しています。ここでは SIFT を例として説明します。
例
sift = cv2.SIFT_create()
# 特徴点と記述子を検出
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)
detectAndCompute()この関数は2つの値を返します:キーポイント(keypoints)と記述子(descriptors)です。キーポイントは画像内の顕著な点であり、記述子はそれらのキーポイントを表すもので、後続のマッチングに使用されます。
3. 特徴点マッチング
特徴点を検出した後、異なる画像間でこれらの特徴点をマッチングする必要があります。OpenCV はBFMatcher 或 FlannBasedMatcherを使用して特徴点マッチングを行います。
例
bf = cv2.BFMatcher()
# KNNマッチングを使用
matches = bf.knnMatch(descriptors1, descriptors2, k=2)
# 比率テストを適用して、良いマッチングを選別する
good_matches = []
for m, n in matches:
if m.distance < 0.75 * n.distance:
good_matches.append(m)
knnMatch()この関数は各特徴点に対して最良の2つのマッチングを返します。比率テスト(Lowe's ratio test)を用いて、良いマッチング点を選別します。
4. 変換行列の計算
良いマッチング点が得られたら、これらの点を使用して画像間の変換行列を計算できます。一般的な変換行列として、ホモグラフィ行列(Homography)があります。これは、ある画像内の点を別の画像にマッピングすることができます。
例
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
# ホモグラフィ行列を計算
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
findHomography()この関数は 3x3 のホモグラフィ行列を返します。Hこれは、image1内の点をimage2にマッピングできます。
5. 画像融合
最後に、計算したホモグラフィ行列を使用して画像をステッチし、つなぎ目を消すために融合処理を行います。
例
h1, w1 = image1.shape[:2]
h2, w2 = image2.shape[:2]
# ステッチ後の画像サイズを計算
pts = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
dst = cv2.perspectiveTransform(pts, H)
[x_min, y_min] = np.int32(dst.min(axis=0).ravel() - 0.5)
[x_max, y_max] = np.int32(dst.max(axis=0).ravel() + 0.5)
# 平行移動行列を計算
translation_matrix = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]])
# 平行移動行列を適用して画像をステッチ
result = cv2.warpPerspective(image1, translation_matrix.dot(H), (x_max - x_min, y_max - y_min))
result[-y_min:h2 - y_min, -x_min:w2 - x_min] = image2
# ステッチ結果を表示
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()
warpPerspective()この関数はホモグラフィ行列に基づいてHに対してimage1透視変換を実行し、それをimage2とステッチします。
応用実装
以下は、特徴点検出とマッチングを使用して画像ステッチを行う完全なコードです:
例
import numpy as np
# 1. 画像を読み込む
image1 = cv2.imread("path/to/image1.jpg")
image2 = cv2.imread("path/to/image2.jpg")
# 2. グレースケール画像に変換
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)
# 3. 特徴点検出
sift = cv2.SIFT_create()
keypoints1, descriptors1 = sift.detectAndCompute(gray1, None)
keypoints2, descriptors2 = sift.detectAndCompute(gray2, None)
# 4. 特徴点マッチング
matcher = cv2.BFMatcher()
matches = matcher.knnMatch(descriptors1, descriptors2, k=2)
# 5. マッチング点を選別
good_matches = []
for m, n in matches:
if m.distance < 0.75 * n.distance:
good_matches.append(m)
# 6. ホモグラフィ行列を計算
if len(good_matches) > 10:
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
else:
print("Not enough matches found.")
exit()
# 7. 画像変換
height1, width1 = image1.shape[:2]
height2, width2 = image2.shape[:2]
warped_image = cv2.warpPerspective(image1, H, (width1 + width2, height1))
# 8. 画像ステッチ
warped_image[0:height2, 0:width2] = image2
# 9. 結果を表示
cv2.imshow("Stitched Image", warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()