OpenCV Bildzusammensetzung
Bildzusammenfügung ist eine wichtige Anwendung in der Computer Vision. Sie kann mehrere Bilder mit überlappenden Bereichen zu einem größeren Bild zusammenfügen.
Häufige Anwendungsszenarien umfassen Panoramaerstellung, Satellitenbild-Zusammenfügung usw.
OpenCV ist eine leistungsstarke Computer-Vision-Bibliothek, die umfangreiche Werkzeuge für die Bildzusammenfügung bietet.
Dieser Artikel beschreibt detailliert, wie OpenCV zur Bildzusammenfügung verwendet wird, mit Schwerpunkt auf Techniken zur Merkmalspunkt-Erkennung und -Zuordnung.
Anwendungsszenarien
- Panoramaerstellung: Mehrere Bilder zu einem Panorama zusammenfügen.
- Kartenzusammenfügung: Mehrere Kartenbilder zu einer größeren Karte zusammenfügen.
- Medizinische Bildverarbeitung: Mehrere medizinische Bilder zu einem vollständigen Bild zusammenfügen.
Grundlegender Ablauf der Bildzusammenfügung
Der grundlegende Ablauf der Bildzusammenfügung lässt sich in die folgenden Schritte unterteilen:
- Bildeinlesen: Die zusammenzufügenden Bilder einlesen.
- Merkmalspunkt-Erkennung: Keypoints (Merkmalspunkte) in jedem Bild erkennen.
- Merkmalspunkt-Zuordnung: Diese Merkmalspunkte zwischen verschiedenen Bildern zuordnen.
- Transformationsmatrix berechnen: Die Transformationsmatrix zwischen Bildern basierend auf den zugeordneten Merkmalspunkten berechnen.
- Bildüberblendung: Die Bilder gemäß der Transformationsmatrix zusammenfügen und eine Überblendung durchführen, um Nahtartefakte zu beseitigen.
Als Nächstes erklären wir die Implementierung jedes Schritts im Detail.
1. Einlesen der Bilder
Zuerst müssen wir die Bilder lesen, die zusammengefügt werden sollen. OpenCV bietet diecv2.imread()Funktion zum Lesen von Bildern.
Beispiel
# Bilder lesen
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')
# Prüfen, ob die Bilder erfolgreich gelesen wurden
if image1 is None or image2 is None:
print("Fehler: Bild kann nicht gelesen werden")
exit()
2. Merkmalspunkterkennung
Die Merkmalspunkterkennung ist ein entscheidender Schritt bei der Bildzusammensetzung. OpenCV bietet eine Vielzahl von Algorithmen zur Merkmalspunkterkennung, wie SIFT, SURF, ORB usw. Hier verwenden wir SIFT als Beispiel.
Beispiel
sift = cv2.SIFT_create()
# Merkmalspunkte und Deskriptoren erkennen
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)
detectAndCompute()Die Funktion gibt zwei Werte zurück: Keypoints und Deskriptoren. Keypoints sind markante Punkte im Bild, und Deskriptoren sind Beschreibungen dieser Keypoints, die für das anschließende Matching verwendet werden.
3. Merkmalspunkt-Matching
Nach der Erkennung von Merkmalspunkten müssen wir diese Merkmalspunkte zwischen verschiedenen Bildern abgleichen. OpenCV bietet denBFMatcheroderFlannBasedMatcherzur Durchführung des Merkmalspunkt-Matchings.
Beispiel
bf = cv2.BFMatcher()
# KNN-Matching verwenden
matches = bf.knnMatch(descriptors1, descriptors2, k=2)
# Ratio-Test anwenden, um gute Übereinstimmungen herauszufiltern
good_matches = []
for m, n in matches:
if m.distance < 0.75 * n.distance:
good_matches.append(m)
knnMatch()Die Funktion gibt die zwei besten Übereinstimmungen für jeden Merkmalspunkt zurück. Wir verwenden den Ratio-Test (Lowe-Ratio-Test), um gute übereinstimmende Punkte herauszufiltern.
4. Transformationsmatrix berechnen
Nachdem wir gute übereinstimmende Punkte erhalten haben, können wir diese Punkte verwenden, um die Transformationsmatrix zwischen Bildern zu berechnen. Eine übliche Transformationsmatrix ist die Homographie-Matrix, die Punkte von einem Bild auf ein anderes abbilden kann.
Beispiel
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
# Homographie-Matrix berechnen
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
findHomography()Die Funktion gibt eine 3x3-Homographie-Matrix zurückH, die abbilden kannimage1Punkte in ... aufimage2...
5. Bildüberblendung
Schließlich verwenden wir die berechnete Homographie-Matrix, um die Bilder zusammenzufügen, und führen eine Überblendung durch, um Nahtartefakte zu beseitigen.
Beispiel
h1, w1 = image1.shape[:2]
h2, w2 = image2.shape[:2]
# Berechne die Größe des zusammengefügten Bildes
pts = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
dst = cv2.perspectiveTransform(pts, H)
[x_min, y_min] = np.int32(dst.min(axis=0).ravel() - 0.5)
[x_max, y_max] = np.int32(dst.max(axis=0).ravel() + 0.5)
# Berechne die Translationsmatrix
translation_matrix = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]])
# Wende die Translationsmatrix für das Zusammenfügen von Bildern an
result = cv2.warpPerspective(image1, translation_matrix.dot(H), (x_max - x_min, y_max - y_min))
result[-y_min:h2 - y_min, -x_min:w2 - x_min] = image2
# Stitching-Ergebnis anzeigen
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()
warpPerspective()Die Funktion, basierend auf der Homographie-Matrix,HPairimage1führt eine perspektivische Transformation durch und kombiniert sie mitimage2um sie zusammenzufügen.
Anwendungsimplementierung
Das Folgende ist der vollständige Code für Bildzusammenfügung unter Verwendung von Merkmalspunkterkennung und -abgleich:
Beispiel
import numpy as np
# 1. Bilder laden
image1 = cv2.imread("path/to/image1.jpg")
image2 = cv2.imread("path/to/image2.jpg")
# 2. In Graustufen konvertieren
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)
# 3. Merkmalspunkterkennung
sift = cv2.SIFT_create()
keypoints1, descriptors1 = sift.detectAndCompute(gray1, None)
keypoints2, descriptors2 = sift.detectAndCompute(gray2, None)
# 4. Merkmalspunktabgleich
matcher = cv2.BFMatcher()
matches = matcher.knnMatch(descriptors1, descriptors2, k=2)
# 5. Übereinstimmende Punkte filtern
good_matches = []
for m, n in matches:
if m.distance < 0.75 * n.distance:
good_matches.append(m)
# 6. Homographiematrix berechnen
if len(good_matches) > 10:
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
else:
print("Nicht genügend Übereinstimmungen gefunden.")
exit()
# 7. Bildtransformation
height1, width1 = image1.shape[:2]
height2, width2 = image2.shape[:2]
warped_image = cv2.warpPerspective(image1, H, (width1 + width2, height1))
# 8. Bildzusammensetzung
warped_image[0:height2, 0:width2] = image2
# 9. Ergebnis anzeigen
cv2.imshow("Zusammengesetztes Bild", warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()