OpenCV Costura de imágenes

La costura de imágenes es una aplicación importante en la visión por computadora; puede unir varias imágenes con áreas superpuestas en una imagen más grande.

Los escenarios de aplicación comunes incluyen la generación de panorámicas, la costura de imágenes satelitales, entre otros.

OpenCV es una potente biblioteca de visión por computadora que ofrece un amplio conjunto de herramientas para implementar la costura de imágenes.

Este artículo explicará en detalle cómo usar OpenCV para la costura de imágenes, centrándose en las técnicas de detección y emparejamiento de puntos característicos.

Escenarios de aplicación

  • Generación de panorámicas: unir varias imágenes en una imagen panorámica.
  • Costura de mapas: unir varias imágenes de mapas en un mapa más grande.
  • Procesamiento de imágenes médicas: unir varias imágenes médicas en una imagen completa.

Flujo básico de la costura de imágenes

El flujo básico de la costura de imágenes se puede dividir en los siguientes pasos:

  1. Lectura de imágenes: leer las imágenes que se van a unir.
  2. Detección de puntos característicos: detectar puntos clave (puntos característicos) en cada imagen.
  3. Emparejamiento de puntos característicos: emparejar estos puntos característicos entre diferentes imágenes.
  4. Cálculo de la matriz de transformación: calcular la matriz de transformación entre las imágenes según los puntos característicos emparejados.
  5. Fusión de imágenes: unir las imágenes según la matriz de transformación y aplicar un procesamiento de fusión para eliminar las marcas de la costura.

A continuación, explicaremos en detalle la implementación de cada paso.


1. Lectura de imágenes

Primero, necesitamos leer las imágenes que se van a unir. OpenCV proporcionacv2.imread()la función para leer imágenes.

Ejemplo

import cv2

# Leer la imagen
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')

# Verificar si la imagen se leyó correctamente
if image1 is None or image2 is None:
    print("Error: no se pudo leer la imagen")
    exit()

2. Detección de puntos característicos

La detección de puntos característicos es un paso clave en la costura de imágenes. OpenCV ofrece múltiples algoritmos de detección de puntos característicos, como SIFT, SURF, ORB, etc. Aquí usaremos SIFT como ejemplo para explicarlo.

Ejemplo

# Crear el detector SIFT
sift = cv2.SIFT_create()

# Detectar puntos característicos y descriptores
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

detectAndCompute()La función devuelve dos valores: puntos clave (keypoints) y descriptores (descriptors). Los puntos clave son puntos distintivos de la imagen, y los descriptores son descripciones de estos puntos clave que se utilizan para el emparejamiento posterior.


3. Emparejamiento de puntos característicos

Después de detectar los puntos característicos, necesitamos emparejarlos entre diferentes imágenes. OpenCV proporcionaBFMatcheroFlannBasedMatcherpara realizar el emparejamiento de puntos característicos.

Ejemplo

# Crear el objeto BFMatcher
bf = cv2.BFMatcher()

# Usar el emparejamiento KNN
matches = bf.knnMatch(descriptors1, descriptors2, k=2)

# Aplicar la prueba de razón para filtrar los buenos emparejamientos
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

knnMatch()La función devuelve los dos mejores emparejamientos para cada punto característico. Utilizamos la prueba de razón (Lowe's ratio test) para filtrar los buenos puntos de emparejamiento.


4. Cálculo de la matriz de transformación

Una vez que tenemos buenos puntos de emparejamiento, podemos usarlos para calcular la matriz de transformación entre las imágenes. Una matriz de transformación común es la matriz de homografía (Homography), que puede mapear los puntos de una imagen a otra.

Ejemplo

# Extraer las coordenadas de los puntos de emparejamiento
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

# Calcular la matriz de homografía
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

findHomography()La función devuelve una matriz de homografía de 3x3H, que puede mapear los puntos deimage1aimage2.


5. Fusión de imágenes

Finalmente, usamos la matriz de homografía calculada para unir las imágenes y aplicamos un procesamiento de fusión para eliminar las marcas de la costura.

Ejemplo

# Obtener las dimensiones de la imagen
h1, w1 = image1.shape[:2]
h2, w2 = image2.shape[:2]

# Calcular las dimensiones de la imagen después de la costura
pts = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
dst = cv2.perspectiveTransform(pts, H)
[x_min, y_min] = np.int32(dst.min(axis=0).ravel() - 0.5)
[x_max, y_max] = np.int32(dst.max(axis=0).ravel() + 0.5)

# Calcular la matriz de traslación
translation_matrix = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]])

# Aplicar la matriz de traslación para realizar la costura de imágenes
result = cv2.warpPerspective(image1, translation_matrix.dot(H), (x_max - x_min, y_max - y_min))
result[-y_min:h2 - y_min, -x_min:w2 - x_min] = image2

# Mostrar el resultado de la costura
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

warpPerspective()La función, de acuerdo con la matriz de homografía,HSobreimage1realiza la transformación de perspectiva y la une conimage2para realizar la costura.


Implementación de la aplicación

El siguiente es el código completo para realizar la costura de imágenes mediante la detección y el emparejamiento de puntos característicos:

Ejemplo

import cv2
import numpy as np

# 1. Cargar las imágenes
image1 = cv2.imread("path/to/image1.jpg")
image2 = cv2.imread("path/to/image2.jpg")

# 2. Convertir a imagen en escala de grises
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

# 3. Detección de puntos característicos
sift = cv2.SIFT_create()
keypoints1, descriptors1 = sift.detectAndCompute(gray1, None)
keypoints2, descriptors2 = sift.detectAndCompute(gray2, None)

# 4. Emparejamiento de puntos característicos
matcher = cv2.BFMatcher()
matches = matcher.knnMatch(descriptors1, descriptors2, k=2)

# 5. Filtrar los puntos de emparejamiento
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

# 6. Calcular la matriz de homografía
if len(good_matches) > 10:
    src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
else:
    print("Not enough matches found.")
    exit()

# 7. Transformación de la imagen
height1, width1 = image1.shape[:2]
height2, width2 = image2.shape[:2]
warped_image = cv2.warpPerspective(image1, H, (width1 + width2, height1))

# 8. Costura de imágenes
warped_image[0:height2, 0:width2] = image2

# 9. Mostrar el resultado
cv2.imshow("Stitched Image", warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()
Otras extensiones