Сшивание изображений в OpenCV

Сшивание изображений — важное применение в компьютерном зрении. Оно позволяет сшивать несколько изображений с перекрывающимися областями в более крупное изображение.

Типичные сценарии применения включают создание панорам, сшивание спутниковых изображений и т. д.

OpenCV — это мощная библиотека компьютерного зрения, предоставляющая богатый набор инструментов для сшивания изображений.

В этой статье подробно описано, как использовать OpenCV для сшивания изображений, с акцентом на методы обнаружения и сопоставления характерных точек.

Сценарии применения

  • Создание панорам: сшивание нескольких изображений в панораму.
  • Сшивание карт: сшивание нескольких изображений карт в одну большую карту.
  • Обработка медицинских изображений: сшивание нескольких медицинских изображений в одно полное изображение.

Основной процесс сшивания изображений

Основной процесс сшивания изображений можно разделить на следующие этапы:

  1. Чтение изображений: чтение изображений, которые нужно сшить.
  2. Обнаружение характерных точек: обнаружение ключевых точек (характерных точек) на каждом изображении.
  3. Сопоставление характерных точек: сопоставление этих характерных точек между разными изображениями.
  4. Вычисление матрицы преобразования: вычисление матрицы преобразования между изображениями на основе сопоставленных характерных точек.
  5. Смешивание изображений: Сшейте изображения в соответствии с матрицей преобразования и выполните смешивание, чтобы устранить артефакты сшивания.

Далее мы подробно объясним реализацию каждого шага.


1. Чтение изображений

Сначала нам нужно прочитать изображения, которые нужно сшить. OpenCV предоставляетcv2.imread()функцию для чтения изображений.

Пример

import cv2

# Чтение изображений
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')

# Проверить, успешно ли считаны изображения
if image1 is None or image2 is None:
    print("Ошибка: не удалось прочитать изображение")
    exit()

2. Обнаружение особых точек

Обнаружение особых точек — ключевой этап сшивки изображений. OpenCV предоставляет множество алгоритмов обнаружения особых точек, таких как SIFT, SURF, ORB и т. д. Здесь мы используем SIFT в качестве примера.

Пример

# Создать детектор SIFT
sift = cv2.SIFT_create()

# Обнаружить особые точки и дескрипторы
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

detectAndCompute()Функция возвращает два значения: ключевые точки и дескрипторы. Ключевые точки — это значимые точки изображения, а дескрипторы — это описания этих ключевых точек, используемые для последующего сопоставления.


3. Сопоставление особых точек

После обнаружения особых точек нам нужно сопоставить эти особые точки между разными изображениями. OpenCV предоставляетBFMatcherилиFlannBasedMatcherдля выполнения сопоставления особых точек.

Пример

# Создать объект BFMatcher
bf = cv2.BFMatcher()

# Использовать KNN-сопоставление
matches = bf.knnMatch(descriptors1, descriptors2, k=2)

# Применить тест отношения для фильтрации хороших совпадений
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

knnMatch()Функция возвращает два лучших совпадения для каждой характерной точки. Мы используем тест отношений (тест Лоу), чтобы отфильтровать хорошие совпадающие точки.


4. Вычисление матрицы преобразования

После получения хороших совпадающих точек мы можем использовать эти точки для вычисления матрицы преобразования между изображениями. Часто используемой матрицей преобразования является матрица гомографии, которая позволяет отображать точки с одного изображения на другое.

Пример

# Извлечь координаты совпадающих точек
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

# Вычислить матрицу гомографии
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

findHomography()Функция возвращает матрицу гомографии 3x3H, которая может отображатьimage1точки из ... вimage2...


5. Смешивание изображений

Наконец, мы используем вычисленную матрицу гомографии, чтобы сшить изображения, и выполняем смешивание, чтобы устранить артефакты сшивки.

Пример

# Получить размеры изображения
h1, w1 = image1.shape[:2]
h2, w2 = image2.shape[:2]

# Вычислить размер сшитого изображения
pts = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
dst = cv2.perspectiveTransform(pts, H)
[x_min, y_min] = np.int32(dst.min(axis=0).ravel() - 0.5)
[x_max, y_max] = np.int32(dst.max(axis=0).ravel() + 0.5)

# Вычислить матрицу переноса
translation_matrix = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]])

# Применить матрицу переноса для сшивания изображений
result = cv2.warpPerspective(image1, translation_matrix.dot(H), (x_max - x_min, y_max - y_min))
result[-y_min:h2 - y_min, -x_min:w2 - x_min] = image2

# Отображение результата сшивания
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

warpPerspective()Функция, основанная на матрице гомографии,HПараimage1выполняет перспективное преобразование и объединяет его сimage2для сшивания.


Реализация приложения

Ниже приведён полный код для сшивания изображений с использованием обнаружения и сопоставления особых точек:

Пример

import cv2
import numpy as np

# 1. Загрузка изображений
image1 = cv2.imread("path/to/image1.jpg")
image2 = cv2.imread("path/to/image2.jpg")

# 2. Преобразование в оттенки серого
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

# 3. Обнаружение ключевых точек
sift = cv2.SIFT_create()
keypoints1, descriptors1 = sift.detectAndCompute(gray1, None)
keypoints2, descriptors2 = sift.detectAndCompute(gray2, None)

# 4. Сопоставление ключевых точек
matcher = cv2.BFMatcher()
matches = matcher.knnMatch(descriptors1, descriptors2, k=2)

# 5. Фильтрация совпадающих точек
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append(m)

# 6. Вычисление матрицы гомографии
if len(good_matches) > 10:
    src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
    H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
else:
    print("Найдено недостаточно совпадений.")
    exit()

# 7. Преобразование изображения
height1, width1 = image1.shape[:2]
height2, width2 = image2.shape[:2]
warped_image = cv2.warpPerspective(image1, H, (width1 + width2, height1))

# 8. Сшивание изображений
warped_image[0:height2, 0:width2] = image2

# 9. Отображение результата
cv2.imshow("Stitched Image", warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()
Другие расширения