Распознавание объектов в OpenCV

В области компьютерного зрения распознавание объектов является очень важной задачей.

OpenCV — мощная библиотека компьютерного зрения с открытым исходным кодом, предоставляющая несколько методов реализации распознавания объектов.

В этой статье подробно рассказывается, как использовать метод сопоставления с шаблоном в OpenCV (cv2.matchTemplate()) для распознавания объектов.

Что такое сопоставление с шаблоном?

Сопоставление с шаблоном — это метод поиска области изображения, наиболее похожей на заданное изображение-шаблон.

Проще говоря, сопоставление с шаблоном — это процесс поиска части большого изображения, которая лучше всего соответствует изображению-шаблону (т. е. объекту, который мы хотим распознать). Этот метод подходит для случаев, когда размер, ориентация и форма объекта на изображении остаются практически неизменными.

  • Изображение-шаблон:Фрагмент изображения целевого объекта.

  • Поисковое изображение:Изображение, подлежащее обнаружению.

  • Результат сопоставления:Отражает распределение сходства изображения-шаблона в поисковом изображении.

Основные принципы сопоставления с шаблоном

Основной принцип сопоставления с шаблоном заключается в перемещении изображения-шаблона по целевому изображению, вычислении сходства в каждой позиции и поиске позиции с наибольшим сходством. OpenCV предоставляет несколько методов вычисления сходства, таких как сопоставление по квадрату разности (cv2.TM_SQDIFF), нормализованное сопоставление по квадрату разности (cv2.TM_SQDIFF_NORMED), сопоставление по взаимной корреляции (cv2.TM_CCORR), нормализованное сопоставление по взаимной корреляции (cv2.TM_CCORR_NORMED), сопоставление по коэффициенту корреляции (cv2.TM_CCOEFF) и нормализованное сопоставление по коэффициенту корреляции (cv2.TM_CCOEFF_NORMED)。

Сценарии применения

  • Распознавание объектов: используется для локализации конкретных объектов на изображении, таких как логотипы, значки и т. д.
  • Отслеживание объектов: используется для отслеживания целевого объекта на видео.
  • Совмещение изображений: используется для выравнивания двух изображений.

Этапы реализации сопоставления с шаблоном

  1. Загрузите изображение:Считайте искомое изображение и изображение-шаблон.

  2. Сопоставление с шаблоном:Используйтеcv2.matchTemplate()чтобы найти изображение-шаблон в искомом изображении.

  3. Получите результат сопоставления:Используйтеcv2.minMaxLoc()чтобы получить местоположение наилучшего совпадения.

  4. Нарисуйте результат сопоставления:Нарисуйте совпавшую область на изображении поиска.

  5. Отобразите результат:Отобразите результат сопоставления.

Методы сопоставления

OpenCV предоставляет несколько методов сопоставления шаблонов, которые можно указать через третий параметр cv2.matchTemplate():

МетодОписание
cv2.TM_SQDIFFСопоставление по квадрату разности; чем меньше значение, тем выше совпадение.
cv2.TM_SQDIFF_NORMEDНормализованное сопоставление по квадрату разности; чем меньше значение, тем выше совпадение.
cv2.TM_CCORRСопоставление по взаимной корреляции; чем больше значение, тем выше совпадение.
cv2.TM_CCORR_NORMEDНормализованное сопоставление по взаимной корреляции; чем больше значение, тем выше совпадение.
cv2.TM_CCOEFFСопоставление по коэффициенту корреляции; чем больше значение, тем выше совпадение.
cv2.TM_CCOEFF_NORMEDНормализованное сопоставление по коэффициенту корреляции; чем больше значение, тем выше совпадение.

Использованиеcv2.matchTemplate()для распознавания объектов

1. Импортируйте необходимые библиотеки

Сначала нам нужно импортировать библиотеки OpenCV и NumPy.

NumPy — это фундаментальная библиотека для научных вычислений в Python, а OpenCV использует массивы NumPy для хранения данных изображений.

Пример

import cv2
import numpy as np

2. Загрузите изображение и шаблон

Далее нам нужно загрузить целевое изображение и изображение-шаблон.

Целевое изображение — это изображение, в котором мы хотим найти объект, а изображение-шаблон — это объект, который мы хотим распознать.

Пример

# Загрузка целевого изображения и изображения-шаблона
img = cv2.imread('target_image.jpg', 0)
template = cv2.imread('template_image.jpg', 0)

3. Получите размеры изображения-шаблона

Чтобы перемещать изображение-шаблон по целевому изображению, нам нужно знать ширину и высоту изображения-шаблона.

Пример

# Получение размеров изображения-шаблона
w, h = template.shape[::-1]

4. Выполните сопоставление с шаблоном

Используйтеcv2.matchTemplate()функция для выполнения сопоставления с шаблоном.

Эта функция возвращает матрицу результатов, где каждый элемент представляет собой меру сходства между соответствующей позицией на целевом изображении и изображением шаблона.

Пример

# Выполнить сопоставление с шаблоном
res = cv2.matchTemplate(img, template, cv2.TM_CCOEFF_NORMED)

5. Установите порог сопоставления и найдите местоположение совпадения

Мы можем задать порог, чтобы определить, успешно ли совпадение.

Затем используйтеcv2.minMaxLoc()функцию для поиска позиций максимального и минимального значений в матрице результатов.

Пример

# Установить порог сопоставления
threshold = 0.8

# Найти местоположение совпадения
loc = np.where(res >= threshold)

6. Отметьте местоположение совпадения на целевом изображении

Наконец, мы можем отметить позицию на целевом изображении, которая соответствует шаблону.

Обычно мы используем прямоугольник, чтобы отметить область совпадения.

Пример

# Отметить местоположение совпадения на целевом изображении
for pt in zip(*loc[::-1]):
    cv2.rectangle(img, pt, (pt[0] + w, pt[1] + h), (0, 255, 0), 2)

# Отобразить результирующее изображение
cv2.imshow('Сопоставленное изображение', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

Полный код

Ниже приведён полный пример кода, показывающий, как использоватьcv2.matchTemplate()для выполнения распознавания объектов.

Пример

import cv2
import numpy as np

# Загрузка целевого изображения и изображения-шаблона
img = cv2.imread('target_image.jpg', 0)
template = cv2.imread('template_image.jpg', 0)

# Получение размеров изображения-шаблона
w, h = template.shape[::-1]

# Выполнить сопоставление с шаблоном
res = cv2.matchTemplate(img, template, cv2.TM_CCOEFF_NORMED)

# Установить порог сопоставления
threshold = 0.8

# Найти местоположение совпадения
loc = np.where(res >= threshold)

# Отметить местоположение совпадения на целевом изображении
for pt in zip(*loc[::-1]):
    cv2.rectangle(img, pt, (pt[0] + w, pt[1] + h), (0, 255, 0), 2)

# Отобразить результирующее изображение
cv2.imshow('Сопоставленное изображение', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
Другие расширения