OpenCV Отслеживание объектов на видео (MeanShift, CamShift)
В области компьютерного зрения отслеживание объектов на видео является очень важной задачей.
Отслеживание объектов на видео широко применяется во многих областях, таких как видеонаблюдение, автономное вождение и взаимодействие человека с компьютером.
OpenCV предоставляет множество алгоритмов отслеживания объектов, среди которых MeanShift и CamShift — два классических и часто используемых алгоритма. В этой статье будут подробно объяснены принципы, этапы реализации и способы их использования в OpenCV.
1. Алгоритм MeanShift
1.1 Принцип алгоритма
Алгоритм MeanShift — это непараметрический алгоритм кластеризации, основанный на плотности. Изначально он использовался для сегментации изображений, а позже был внедрён в область отслеживания объектов. Его основная идея — итеративно вычислять центроид целевой области и перемещать центр окна в положение центроида, тем самым достигая отслеживания объекта.
Основные шаги алгоритма MeanShift следующие:
- Инициализировать окно: В первом кадре видео вручную или автоматически выберите целевую область в качестве начального окна.
- Вычислить центроид: В текущем окне вычислите центроид целевой области (т. е. среднее значение пиксельных точек).
- Перемещение окна: Переместить центр окна в положение центроида.
- Итерация: Повторяйте шаги 2 и 3, пока центр окна не перестанет изменяться или пока не будет достигнуто максимальное число итераций.
1.2 Реализация в OpenCV
В OpenCV алгоритм MeanShift реализован с помощьюcv2.meanShift()функции. Ниже приведён простой пример кода:
Пример
import numpy as np
# Чтение видео
cap = cv2.VideoCapture('video.mp4')
# Чтение первого кадра
ret, frame = cap.read()
# Задать начальное окно (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)
# Задать ROI (область интереса)
roi = frame[y:y+h, x:x+w]
# Преобразовать в цветовое пространство HSV
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# Создать маску и вычислить гистограмму
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# Задать критерии завершения
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while True:
ret, frame = cap.read()
if not ret:
break
# Преобразовать в цветовое пространство HSV
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# Вычислить обратную проекцию
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# Применить алгоритм MeanShift
ret, track_window = cv2.meanShift(dst, track_window, term_crit)
# Нарисовать результат отслеживания
x, y, w, h = track_window
img2 = cv2.rectangle(frame, (x, y), (x+w, y+h), 255, 2)
cv2.imshow('Отслеживание MeanShift', img2)
if cv2.waitKey(30) & 0xFF == 27:
break
cap.release()
cv2.destroyAllWindows()
1.3 Преимущества и недостатки
Преимущества:
- Простой и лёгкий в реализации, с высокой вычислительной эффективностью.
- Нечувствителен к изменениям формы и размера объекта.
Недостатки:
- Плохо справляется с быстрым движением или перекрытием цели.
- Размер окна фиксирован и не может адаптироваться к изменениям размера цели.
2. Алгоритм CamShift
2.1 Принцип алгоритма
Алгоритм CamShift (Continuously Adaptive MeanShift) — улучшенная версия MeanShift. Он лучше отслеживает цели за счёт адаптивного изменения размера окна. Основываясь на MeanShift, алгоритм CamShift добавляет корректировку размера и ориентации окна, что позволяет ему адаптироваться к изменениям размера и поворота цели в видео.
Основные шаги алгоритма CamShift следующие:
- Инициализация окна: Как и в MeanShift, выбрать начальное окно в первом кадре видео.
- Вычислить центроид: В текущем окне вычислить центроид области цели.
- Перемещение окна: Переместить центр окна в положение центроида.
- Настроить размер и ориентацию окна: Настроить окно в соответствии с размером и ориентацией цели.
- Итерация: Повторять шаги 2–4, пока центр окна не перестанет изменяться или не будет достигнуто максимальное число итераций.
2.2 Реализация в OpenCV
В OpenCV алгоритм CamShift реализован с помощьюcv2.CamShift()функции. Ниже приведён простой пример кода:
Пример
import numpy as np
# Чтение видео
cap = cv2.VideoCapture('video.mp4')
# Чтение первого кадра
ret, frame = cap.read()
# Задать начальное окно (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)
# Задать ROI (область интереса)
roi = frame[y:y+h, x:x+w]
# Преобразовать в цветовое пространство HSV
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# Создать маску и вычислить гистограмму
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# Задать критерии завершения
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while True:
ret, frame = cap.read()
if not ret:
break
# Преобразовать в цветовое пространство HSV
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# Вычислить обратную проекцию
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# Применить алгоритм CamShift
ret, track_window = cv2.CamShift(dst, track_window, term_crit)
# Нарисовать результат отслеживания
pts = cv2.boxPoints(ret)
pts = np.int0(pts)
img2 = cv2.polylines(frame, [pts], True, 255, 2)
cv2.imshow('CamShift Tracking', img2)
if cv2.waitKey(30) & 0xFF == 27:
break
cap.release()
cv2.destroyAllWindows()
2.3 Преимущества и недостатки
Преимущества:
- Способен адаптироваться к изменениям размера и ориентации цели.
- Хорошая устойчивость к изменениям формы и вращению цели.
Недостатки:
- Возможность обработки быстрого движения или перекрытия цели всё ещё ограничена.
- Вычислительная сложность немного выше, чем у MeanShift.
Сравнение MeanShift и CamShift
MeanShift и CamShift — два классических алгоритма отслеживания объектов, и оба имеют готовые реализации в OpenCV.
Алгоритм MeanShift прост и эффективен, подходит для сценариев, где размер и ориентация цели меняются незначительно. Алгоритм CamShift, адаптивно регулируя размер и ориентацию окна, может лучше справляться с изменениями размера и ориентации цели. В практических приложениях можно выбрать подходящий алгоритм в соответствии с конкретными потребностями.
| Характеристика | MeanShift | CamShift |
|---|---|---|
| Размер окна | Фиксированный размер | Адаптивно регулирует размер и ориентацию |
| Применимые сценарии | Сценарии с фиксированным размером цели | Сценарии, в которых размер и ориентация цели изменяются |
| Вычислительная сложность | Нижний | Повышенный |
| Производительность в реальном времени | Лучше | Немного хуже |