OpenCV Отслеживание объектов на видео (MeanShift, CamShift)

В области компьютерного зрения отслеживание объектов на видео является очень важной задачей.

Отслеживание объектов на видео широко применяется во многих областях, таких как видеонаблюдение, автономное вождение и взаимодействие человека с компьютером.

OpenCV предоставляет множество алгоритмов отслеживания объектов, среди которых MeanShift и CamShift — два классических и часто используемых алгоритма. В этой статье будут подробно объяснены принципы, этапы реализации и способы их использования в OpenCV.

1. Алгоритм MeanShift

1.1 Принцип алгоритма

Алгоритм MeanShift — это непараметрический алгоритм кластеризации, основанный на плотности. Изначально он использовался для сегментации изображений, а позже был внедрён в область отслеживания объектов. Его основная идея — итеративно вычислять центроид целевой области и перемещать центр окна в положение центроида, тем самым достигая отслеживания объекта.

Основные шаги алгоритма MeanShift следующие:

  1. Инициализировать окно: В первом кадре видео вручную или автоматически выберите целевую область в качестве начального окна.
  2. Вычислить центроид: В текущем окне вычислите центроид целевой области (т. е. среднее значение пиксельных точек).
  3. Перемещение окна: Переместить центр окна в положение центроида.
  4. Итерация: Повторяйте шаги 2 и 3, пока центр окна не перестанет изменяться или пока не будет достигнуто максимальное число итераций.

1.2 Реализация в OpenCV

В OpenCV алгоритм MeanShift реализован с помощьюcv2.meanShift()функции. Ниже приведён простой пример кода:

Пример

import cv2
import numpy as np

# Чтение видео
cap = cv2.VideoCapture('video.mp4')

# Чтение первого кадра
ret, frame = cap.read()

# Задать начальное окно (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)

# Задать ROI (область интереса)
roi = frame[y:y+h, x:x+w]

# Преобразовать в цветовое пространство HSV
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)

# Создать маску и вычислить гистограмму
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# Задать критерии завершения
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Преобразовать в цветовое пространство HSV
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    # Вычислить обратную проекцию
    dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

    # Применить алгоритм MeanShift
    ret, track_window = cv2.meanShift(dst, track_window, term_crit)

    # Нарисовать результат отслеживания
    x, y, w, h = track_window
    img2 = cv2.rectangle(frame, (x, y), (x+w, y+h), 255, 2)
    cv2.imshow('Отслеживание MeanShift', img2)

    if cv2.waitKey(30) & 0xFF == 27:
        break

cap.release()
cv2.destroyAllWindows()

1.3 Преимущества и недостатки

Преимущества:

  • Простой и лёгкий в реализации, с высокой вычислительной эффективностью.
  • Нечувствителен к изменениям формы и размера объекта.

Недостатки:

  • Плохо справляется с быстрым движением или перекрытием цели.
  • Размер окна фиксирован и не может адаптироваться к изменениям размера цели.

2. Алгоритм CamShift

2.1 Принцип алгоритма

Алгоритм CamShift (Continuously Adaptive MeanShift) — улучшенная версия MeanShift. Он лучше отслеживает цели за счёт адаптивного изменения размера окна. Основываясь на MeanShift, алгоритм CamShift добавляет корректировку размера и ориентации окна, что позволяет ему адаптироваться к изменениям размера и поворота цели в видео.

Основные шаги алгоритма CamShift следующие:

  1. Инициализация окна: Как и в MeanShift, выбрать начальное окно в первом кадре видео.
  2. Вычислить центроид: В текущем окне вычислить центроид области цели.
  3. Перемещение окна: Переместить центр окна в положение центроида.
  4. Настроить размер и ориентацию окна: Настроить окно в соответствии с размером и ориентацией цели.
  5. Итерация: Повторять шаги 2–4, пока центр окна не перестанет изменяться или не будет достигнуто максимальное число итераций.

2.2 Реализация в OpenCV

В OpenCV алгоритм CamShift реализован с помощьюcv2.CamShift()функции. Ниже приведён простой пример кода:

Пример

import cv2
import numpy as np

# Чтение видео
cap = cv2.VideoCapture('video.mp4')

# Чтение первого кадра
ret, frame = cap.read()

# Задать начальное окно (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)

# Задать ROI (область интереса)
roi = frame[y:y+h, x:x+w]

# Преобразовать в цветовое пространство HSV
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)

# Создать маску и вычислить гистограмму
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# Задать критерии завершения
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Преобразовать в цветовое пространство HSV
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    # Вычислить обратную проекцию
    dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

    # Применить алгоритм CamShift
    ret, track_window = cv2.CamShift(dst, track_window, term_crit)

    # Нарисовать результат отслеживания
    pts = cv2.boxPoints(ret)
    pts = np.int0(pts)
    img2 = cv2.polylines(frame, [pts], True, 255, 2)
    cv2.imshow('CamShift Tracking', img2)

    if cv2.waitKey(30) & 0xFF == 27:
        break

cap.release()
cv2.destroyAllWindows()

2.3 Преимущества и недостатки

Преимущества:

  • Способен адаптироваться к изменениям размера и ориентации цели.
  • Хорошая устойчивость к изменениям формы и вращению цели.

Недостатки:

  • Возможность обработки быстрого движения или перекрытия цели всё ещё ограничена.
  • Вычислительная сложность немного выше, чем у MeanShift.

Сравнение MeanShift и CamShift

MeanShift и CamShift — два классических алгоритма отслеживания объектов, и оба имеют готовые реализации в OpenCV.

Алгоритм MeanShift прост и эффективен, подходит для сценариев, где размер и ориентация цели меняются незначительно. Алгоритм CamShift, адаптивно регулируя размер и ориентацию окна, может лучше справляться с изменениями размера и ориентации цели. В практических приложениях можно выбрать подходящий алгоритм в соответствии с конкретными потребностями.

ХарактеристикаMeanShiftCamShift
Размер окнаФиксированный размерАдаптивно регулирует размер и ориентацию
Применимые сценарииСценарии с фиксированным размером целиСценарии, в которых размер и ориентация цели изменяются
Вычислительная сложностьНижнийПовышенный
Производительность в реальном времениЛучшеНемного хуже
Другие расширения