Вычитание фона на видео в OpenCV (MOG, MOG2)

В области компьютерного зрения вычитание фона — часто используемая техника для извлечения объектов переднего плана из видеопоследовательностей.

Основная идея вычитания фона состоит в том, чтобы смоделировать фон, а затем сравнить текущий кадр с моделью фона, чтобы выделить объекты переднего плана.

OpenCV предоставляет несколько алгоритмов вычитания фона, среди которых MOG (Mixture of Gaussians) и MOG2 — два наиболее часто используемых метода.

Основные понятия вычитания фона

Вычитание фона — это метод, используемый для анализа видео, главным образом для обнаружения движущихся объектов в видео. Его базовый процесс выглядит следующим образом:

  1. Моделирование фона: Анализируя несколько кадров в видеопоследовательности, построить модель фона.
  2. Обнаружение переднего плана: Сравните текущий кадр с моделью фона, чтобы выявить области со значительными отличиями от фона; эти области являются объектами переднего плана.
  3. Обновление фона: Со временем фон может изменяться (например, изменения освещения, движение объектов фона и т. д.), поэтому модель фона необходимо непрерывно обновлять.

Алгоритм MOG (смесь гауссовых распределений)

Принцип

Алгоритм MOG — это метод вычитания фона, основанный на модели смеси гауссовых распределений (GMM). Его основная идея — использовать несколько гауссовых распределений для моделирования значений пикселей в фоне. Каждое значение пикселя рассматривается как случайная величина, распределение которой состоит из нескольких гауссовых распределений. Таким образом, MOG может обрабатывать сложные изменения фона, такие как изменения освещения и тени.

Шаги алгоритма

  1. Инициализация: Инициализируйте несколько гауссовых распределений для каждого пикселя.
  2. Обновление модели: Для каждого кадра обновляйте параметры гауссовых распределений (среднее, дисперсию, вес) для каждого пикселя.
  3. Обнаружение переднего плана: Сравните значения пикселей текущего кадра с гауссовыми распределениями в модели фона. Если значение пикселя не попадает в диапазон ни одного гауссова распределения, оно помечается как передний план.

Реализация в OpenCV

В OpenCV алгоритм MOG можно создать с помощьюcv2.bgsegm.createBackgroundSubtractorMOG()функции для создания вычитателя фона. Ниже приведён простой пример кода:

Пример

import cv2

# Создать вычитатель фона MOG
mog = cv2.bgsegm.createBackgroundSubtractorMOG()

# Чтение видео
cap = cv2.VideoCapture('video.mp4')

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Применить вычитание фона
    fg_mask = mog.apply(frame)

    # Отобразить результат
    cv2.imshow('Frame', frame)
    cv2.imshow('FG Mask', fg_mask)

    if cv2.waitKey(30) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Алгоритм MOG2 (смесь гауссовых распределений, версия 2)

Принцип

MOG2 — улучшенная версия MOG. Основное отличие состоит в том, что он может автоматически выбирать количество гауссовых распределений и лучше адаптироваться к изменениям фона. Динамически регулируя количество и параметры гауссовых распределений, MOG2 может более точно моделировать фон, тем самым повышая точность обнаружения переднего плана.

Шаги алгоритма

  1. Инициализация: Инициализируйте несколько гауссовых распределений для каждого пикселя.
  2. Обновление модели: Для каждого кадра обновляйте параметры гауссовых распределений для каждого пикселя и увеличивайте или уменьшайте количество гауссовых распределений по мере необходимости.
  3. Обнаружение переднего плана: Сравните значения пикселей текущего кадра с гауссовыми распределениями в модели фона. Если значение пикселя не попадает в диапазон ни одного гауссова распределения, оно помечается как передний план.

Реализация в OpenCV

В OpenCV алгоритм MOG2 можно создать с помощьюcv2.createBackgroundSubtractorMOG2()функции для создания вычитателя фона. Ниже приведён простой пример кода:

Пример

import cv2

# Создать вычитатель фона MOG2
mog2 = cv2.createBackgroundSubtractorMOG2()

# Чтение видео
cap = cv2.VideoCapture('video.mp4')

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Применить вычитание фона
    fg_mask = mog2.apply(frame)

    # Отобразить результат
    cv2.imshow('Frame', frame)
    cv2.imshow('FG Mask', fg_mask)

    if cv2.waitKey(30) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Применения вычитания фона

  • Видеонаблюдение:Используется для обнаружения движущихся объектов в видео наблюдения, таких как пешеходы, транспортные средства и т. д.

  • Анализ движения:Используется для анализа траекторий движения и поведения целей в видео.

  • Человеко-компьютерное взаимодействие:Используется для обнаружения жестов пользователя или лиц для обеспечения человеко-компьютерного взаимодействия.

Ниже приведен полный пример кода вычитания фона MOG2:

Пример

import cv2

# Чтение видео
cap = cv2.VideoCapture("path/to/video.mp4")

# Создать вычитатель фона MOG2
fgbg = cv2.createBackgroundSubtractorMOG2()

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # Применить вычитатель фона
    fgmask = fgbg.apply(frame)

    # Отобразить результат
    cv2.imshow("MOG2 Вычитание фона", fgmask)

    # Нажмите 'q' для выхода
    if cv2.waitKey(30) & 0xFF == ord('q'):
        break

# Освобождение ресурсов
cap.release()
cv2.destroyAllWindows()

Сравнение MOG и MOG2

Вычитание фона — важная техника в анализе видео, а MOG и MOG2 — два часто используемых алгоритма вычитания фона в OpenCV.

Алгоритм MOG использует фиксированное число гауссовых распределений для моделирования фона, что делает его подходящим для сцен с небольшим количеством изменений фона, тогда как алгоритм MOG2 динамически настраивает число и параметры гауссовых распределений, позволяя ему лучше адаптироваться к изменениям фона, что делает его подходящим для сцен с большим количеством изменений фона.

Характеристика MOG MOG2
Число гауссовых распределений Фиксированные Динамически настраивается
Скорость обновления фона Медленнее Быстрее
Способность адаптироваться к изменениям фона Слабее Сильнее
Вычислительная сложность Нижний Повышенный
Применимые сценарии Сцены с меньшим количеством изменений фона Сцены с большим количеством изменений фона
Другие расширения