OpenCV Video-Objektverfolgung (MeanShift, CamShift)

Im Bereich der Computer Vision ist die Video-Objektverfolgung eine sehr wichtige Aufgabe.

Die Video-Objektverfolgung wird in vielen Bereichen wie Überwachung, autonomem Fahren und Mensch-Computer-Interaktion weit verbreitet eingesetzt.

OpenCV bietet eine Vielzahl von Objektverfolgungsalgorithmen, unter denen MeanShift und CamShift zwei klassische und häufig verwendete Algorithmen sind. Dieser Artikel erklärt ausführlich die Prinzipien, Implementierungsschritte und wie sie in OpenCV verwendet werden.

1. MeanShift-Algorithmus

1.1 Algorithmusprinzip

Der MeanShift-Algorithmus ist ein dichtebasierter nichtparametrischer Clustering-Algorithmus. Er wurde ursprünglich für die Bildsegmentierung verwendet und später in den Bereich der Objektverfolgung eingeführt. Seine Kernidee besteht darin, iterativ den Schwerpunkt der Zielregion zu berechnen und den Fenstermittelpunkt auf die Schwerpunktposition zu verschieben, wodurch die Objektverfolgung erreicht wird.

Die grundlegenden Schritte des MeanShift-Algorithmus sind wie folgt:

  1. Initialisieren Sie das Fenster: Wählen Sie im ersten Frame des Videos manuell oder automatisch eine Zielregion als initiales Fenster aus.
  2. Berechnen Sie den Schwerpunkt: Berechnen Sie im aktuellen Fenster den Schwerpunkt der Zielregion (d. h. den Mittelwert der Pixelpunkte).
  3. Fenster verschieben: Bewege den Fenstermittelpunkt zur Schwerpunktposition.
  4. Iterieren: Wiederhole die Schritte 2 und 3, bis sich der Fenstermittelpunkt nicht mehr ändert oder die maximale Anzahl an Iterationen erreicht ist.

1.2 Implementierung in OpenCV

In OpenCV wird der MeanShift-Algorithmus durch diecv2.meanShift()Funktion implementiert. Das Folgende ist ein einfacher Beispielcode:

Beispiel

import cv2
import numpy as np

# Video lesen
cap = cv2.VideoCapture('video.mp4')

# Erstes Frame lesen
ret, frame = cap.read()

# Initiales Fenster festlegen (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)

# ROI (Region of Interest) festlegen
roi = frame[y:y+h, x:x+w]

# In HSV-Farbraum konvertieren
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)

# Maske erstellen und Histogramm berechnen
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# Abbruchkriterien festlegen
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # In HSV-Farbraum konvertieren
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    # Rückprojektion berechnen
    dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

    # MeanShift-Algorithmus anwenden
    ret, track_window = cv2.meanShift(dst, track_window, term_crit)

    # Verfolgungsergebnis zeichnen
    x, y, w, h = track_window
    img2 = cv2.rectangle(frame, (x, y), (x+w, y+h), 255, 2)
    cv2.imshow('MeanShift-Verfolgung', img2)

    if cv2.waitKey(30) & 0xFF == 27:
        break

cap.release()
cv2.destroyAllWindows()

1.3 Vorteile und Nachteile

Vorteile:

  • Einfach und leicht zu implementieren, mit hoher Recheneffizienz.
  • Unempfindlich gegenüber Änderungen der Form und Größe des Objekts.

Nachteile:

  • Geringe Handhabungsfähigkeit bei schneller Bewegung oder Verdeckung des Ziels.
  • Die Fenstergröße ist fest und kann sich nicht an Änderungen der Zielgröße anpassen.

2. CamShift-Algorithmus

2.1 Algorithmusprinzip

Der CamShift-Algorithmus (Continuously Adaptive MeanShift) ist eine verbesserte Version von MeanShift. Er verfolgt Ziele besser, indem er die Fenstergröße adaptiv anpasst. Aufbauend auf MeanShift fügt der CamShift-Algorithmus Anpassungen der Fenstergröße und -ausrichtung hinzu, wodurch er sich an Änderungen der Größe und Rotation des Ziels im Video anpassen kann.

Die grundlegenden Schritte des CamShift-Algorithmus sind wie folgt:

  1. Fenster initialisieren: Wie bei MeanShift wählen Sie das anfängliche Fenster im ersten Frame des Videos aus.
  2. Schwerpunkt berechnen: Berechnen Sie im aktuellen Fenster den Schwerpunkt des Zielbereichs.
  3. Fenster verschieben: Bewege den Fenstermittelpunkt zur Schwerpunktposition.
  4. Fenstergröße und -ausrichtung anpassen: Passen Sie das Fenster an die Größe und Ausrichtung des Ziels an.
  5. Iterieren: Wiederholen Sie die Schritte 2 bis 4, bis sich das Fensterzentrum nicht mehr ändert oder die maximale Anzahl an Iterationen erreicht ist.

2.2 Implementierung in OpenCV

In OpenCV wird der CamShift-Algorithmus durch diecv2.CamShift()Funktion implementiert. Das Folgende ist ein einfacher Beispielcode:

Beispiel

import cv2
import numpy as np

# Video lesen
cap = cv2.VideoCapture('video.mp4')

# Erstes Frame lesen
ret, frame = cap.read()

# Initiales Fenster festlegen (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)

# ROI (Region of Interest) festlegen
roi = frame[y:y+h, x:x+w]

# In HSV-Farbraum konvertieren
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)

# Maske erstellen und Histogramm berechnen
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# Abbruchkriterien festlegen
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # In HSV-Farbraum konvertieren
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    # Rückprojektion berechnen
    dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

    # CamShift-Algorithmus anwenden
    ret, track_window = cv2.CamShift(dst, track_window, term_crit)

    # Verfolgungsergebnis zeichnen
    pts = cv2.boxPoints(ret)
    pts = np.int0(pts)
    img2 = cv2.polylines(frame, [pts], True, 255, 2)
    cv2.imshow('CamShift Tracking', img2)

    if cv2.waitKey(30) & 0xFF == 27:
        break

cap.release()
cv2.destroyAllWindows()

2.3 Vorteile und Nachteile

Vorteile:

  • Kann sich an Änderungen der Größe und Ausrichtung des Ziels anpassen.
  • Gute Robustheit gegenüber Formänderungen und Rotation des Ziels.

Nachteile:

  • Die Fähigkeit, schnelle Bewegungen oder Verdeckungen des Ziels zu handhaben, ist weiterhin begrenzt.
  • Die Rechenkomplexität ist etwas höher als bei MeanShift.

Vergleich von MeanShift und CamShift

MeanShift und CamShift sind zwei klassische Algorithmen zur Objektverfolgung, und beide haben fertige Implementierungen in OpenCV.

Der MeanShift-Algorithmus ist einfach und effizient und eignet sich für Szenarien, in denen sich Zielgröße und -ausrichtung nicht stark ändern. Der CamShift-Algorithmus kann durch adaptive Anpassung der Fenstergröße und -ausrichtung besser mit Änderungen der Zielgröße und -ausrichtung umgehen. In praktischen Anwendungen können Sie je nach spezifischen Anforderungen den passenden Algorithmus auswählen.

MerkmalMeanShiftCamShift
FenstergrößeFeste GrößePasst Größe und Ausrichtung adaptiv an
Anwendbare SzenarienSzenarien mit fester ZielgrößeSzenarien, bei denen sich Zielgröße und Ausrichtung ändern
RechenkomplexitätNiedrigerHöher
EchtzeitleistungBesserEtwas schlechter
Weitere Erweiterungen