OpenCV Video-Objektverfolgung (MeanShift, CamShift)
Im Bereich der Computer Vision ist die Video-Objektverfolgung eine sehr wichtige Aufgabe.
Die Video-Objektverfolgung wird in vielen Bereichen wie Überwachung, autonomem Fahren und Mensch-Computer-Interaktion weit verbreitet eingesetzt.
OpenCV bietet eine Vielzahl von Objektverfolgungsalgorithmen, unter denen MeanShift und CamShift zwei klassische und häufig verwendete Algorithmen sind. Dieser Artikel erklärt ausführlich die Prinzipien, Implementierungsschritte und wie sie in OpenCV verwendet werden.
1. MeanShift-Algorithmus
1.1 Algorithmusprinzip
Der MeanShift-Algorithmus ist ein dichtebasierter nichtparametrischer Clustering-Algorithmus. Er wurde ursprünglich für die Bildsegmentierung verwendet und später in den Bereich der Objektverfolgung eingeführt. Seine Kernidee besteht darin, iterativ den Schwerpunkt der Zielregion zu berechnen und den Fenstermittelpunkt auf die Schwerpunktposition zu verschieben, wodurch die Objektverfolgung erreicht wird.
Die grundlegenden Schritte des MeanShift-Algorithmus sind wie folgt:
- Initialisieren Sie das Fenster: Wählen Sie im ersten Frame des Videos manuell oder automatisch eine Zielregion als initiales Fenster aus.
- Berechnen Sie den Schwerpunkt: Berechnen Sie im aktuellen Fenster den Schwerpunkt der Zielregion (d. h. den Mittelwert der Pixelpunkte).
- Fenster verschieben: Bewege den Fenstermittelpunkt zur Schwerpunktposition.
- Iterieren: Wiederhole die Schritte 2 und 3, bis sich der Fenstermittelpunkt nicht mehr ändert oder die maximale Anzahl an Iterationen erreicht ist.
1.2 Implementierung in OpenCV
In OpenCV wird der MeanShift-Algorithmus durch diecv2.meanShift()Funktion implementiert. Das Folgende ist ein einfacher Beispielcode:
Beispiel
import numpy as np
# Video lesen
cap = cv2.VideoCapture('video.mp4')
# Erstes Frame lesen
ret, frame = cap.read()
# Initiales Fenster festlegen (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)
# ROI (Region of Interest) festlegen
roi = frame[y:y+h, x:x+w]
# In HSV-Farbraum konvertieren
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# Maske erstellen und Histogramm berechnen
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# Abbruchkriterien festlegen
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while True:
ret, frame = cap.read()
if not ret:
break
# In HSV-Farbraum konvertieren
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# Rückprojektion berechnen
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# MeanShift-Algorithmus anwenden
ret, track_window = cv2.meanShift(dst, track_window, term_crit)
# Verfolgungsergebnis zeichnen
x, y, w, h = track_window
img2 = cv2.rectangle(frame, (x, y), (x+w, y+h), 255, 2)
cv2.imshow('MeanShift-Verfolgung', img2)
if cv2.waitKey(30) & 0xFF == 27:
break
cap.release()
cv2.destroyAllWindows()
1.3 Vorteile und Nachteile
Vorteile:
- Einfach und leicht zu implementieren, mit hoher Recheneffizienz.
- Unempfindlich gegenüber Änderungen der Form und Größe des Objekts.
Nachteile:
- Geringe Handhabungsfähigkeit bei schneller Bewegung oder Verdeckung des Ziels.
- Die Fenstergröße ist fest und kann sich nicht an Änderungen der Zielgröße anpassen.
2. CamShift-Algorithmus
2.1 Algorithmusprinzip
Der CamShift-Algorithmus (Continuously Adaptive MeanShift) ist eine verbesserte Version von MeanShift. Er verfolgt Ziele besser, indem er die Fenstergröße adaptiv anpasst. Aufbauend auf MeanShift fügt der CamShift-Algorithmus Anpassungen der Fenstergröße und -ausrichtung hinzu, wodurch er sich an Änderungen der Größe und Rotation des Ziels im Video anpassen kann.
Die grundlegenden Schritte des CamShift-Algorithmus sind wie folgt:
- Fenster initialisieren: Wie bei MeanShift wählen Sie das anfängliche Fenster im ersten Frame des Videos aus.
- Schwerpunkt berechnen: Berechnen Sie im aktuellen Fenster den Schwerpunkt des Zielbereichs.
- Fenster verschieben: Bewege den Fenstermittelpunkt zur Schwerpunktposition.
- Fenstergröße und -ausrichtung anpassen: Passen Sie das Fenster an die Größe und Ausrichtung des Ziels an.
- Iterieren: Wiederholen Sie die Schritte 2 bis 4, bis sich das Fensterzentrum nicht mehr ändert oder die maximale Anzahl an Iterationen erreicht ist.
2.2 Implementierung in OpenCV
In OpenCV wird der CamShift-Algorithmus durch diecv2.CamShift()Funktion implementiert. Das Folgende ist ein einfacher Beispielcode:
Beispiel
import numpy as np
# Video lesen
cap = cv2.VideoCapture('video.mp4')
# Erstes Frame lesen
ret, frame = cap.read()
# Initiales Fenster festlegen (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)
# ROI (Region of Interest) festlegen
roi = frame[y:y+h, x:x+w]
# In HSV-Farbraum konvertieren
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# Maske erstellen und Histogramm berechnen
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# Abbruchkriterien festlegen
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while True:
ret, frame = cap.read()
if not ret:
break
# In HSV-Farbraum konvertieren
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# Rückprojektion berechnen
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# CamShift-Algorithmus anwenden
ret, track_window = cv2.CamShift(dst, track_window, term_crit)
# Verfolgungsergebnis zeichnen
pts = cv2.boxPoints(ret)
pts = np.int0(pts)
img2 = cv2.polylines(frame, [pts], True, 255, 2)
cv2.imshow('CamShift Tracking', img2)
if cv2.waitKey(30) & 0xFF == 27:
break
cap.release()
cv2.destroyAllWindows()
2.3 Vorteile und Nachteile
Vorteile:
- Kann sich an Änderungen der Größe und Ausrichtung des Ziels anpassen.
- Gute Robustheit gegenüber Formänderungen und Rotation des Ziels.
Nachteile:
- Die Fähigkeit, schnelle Bewegungen oder Verdeckungen des Ziels zu handhaben, ist weiterhin begrenzt.
- Die Rechenkomplexität ist etwas höher als bei MeanShift.
Vergleich von MeanShift und CamShift
MeanShift und CamShift sind zwei klassische Algorithmen zur Objektverfolgung, und beide haben fertige Implementierungen in OpenCV.
Der MeanShift-Algorithmus ist einfach und effizient und eignet sich für Szenarien, in denen sich Zielgröße und -ausrichtung nicht stark ändern. Der CamShift-Algorithmus kann durch adaptive Anpassung der Fenstergröße und -ausrichtung besser mit Änderungen der Zielgröße und -ausrichtung umgehen. In praktischen Anwendungen können Sie je nach spezifischen Anforderungen den passenden Algorithmus auswählen.
| Merkmal | MeanShift | CamShift |
|---|---|---|
| Fenstergröße | Feste Größe | Passt Größe und Ausrichtung adaptiv an |
| Anwendbare Szenarien | Szenarien mit fester Zielgröße | Szenarien, bei denen sich Zielgröße und Ausrichtung ändern |
| Rechenkomplexität | Niedriger | Höher |
| Echtzeitleistung | Besser | Etwas schlechter |