Suivi d'objets vidéo OpenCV (MeanShift, CamShift)
Dans le domaine de la vision par ordinateur, le suivi d'objets vidéo est une tâche très importante.
Le suivi d'objets vidéo est largement utilisé dans de nombreux domaines tels que la surveillance, la conduite autonome et l'interaction homme-machine.
OpenCV propose une variété d'algorithmes de suivi d'objets, parmi lesquels MeanShift et CamShift sont deux algorithmes classiques et couramment utilisés. Cet article expliquera en détail les principes, les étapes de mise en œuvre et comment les utiliser dans OpenCV.
1. Algorithme MeanShift
1.1 Principe de l'algorithme
L'algorithme MeanShift est un algorithme de clustering non paramétrique basé sur la densité. Il a d'abord été utilisé pour la segmentation d'images, puis introduit dans le domaine du suivi d'objets. Son idée centrale est de calculer de manière itérative le centroïde de la région cible et de déplacer le centre de la fenêtre vers la position du centroïde, réalisant ainsi le suivi d'objets.
Les étapes de base de l'algorithme MeanShift sont les suivantes :
- Initialiser la fenêtre: Dans la première image de la vidéo, sélectionnez manuellement ou automatiquement une région cible comme fenêtre initiale.
- Calculer le centroïde: Dans la fenêtre actuelle, calculez le centroïde de la région cible (c'est-à-dire la moyenne des points de pixels).
- Déplacer la fenêtre: Déplacer le centre de la fenêtre à la position du centroïde.
- Itérer: Répéter les étapes 2 et 3 jusqu'à ce que le centre de la fenêtre ne change plus ou que le nombre maximal d'itérations soit atteint.
1.2 Implémentation dans OpenCV
Dans OpenCV, l'algorithme MeanShift est implémenté via lacv2.meanShift()fonction. Voici un exemple de code simple :
Exemple
import numpy as np
# Lire la vidéo
cap = cv2.VideoCapture('video.mp4')
# Lire la première image
ret, frame = cap.read()
# Définir la fenêtre initiale (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)
# Définir la ROI (région d'intérêt)
roi = frame[y:y+h, x:x+w]
# Convertir en espace colorimétrique HSV
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# Créer un masque et calculer l'histogramme
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# Définir les critères d'arrêt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while True:
ret, frame = cap.read()
if not ret:
break
# Convertir en espace colorimétrique HSV
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# Calculer la rétroprojection
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# Appliquer l'algorithme MeanShift
ret, track_window = cv2.meanShift(dst, track_window, term_crit)
# Dessiner le résultat du suivi
x, y, w, h = track_window
img2 = cv2.rectangle(frame, (x, y), (x+w, y+h), 255, 2)
cv2.imshow('Suivi MeanShift', img2)
if cv2.waitKey(30) & 0xFF == 27:
break
cap.release()
cv2.destroyAllWindows()
1.3 Avantages et inconvénients
Avantages:
- Simple et facile à mettre en œuvre, avec une efficacité de calcul élevée.
- Insensible aux changements de forme et de taille de l'objet.
Inconvénients:
- Faible capacité à gérer les mouvements rapides ou l'occlusion de la cible.
- La taille de la fenêtre est fixe et ne peut pas s'adapter aux changements de taille de la cible.
2. Algorithme CamShift
2.1 Principe de l'algorithme
L'algorithme CamShift (MeanShift à adaptation continue) est une version améliorée de MeanShift. Il suit mieux les cibles en ajustant de manière adaptative la taille de la fenêtre. En se basant sur MeanShift, l'algorithme CamShift ajoute des ajustements à la taille et à l'orientation de la fenêtre, ce qui lui permet de s'adapter aux changements de taille et de rotation de la cible dans la vidéo.
Les étapes de base de l'algorithme CamShift sont les suivantes :
- Initialiser la fenêtre: Comme pour MeanShift, sélectionnez la fenêtre initiale dans la première image de la vidéo.
- Calculer le centroïde: Dans la fenêtre actuelle, calculez le centroïde de la région cible.
- Déplacer la fenêtre: Déplacer le centre de la fenêtre à la position du centroïde.
- Ajuster la taille et l'orientation de la fenêtre: Ajustez la fenêtre en fonction de la taille et de l'orientation de la cible.
- Itérer: Répétez les étapes 2 à 4 jusqu'à ce que le centre de la fenêtre ne change plus ou que le nombre maximal d'itérations soit atteint.
2.2 Implémentation dans OpenCV
Dans OpenCV, l'algorithme CamShift est implémenté via lacv2.CamShift()fonction. Voici un exemple de code simple :
Exemple
import numpy as np
# Lire la vidéo
cap = cv2.VideoCapture('video.mp4')
# Lire la première image
ret, frame = cap.read()
# Définir la fenêtre initiale (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)
# Définir la ROI (région d'intérêt)
roi = frame[y:y+h, x:x+w]
# Convertir en espace colorimétrique HSV
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
# Créer un masque et calculer l'histogramme
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)
# Définir les critères d'arrêt
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)
while True:
ret, frame = cap.read()
if not ret:
break
# Convertir en espace colorimétrique HSV
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
# Calculer la rétroprojection
dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)
# Appliquer l'algorithme CamShift
ret, track_window = cv2.CamShift(dst, track_window, term_crit)
# Dessiner le résultat du suivi
pts = cv2.boxPoints(ret)
pts = np.int0(pts)
img2 = cv2.polylines(frame, [pts], True, 255, 2)
cv2.imshow('CamShift Tracking', img2)
if cv2.waitKey(30) & 0xFF == 27:
break
cap.release()
cv2.destroyAllWindows()
2.3 Avantages et inconvénients
Avantages:
- Peut s'adapter aux changements de taille et d'orientation de la cible.
- Bonne robustesse aux changements de forme et à la rotation de la cible.
Inconvénients:
- La capacité à gérer les mouvements rapides ou l'occlusion de la cible reste limitée.
- La complexité de calcul est légèrement supérieure à celle de MeanShift.
Comparaison de MeanShift et CamShift
MeanShift et CamShift sont deux algorithmes classiques de suivi d'objets, et tous deux ont des implémentations prêtes à l'emploi dans OpenCV.
L'algorithme MeanShift est simple et efficace, adapté aux scénarios où la taille et l'orientation de la cible ne changent pas beaucoup. L'algorithme CamShift, en ajustant de manière adaptative la taille et l'orientation de la fenêtre, peut mieux gérer les changements de taille et d'orientation de la cible. Dans les applications pratiques, vous pouvez choisir l'algorithme approprié en fonction des besoins spécifiques.
| Fonctionnalité | MeanShift | CamShift |
|---|---|---|
| Taille de la fenêtre | Taille fixe | Ajuste adaptativement la taille et l'orientation |
| Scénarios applicables | Scénarios avec une taille de cible fixe | Scénarios où la taille et l'orientation de la cible changent |
| Complexité de calcul | Inférieur | Plus élevé |
| Performances en temps réel | Meilleur | Légèrement moins bon |