OpenCV ビデオオブジェクト追跡 (MeanShift, CamShift)

コンピュータビジョンの分野において、ビデオオブジェクト追跡は非常に重要なタスクです。

ビデオオブジェクト追跡は、監視、自動運転、ヒューマンコンピュータインタラクションなど、多くの分野で広く応用されています。

OpenCV は複数のオブジェクト追跡アルゴリズムを提供しており、その中でも MeanShift と CamShift は古典的でよく使われる2つのアルゴリズムです。この記事では、これら2つのアルゴリズムの原理、実装手順、および OpenCV での使用方法について詳しく説明します。

1. MeanShift アルゴリズム

1.1 アルゴリズムの原理

MeanShift(平均シフト)アルゴリズムは、密度ベースのノンパラメトリッククラスタリングアルゴリズムであり、当初は画像分割に使用され、後にオブジェクト追跡の分野に導入されました。その核となる考え方は、反復計算によって対象領域の重心を計算し、ウィンドウの中心を重心位置に移動させることで、オブジェクトの追跡を実現することです。

MeanShift アルゴリズムの基本的な手順は以下のとおりです。

  1. ウィンドウの初期化:ビデオの最初のフレームで、手動または自動で対象領域を選択し、初期ウィンドウとします。
  2. 重心の計算:現在のウィンドウ内で、対象領域の重心(つまり画素の平均値)を計算します。
  3. ウィンドウの移動:ウィンドウの中心を重心位置に移動させます。
  4. 反復:ウィンドウの中心が変化しなくなるか、最大反復回数に達するまで、手順2と3を繰り返します。

1.2 OpenCV での実装

OpenCV では、MeanShift アルゴリズムはcv2.meanShift()関数によって実装されます。以下は簡単なサンプルコードです:

例

import cv2
import numpy as np

# ビデオを読み込む
cap = cv2.VideoCapture('video.mp4')

# 最初のフレームを読み込む
ret, frame = cap.read()

# 初期ウィンドウを設定 (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)

# ROI (Region of Interest) を設定
roi = frame[y:y+h, x:x+w]

# HSV 色空間に変換
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)

# マスクを作成しヒストグラムを計算
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 終了条件を設定
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # HSV 色空間に変換
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    # 逆投影を計算
    dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

    # MeanShift アルゴリズムを適用
    ret, track_window = cv2.meanShift(dst, track_window, term_crit)

    # 追跡結果を描画
    x, y, w, h = track_window
    img2 = cv2.rectangle(frame, (x, y), (x+w, y+h), 255, 2)
    cv2.imshow('MeanShift Tracking', img2)

    if cv2.waitKey(30) & 0xFF == 27:
        break

cap.release()
cv2.destroyAllWindows()

1.3 長所と短所

長所:

  • シンプルで実装が容易であり、計算効率が高い。
  • オブジェクトの形状やサイズの変化に敏感ではない。

短所:

  • オブジェクトの高速な動きや遮蔽への対応能力が低い。
  • ウィンドウサイズが固定されており、オブジェクトのサイズ変化に適応できない。

2. CamShift アルゴリズム

2.1 アルゴリズムの原理

CamShift(Continuously Adaptive MeanShift)アルゴリズムは MeanShift の改良版であり、ウィンドウサイズを適応的に調整することで、より良好なオブジェクト追跡を実現します。CamShift アルゴリズムは MeanShift の基盤にウィンドウサイズと方向の調整を追加し、ビデオ内でのオブジェクトのサイズや回転の変化に適応できるようにしています。

CamShift アルゴリズムの基本的な手順は以下のとおりです。

  1. ウィンドウの初期化:MeanShift と同様に、ビデオの最初のフレームで初期ウィンドウを選択します。
  2. 重心の計算:現在のウィンドウ内で、対象領域の重心を計算します。
  3. ウィンドウの移動:ウィンドウの中心を重心位置に移動させます。
  4. ウィンドウサイズと方向の調整:オブジェクトのサイズと方向に応じてウィンドウを調整します。
  5. 反復:ウィンドウの中心が変化しなくなるか、最大反復回数に達するまで、手順2から4を繰り返します。

2.2 OpenCV での実装

OpenCV では、CamShift アルゴリズムはcv2.CamShift()関数によって実装されます。以下は簡単なサンプルコードです:

例

import cv2
import numpy as np

# ビデオを読み込む
cap = cv2.VideoCapture('video.mp4')

# 最初のフレームを読み込む
ret, frame = cap.read()

# 初期ウィンドウを設定 (x, y, width, height)
x, y, w, h = 300, 200, 100, 50
track_window = (x, y, w, h)

# ROI (Region of Interest) を設定
roi = frame[y:y+h, x:x+w]

# HSV 色空間に変換
hsv_roi = cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)

# マスクを作成しヒストグラムを計算
mask = cv2.inRange(hsv_roi, np.array((0., 60., 32.)), np.array((180., 255., 255.)))
roi_hist = cv2.calcHist([hsv_roi], [0], mask, [180], [0, 180])
cv2.normalize(roi_hist, roi_hist, 0, 255, cv2.NORM_MINMAX)

# 終了条件を設定
term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # HSV 色空間に変換
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

    # 逆投影を計算
    dst = cv2.calcBackProject([hsv], [0], roi_hist, [0, 180], 1)

    # CamShift アルゴリズムを適用
    ret, track_window = cv2.CamShift(dst, track_window, term_crit)

    # 追跡結果を描画
    pts = cv2.boxPoints(ret)
    pts = np.int0(pts)
    img2 = cv2.polylines(frame, [pts], True, 255, 2)
    cv2.imshow('CamShift Tracking', img2)

    if cv2.waitKey(30) & 0xFF == 27:
        break

cap.release()
cv2.destroyAllWindows()

2.3 長所と短所

長所:

  • オブジェクトのサイズと方向の変化に適応できる。
  • オブジェクトの形状変化や回転に対して良好なロバスト性を持つ。

短所:

  • オブジェクトの高速な動きや遮蔽への対応能力は依然として限定的である。
  • 計算の複雑さは MeanShift より若干高い。

MeanShift と CamShift の比較

MeanShift と CamShift は2つの古典的なオブジェクト追跡アルゴリズムであり、どちらも OpenCV で既製の実装が提供されています。

MeanShift アルゴリズムはシンプルで効率的であり、オブジェクトのサイズや方向の変化が小さいシーンに適しています。一方、CamShift アルゴリズムはウィンドウサイズと方向を適応的に調整することで、オブジェクトのサイズや方向の変化により適切に対応できます。実際の応用では、具体的なニーズに応じて適切なアルゴリズムを選択できます。

特性MeanShiftCamShift
ウィンドウサイズ固定サイズサイズと方向を適応的に調整
適用シーンオブジェクトのサイズが固定されたシーンオブジェクトのサイズと方向が変化するシーン
計算の複雑さ低い高い
リアルタイム性良いやや劣る
その他の拡張