C++ OpenCV ビデオ処理

ビデオ処理とは、ビデオシーケンス内の各フレーム画像に対して処理と分析を行うことです。

OpenCV は、ビデオデータを処理するための強力なツールを提供します。ビデオの読み込み、フレーム処理、ビデオの保存、リアルタイムビデオ処理などの機能が含まれます。

ビデオ処理の応用シーン

ビデオ監視:

  • 背景差分を使用して動体を検出します。

  • オプティカルフローを使用して物体の運動軌跡を分析します。

ビデオ分析:

  • ビデオ内のキーフレームを抽出します。

  • ビデオ内のオブジェクトの行動を分析します。

リアルタイム処理:

  • リアルタイムビデオフィルター(エッジ検出、ぼかしなど)。

  • リアルタイムの物体検出と追跡。


ビデオの読み込みと表示

ビデオファイルの読み込み(VideoCapture)

OpenCV では、VideoCaptureクラスは、ビデオファイルまたはカメラからビデオフレームを読み取るために使用されます。

ビデオファイルを読み込むには、まず、VideoCaptureオブジェクトを作成し、ビデオファイルのパスを指定します。

例

#include <opencv2/opencv.hpp>
using namespace cv;

int main() {
    // VideoCaptureオブジェクトを作成し、ビデオファイルを開く
    VideoCapture cap("example.mp4");

    // ビデオが正常に開かれたか確認する
    if (!cap.isOpened()) {
        std::cerr << "Error: Could not open video file." << std::endl;
        return -1;
    }

    // ビデオの読み込みと表示コードは後述します
    return 0;
}

ビデオフレームの表示

ビデオファイルを読み込んだ後、ループでビデオをフレームごとに読み取り、imshow関数を使用して各フレームを表示します。

例

Mat frame;
while (true) {
    // 次のフレームを読み取る
    cap >> frame;

    // フレームが空の場合、ビデオが終了したことを意味します
    if (frame.empty()) {
        break;
    }

    // 現在のフレームを表示する
    imshow("Video", frame);

    // 30ミリ秒待機し、ESCキーで終了する
    if (waitKey(30) == 27) {
        break;
    }
}

// VideoCaptureオブジェクトを解放する
cap.release();
// すべてのウィンドウを閉じる
destroyAllWindows();

ビデオの保存(VideoWriter)

処理済みのビデオをファイルに保存したい場合は、VideoWriterクラスを使用できます。まず、出力ファイルの名前、コーデック、フレームレート、フレームサイズを指定する必要があります。

例

// ビデオのフレームレートとフレームサイズを取得する
double fps = cap.get(CAP_PROP_FPS);
Size frameSize(cap.get(CAP_PROP_FRAME_WIDTH), cap.get(CAP_PROP_FRAME_HEIGHT));

// VideoWriterオブジェクトを作成する
VideoWriter writer("output.avi", VideoWriter::fourcc('M', 'J', 'P', 'G'), fps, frameSize);

while (true) {
    cap >> frame;
    if (frame.empty()) {
        break;
    }

    // フレームを出力ビデオファイルに書き込む
    writer.write(frame);

    imshow("Video", frame);
    if (waitKey(30) == 27) {
        break;
    }
}

// VideoCapture と VideoWriter オブジェクトを解放する
cap.release();
writer.release();
destroyAllWindows();

ビデオフレーム処理

フレームごとのビデオ処理

ビデオ処理では、通常、各フレームに対して特定の処理操作を行う必要があります。例えば、各フレームに対してグレースケール化、エッジ検出などの操作を行うことができます。

例

while (true) {
    cap >> frame;
    if (frame.empty()) {
        break;
    }

    // フレームをグレースケール画像に変換する
    Mat grayFrame;
    cvtColor(frame, grayFrame, COLOR_BGR2GRAY);

    // グレースケールフレームを表示する
    imshow("Gray Video", grayFrame);

    if (waitKey(30) == 27) {
        break;
    }
}

ビデオフレームのリアルタイム処理

ビデオフレームをリアルタイム処理する場合、通常、各フレームに何らかのリアルタイム処理アルゴリズムを適用する必要があります。例えば、ビデオ内の動体をリアルタイムに検出します。

例

Mat prevFrame, nextFrame, diffFrame;
cap >> prevFrame;
cvtColor(prevFrame, prevFrame, COLOR_BGR2GRAY);

while (true) {
    cap >> nextFrame;
    if (nextFrame.empty()) {
        break;
    }

    cvtColor(nextFrame, nextFrame, COLOR_BGR2GRAY);

    // フレーム間の差分を計算する
    absdiff(prevFrame, nextFrame, diffFrame);

    // 差分フレームを表示する
    imshow("Motion Detection", diffFrame);

    // 前のフレームを更新する
    prevFrame = nextFrame.clone();

    if (waitKey(30) == 27) {
        break;
    }
}

カメラのリアルタイム処理

カメラを開く

使用VideoCaptureクラスは、ビデオファイルを読み込むだけでなく、カメラを開いてリアルタイムビデオストリームを処理することもできます。カメラを開くには、VideoCaptureのパラメータを0に設定します(デフォルトカメラを表します)。

例

VideoCapture cap(0);

if (!cap.isOpened()) {
    std::cerr << "Error: Could not open camera." << std::endl;
    return -1;
}

リアルタイムビデオストリームの処理

カメラを開いた後、ビデオファイルを処理するのと同じように、リアルタイムビデオストリームをフレームごとに処理できます。例えば、リアルタイムビデオストリームにエッジ検出アルゴリズムを適用できます。

例

while (true) {
    cap >> frame;
    if (frame.empty()) {
        break;
    }

    // Cannyエッジ検出を適用する
    Mat edges;
    Canny(frame, edges, 100, 200);

    // エッジ検出結果を表示する
    imshow("Edges", edges);

    if (waitKey(30) == 27) {
        break;
    }
}

cap.release();
destroyAllWindows();

高度なビデオ処理技術

ビデオ背景差分

背景差分は、ビデオから前景オブジェクトを抽出するために使用されます。

例

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // ビデオファイルまたはカメラを開く
    VideoCapture cap("video.mp4");
    if (!cap.isOpened()) {
        cout << "エラー:ビデオファイルまたはカメラを開けません!" << endl;
        return -1;
    }

    // 背景差分器を作成する
    Ptr<BackgroundSubtractor> bgSubtractor = createBackgroundSubtractorMOG2();

    // ビデオフレームを処理する
    Mat frame, fgMask;
    while (true) {
        cap >> frame;
        if (frame.empty()) break;

        // 背景差分を適用する
        bgSubtractor->apply(frame, fgMask);

        // 結果を表示する
        imshow("Frame", frame);
        imshow("Foreground Mask", fgMask);

        // ESCキーを押して終了する
        if (waitKey(30) == 27) break;
    }

    // リソースを解放する
    cap.release();
    destroyAllWindows();

    return 0;
}

オプティカルフロー計算

オプティカルフローは、ビデオフレーム内の物体の動きを計算するために使用されます。

スパースオプティカルフロー(Lucas-Kanade 法):

例

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // ビデオファイルまたはカメラを開く
    VideoCapture cap("video.mp4");
    if (!cap.isOpened()) {
        cout << "エラー:ビデオファイルまたはカメラを開けません!" << endl;
        return -1;
    }

    // 最初のフレームを読み取る
    Mat oldFrame, oldGray;
    cap >> oldFrame;
    cvtColor(oldFrame, oldGray, COLOR_BGR2GRAY);

    // 特徴点を選択する
    vector<Point2f> oldPoints;
    goodFeaturesToTrack(oldGray, oldPoints, 100, 0.3, 7);

    // ビデオフレームを処理する
    Mat frame, gray;
    while (true) {
        cap >> frame;
        if (frame.empty()) break;

        // グレースケール画像に変換する
        cvtColor(frame, gray, COLOR_BGR2GRAY);

        // オプティカルフローを計算する
        vector<Point2f> newPoints;
        vector<uchar> status;
        vector<float> err;
        calcOpticalFlowPyrLK(oldGray, gray, oldPoints, newPoints, status, err);

        // オプティカルフローの軌跡を描画する
        for (size_t i = 0; i < oldPoints.size(); i++) {
            if (status[i]) {
                line(frame, oldPoints[i], newPoints[i], Scalar(0, 255, 0), 2);
                circle(frame, newPoints[i], 3, Scalar(0, 0, 255), -1);
            }
        }

        // フレームと特徴点を更新する
        oldGray = gray.clone();
        oldPoints = newPoints;

        // 結果を表示する
        imshow("Optical Flow", frame);

        // ESCキーを押して終了する
        if (waitKey(30) == 27) break;
    }

    // リソースを解放する
    cap.release();
    destroyAllWindows();

    return 0;
}
その他の拡張