C++ OpenCV 特徴検出と記述

特徴検出と記述はコンピュータビジョンにおける中核技術であり、画像からキーポイント(Keypoints)を抽出し、そのディスクリプタ(Descriptors)を計算するために使用されます。これらのキーポイントとディスクリプタは、画像マッチング、物体認識、3D再構成などのタスクに利用できます。

主な手順

  • 特徴検出:画像内のキーポイント(コーナー、エッジなど)を検出します。

  • 特徴記述:各キーポイントに対してディスクリプタを計算し、キーポイント周辺の局所的な特徴を表します。

  • 特徴マッチング:ディスクリプタを比較することで、異なる画像間で類似したキーポイントを見つけます。

  • 特徴検出と記述:特徴マッチングによって2枚の画像間で類似したキーポイントを見つけ、画像の貼り合わせやパノラマ生成などに使用します。
  • 物体認識:対象画像の特徴を抽出し、データベース内の特徴とマッチングすることで物体認識を実現します。
  • 3D再構成:複数視点の画像における特徴点マッチングを通じて、カメラの姿勢を計算し3Dシーンを再構成します。
  • リアルタイム追跡:ビデオシーケンス内で特徴点を検出・追跡し、SLAM(自己位置推定と地図構築)などのアプリケーションに使用します。

よく使われる特徴検出・記述アルゴリズム

OpenCVにはさまざまな特徴検出・記述アルゴリズムが用意されています。以下はその代表的なものです:

アルゴリズム特徴適用シーン
SIFTスケール不変特徴変換であり、回転・スケール変更・明るさの変化に対してロバストです。画像マッチング、物体認識
SURFSIFTの高速版で、計算速度は速いですが、回転とスケール変更に対するロバスト性はやや劣ります。リアルタイム画像マッチング
ORBFASTキーポイント検出とBRIEFディスクリプタに基づいており、高速でリアルタイムアプリケーションに適しています。リアルタイム画像マッチング、SLAM
FAST高速なコーナー検出アルゴリズムで、キーポイントの検出のみを行い、ディスクリプタは生成しません。リアルタイムコーナー検出
BRIEFバイナリディスクリプタで、計算速度は速いですが、回転とスケール変更に対するロバスト性は低めです。リアルタイム画像マッチング
AKAZE非線形スケールスペースに基づく特徴検出・記述アルゴリズムで、回転とスケール変更に対してロバストです。画像マッチング、物体認識

コーナー検出

コーナーとは、画像内で輝度が急激に変化する点であり、通常は物体のエッジやテクスチャの豊富な領域に位置します。コーナー検出は特徴検出の基礎であり、よく使われるコーナー検出アルゴリズムにはHarrisコーナー検出とShi-Tomasiコーナー検出があります。

Harrisコーナー検出

Harrisコーナー検出は古典的なコーナー検出アルゴリズムで、画像内の各ピクセルの自己相関行列を計算し、その点がコーナーであるかどうかを判断します。自己相関行列の固有値はその点の局所構造を反映します。2つの固有値がともに大きい場合はその点はコーナーである可能性が高く、一方が大きく他方が小さい場合はエッジの可能性があり、ともに小さい場合は平坦な領域の可能性があります。

OpenCVでは、次のcv::cornerHarris関数を使用してHarrisコーナー検出を実現できます:

例

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat dst, dst_norm;

    // Harrisコーナー検出
    cv::cornerHarris(src, dst, 2, 3, 0.04);

    // 正規化して結果を表示
    cv::normalize(dst, dst_norm, 0, 255, cv::NORM_MINMAX, CV_32FC1, cv::Mat());
    cv::imshow("Harris Corners", dst_norm);
    cv::waitKey(0);

    return 0;
}

Shi-Tomasiコーナー検出

Shi-Tomasiコーナー検出はHarrisコーナー検出の改良版で、画像内の各ピクセルの最小固有値を計算し、その点がコーナーであるかを判断します。Harrisコーナー検出と比較して、Shi-Tomasiコーナー検出はより安定しており、計算量も少なめです。

OpenCVでは、次のcv::goodFeaturesToTrack関数を使用してShi-Tomasiコーナー検出を実現できます:

例

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::Point2f> corners;

    // Shi-Tomasiコーナー検出
    cv::goodFeaturesToTrack(src, corners, 100, 0.01, 10);

    // コーナーを描画
    for (size_t i = 0; i < corners.size(); i++) {
        cv::circle(src, corners[i], 5, cv::Scalar(0, 0, 255), 2);
    }

    cv::imshow("Shi-Tomasi Corners", src);
    cv::waitKey(0);

    return 0;
}

特徴点検出

特徴点検出は、画像内で独自の性質を持つ点を抽出する処理であり、これらの点は通常、回転・スケール・照明変化に対して不変性を持ちます。よく使われる特徴点検出アルゴリズムには、SIFT、SURF、ORBがあります。

SIFTアルゴリズム

SIFT(Scale-Invariant Feature Transform)は、スケールスペースに基づく特徴点検出アルゴリズムで、画像の回転・スケール変更・明るさの変化に対して不変性を持ちます。SIFTアルゴリズムは、画像内の極値点を検出し、これらの点の勾配方向ヒストグラムを計算することで特徴記述子を生成します。

OpenCVでは、次のcv::xfeatures2d::SIFTクラスを使用してSIFT特徴点検出を実現できます:

例

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // SIFT特徴点検出
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // 特徴点を描画
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("SIFT Keypoints", output);
    cv::waitKey(0);

    return 0;
}

SURFアルゴリズム

SURF(Speeded-Up Robust Features)はSIFTアルゴリズムの改良版で、積分画像とHessian行列を使用して特徴点検出プロセスを高速化します。SURFアルゴリズムは、高い検出精度を維持しながら、計算速度を大幅に向上させます。

OpenCVでは、次のcv::xfeatures2d::SURFクラスを使用してSURF特徴点検出を実現できます:

例

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // SURF特徴点検出
    cv::Ptr<cv::xfeatures2d::SURF> surf = cv::xfeatures2d::SURF::create();
    surf->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // 特徴点を描画
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("SURF Keypoints", output);
    cv::waitKey(0);

    return 0;
}

ORBアルゴリズム

ORB(Oriented FAST and Rotated BRIEF)は、FASTコーナー検出とBRIEF記述子を組み合わせた特徴点検出アルゴリズムです。ORBアルゴリズムは計算効率が高く、リアルタイムアプリケーションに適しています。

OpenCVでは、次のcv::ORBクラスを使用してORB特徴点検出を実現できます:

例

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // ORB特徴点検出
    cv::Ptr<cv::ORB> orb = cv::ORB::create();
    orb->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // 特徴点を描画
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("ORB Keypoints", output);
    cv::waitKey(0);

    return 0;
}

特徴マッチング

特徴マッチングは、2枚の画像間で特徴点を対応付けるプロセスです。よく使われる特徴マッチングアルゴリズムには、BFMatcher(ブルートフォースマッチャー)とFLANNマッチャーがあります。

BFMatcher

BFMatcher(Brute-Force Matcher)はシンプルな特徴マッチングアルゴリズムで、特徴記述子間のユークリッド距離を計算して最適な対応点を探します。BFMatcherは特徴点の数が少ない場合に適しています。

OpenCVでは、次のcv::BFMatcherクラスを使用してBFMatcherを実現できます:

例

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // SIFT特徴点検出
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // BFMatcherマッチング
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // マッチング結果を描画
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("BFMatcher Matches", output);
    cv::waitKey(0);

    return 0;
}

FLANNマッチャー

FLANN(Fast Library for Approximate Nearest Neighbors)は近似最近傍探索アルゴリズムで、KD木やK-means木を構築して特徴マッチングプロセスを高速化します。FLANNマッチャーは特徴点の数が多い場合に適しています。

OpenCVでは、次のcv::FlannBasedMatcherクラスを使用してFLANNマッチャーを実現できます:

例

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // SIFT特徴点検出
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // FLANNマッチャー
    cv::FlannBasedMatcher matcher;
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // マッチング結果を描画
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("FLANN Matches", output);
    cv::waitKey(0);

    return 0;
}

特徴点マッチングとフィルタリング

実際のアプリケーションでは、特徴点マッチングの結果に誤った対応ペアが含まれることがあります。マッチングの精度を高めるために、通常はマッチング結果をフィルタリングする必要があります。よく使われるフィルタリング方法には、距離に基づくフィルタリングと幾何学的制約に基づくフィルタリングがあります。

距離に基づくフィルタリング

距離に基づくフィルタリングは、閾値を設定して距離が大きい対応ペアを除外する方法です。OpenCVでは次のcv::DescriptorMatcher::radiusMatch関数を使用して距離に基づくフィルタリングを実現できます。

例

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // SIFT特徴点検出
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // BFMatcherマッチング
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<std::vector<cv::DMatch>> matches;
    matcher.radiusMatch(descriptors1, descriptors2, matches, 50.0);

    // マッチング結果を描画
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("Filtered Matches", output);
    cv::waitKey(0);

    return 0;
}

幾何学的制約に基づくフィルタリング

幾何学的制約に基づくフィルタリングは、基礎行列またはホモグラフィ行列を計算して、幾何学的制約に適合しない対応ペアを除外する方法です。OpenCVでは次のcv::findFundamentalMat或cv::findHomography関数を使用して幾何学的制約に基づくフィルタリングを実現できます。

例

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // SIFT特徴点検出
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // BFMatcherマッチング
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // 幾何学的制約に基づくフィルタリング
    std::vector<cv::Point2f> points1, points2;
    for (size_t i = 0; i < matches.size(); i++) {
        points1.push_back(keypoints1[matches[i].queryIdx].pt);
        points2.push_back(keypoints2[matches[i].trainIdx].pt);
    }

    cv::Mat mask;
    cv::findHomography(points1, points2, cv::RANSAC, 3, mask);

    // 対応ペアをフィルタリング
    std::vector<cv::DMatch> good_matches;
    for (size_t i = 0; i < matches.size(); i++) {
        if (mask.at<uchar>(i)) {
            good_matches.push_back(matches[i]);
        }
    }

    // マッチング結果を描画
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, good_matches, output);
    cv::imshow("Filtered Matches", output);
    cv::waitKey(0);

    return 0;
}
その他の拡張