Обнаружение и описание признаков в OpenCV на C++

Обнаружение и описание признаков — это ключевая технология в компьютерном зрении, используемая для извлечения ключевых точек из изображений и вычисления их дескрипторов. Эти ключевые точки и дескрипторы могут использоваться для таких задач, как сопоставление изображений, распознавание объектов и 3D-реконструкция.

Основные шаги

  • Обнаружение признаков: Обнаруживает ключевые точки на изображении (такие как углы, края и т. д.).

  • Описание признаков: Вычисляет дескриптор для каждой ключевой точки, чтобы представить локальные особенности вокруг ключевой точки.

  • Сопоставление признаков: Находит похожие ключевые точки на разных изображениях путём сравнения дескрипторов.

  • Обнаружение и описание признаков: Находит похожие ключевые точки на двух изображениях с помощью сопоставления признаков; используется для сшивания изображений, создания панорам и т. д.
  • Распознавание объектов: Извлекает признаки из целевого изображения, сопоставляет их с признаками в базе данных и выполняет распознавание объекта.
  • 3D-реконструкция: Вычисляет позу камеры и реконструирует 3D-сцену путём сопоставления признаковых точек на многовизуальных изображениях.
  • Отслеживание в реальном времени: Обнаруживает и отслеживает характерные точки в видеопоследовательностях; используется в таких приложениях, как SLAM (одновременная локализация и построение карты).

Распространённые алгоритмы обнаружения и описания признаков

OpenCV предоставляет множество алгоритмов обнаружения и описания признаков. Ниже приведены некоторые из распространённых:

АлгоритмХарактеристикиПрименимые сценарии
SIFTМасштабно-инвариантное преобразование признаков, устойчиво к поворотам, масштабированию и изменениям яркости.Сопоставление изображений, распознавание объектов
SURFУскоренная версия SIFT, более быстрое вычисление, но немного менее устойчива к изменениям поворота и масштаба.Сопоставление изображений в реальном времени
ORBОснован на детектировании ключевых точек FAST и дескрипторах BRIEF, быстрый и подходящий для приложений реального времени.Сопоставление изображений в реальном времени, SLAM
FASTБыстрый алгоритм обнаружения углов, только обнаруживает ключевые точки, не создаёт дескрипторы.Обнаружение углов в реальном времени
BRIEFБинарный дескриптор, быстрое вычисление, но менее устойчив к изменениям поворота и масштаба.Сопоставление изображений в реальном времени
AKAZEАлгоритм обнаружения и описания признаков, основанный на нелинейном масштабном пространстве, устойчив к изменениям поворота и масштаба.Сопоставление изображений, распознавание объектов

Обнаружение углов

Углы — это точки изображения, в которых яркость резко изменяется, обычно они расположены на границах объектов или в областях с богатой текстурой. Обнаружение углов — основа обнаружения признаков. К распространённым алгоритмам обнаружения углов относятся метод Харриса и метод Ши-Томаси.

Обнаружение углов Харриса

Обнаружение углов Харриса — классический алгоритм обнаружения углов. Он определяет, является ли пиксель углом, путём вычисления автокорреляционной матрицы для каждого пикселя изображения. Собственные значения автокорреляционной матрицы отражают локальную структуру пикселя: если оба собственных значения большие, пиксель, вероятно, является углом; если одно собственное значение большое, а другое маленькое, пиксель может быть краем; если оба собственных значения маленькие, пиксель может находиться в плоской области.

В OpenCV можно использоватьcv::cornerHarrisфункцию для реализации обнаружения углов Харриса:

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat dst, dst_norm;

    // Обнаружение углов Харриса
    cv::cornerHarris(src, dst, 2, 3, 0.04);

    // Нормализовать и отобразить результат
    cv::normalize(dst, dst_norm, 0, 255, cv::NORM_MINMAX, CV_32FC1, cv::Mat());
    cv::imshow("Harris Corners", dst_norm);
    cv::waitKey(0);

    return 0;
}

Обнаружение углов Ши-Томаси

Обнаружение углов Ши-Томаси является улучшением обнаружения углов Харриса. Оно определяет, является ли пиксель углом, путём вычисления минимального собственного значения для каждого пикселя изображения. По сравнению с обнаружением углов Харриса, обнаружение углов Ши-Томаси более стабильно и требует меньше вычислений.

В OpenCV можно использоватьcv::goodFeaturesToTrackфункция для реализации обнаружения углов Ши-Томаси:

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::Point2f> corners;

    // Обнаружение углов Ши-Томаси
    cv::goodFeaturesToTrack(src, corners, 100, 0.01, 10);

    // Нарисовать углы
    for (size_t i = 0; i < corners.size(); i++) {
        cv::circle(src, corners[i], 5, cv::Скаляр(0, 0, 255), 2);
    }

    cv::imshow("Углы Ши-Томаси", src);
    cv::waitKey(0);

    return 0;
}

Обнаружение характерных точек

Обнаружение характерных точек — это извлечение точек с отличительными свойствами на изображении. Эти точки обычно инвариантны к повороту, масштабированию и освещению. Распространённые алгоритмы обнаружения характерных точек включают SIFT, SURF и ORB.

Алгоритм SIFT

SIFT (масштабно-инвариантное преобразование признаков) — это алгоритм обнаружения характерных точек, основанный на масштабном пространстве. Он инвариантен к повороту изображения, масштабированию и изменениям яркости. Алгоритм SIFT обнаруживает точки экстремума на изображении и вычисляет гистограммы ориентации градиентов для этих точек, чтобы сгенерировать дескрипторы признаков.

В OpenCV можно использоватьcv::xfeatures2d::SIFTкласс для реализации обнаружения характерных точек SIFT:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // Обнаружение ключевых точек SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // Нарисовать ключевые точки
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("Ключевые точки SIFT", output);
    cv::waitKey(0);

    return 0;
}

Алгоритм SURF

SURF (Speeded-Up Robust Features) — улучшение алгоритма SIFT. Он использует интегральные изображения и матрицу Гессе для ускорения процесса обнаружения ключевых точек. Алгоритм SURF значительно повышает скорость вычислений, сохраняя высокую точность обнаружения.

В OpenCV можно использоватьcv::xfeatures2d::SURFКласс для реализации обнаружения ключевых точек SURF:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // Обнаружение ключевых точек SURF
    cv::Ptr<cv::xfeatures2d::SURF> surf = cv::xfeatures2d::SURF::create();
    surf->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // Нарисовать ключевые точки
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("Ключевые точки SURF", output);
    cv::waitKey(0);

    return 0;
}

Алгоритм ORB

ORB (Oriented FAST and Rotated BRIEF) — это алгоритм обнаружения характерных точек, который сочетает обнаружение углов FAST и дескриптор BRIEF. Алгоритм ORB обладает высокой вычислительной эффективностью и подходит для приложений, работающих в реальном времени.

В OpenCV можно использоватьcv::ORBкласс для реализации обнаружения характерных точек ORB:

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // Обнаружение характерных точек ORB
    cv::Ptr<cv::ORB> orb = cv::ORB::create();
    orb->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // Нарисовать ключевые точки
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("Ключевые точки ORB", output);
    cv::waitKey(0);

    return 0;
}

Сопоставление признаков

Сопоставление признаков — это процесс сопоставления характерных точек между двумя изображениями. К распространённым алгоритмам сопоставления признаков относятся BFMatcher (Brute-Force Matcher) и сопоставитель FLANN.

BFMatcher

BFMatcher (Brute-Force Matcher) — это простой алгоритм сопоставления признаков, который находит наилучшие совпадающие точки путём вычисления евклидова расстояния между дескрипторами признаков. BFMatcher подходит для случаев с небольшим количеством характерных точек.

В OpenCV можно использоватьcv::BFMatcherкласс для реализации BFMatcher:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Обнаружение ключевых точек SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Сопоставление с помощью BFMatcher
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Нарисовать результаты сопоставления
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("Сопоставления BFMatcher", output);
    cv::waitKey(0);

    return 0;
}

Сопоставитель FLANN

FLANN (Fast Library for Approximate Nearest Neighbors) — это алгоритм приближённого поиска ближайших соседей, который ускоряет процесс сопоставления признаков за счёт построения KD-деревьев или деревьев K-средних. Сопоставитель FLANN подходит для случаев с большим количеством особых точек.

В OpenCV можно использоватьcv::FlannBasedMatcherКласс для реализации сопоставителя FLANN:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Обнаружение ключевых точек SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Сопоставитель FLANN
    cv::FlannBasedMatcher matcher;
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Нарисовать результаты сопоставления
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("Сопоставления FLANN", output);
    cv::waitKey(0);

    return 0;
}

Сопоставление и фильтрация особых точек

В практических приложениях результаты сопоставления особых точек могут содержать некоторые неверные пары совпадений. Для повышения точности сопоставления обычно необходимо отфильтровать результаты сопоставления. К распространённым методам фильтрации относятся фильтрация по расстоянию и фильтрация на основе геометрических ограничений.

Фильтрация по расстоянию

Фильтрация по расстоянию удаляет пары совпадений с большими расстояниями, устанавливая пороговое значение. В OpenCV можно использоватьcv::DescriptorMatcher::radiusMatchфункцию для реализации фильтрации по расстоянию.

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Обнаружение ключевых точек SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Сопоставление с помощью BFMatcher
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<std::vector<cv::DMatch>> matches;
    matcher.radiusMatch(descriptors1, descriptors2, matches, 50.0);

    // Нарисовать результаты сопоставления
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("Filtered Matches", output);
    cv::waitKey(0);

    return 0;
}

Фильтрация на основе геометрических ограничений

Фильтрация на основе геометрических ограничений удаляет пары совпадений, которые не удовлетворяют геометрическим ограничениям, путём вычисления фундаментальной матрицы или матрицы гомографии. В OpenCV можно использоватьcv::findFundamentalMatилиcv::findHomographyфункцию для реализации фильтрации на основе геометрических ограничений.

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Обнаружение ключевых точек SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Сопоставление с помощью BFMatcher
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Фильтрация на основе геометрических ограничений
    std::vector<cv::Point2f> points1, points2;
    for (size_t i = 0; i < matches.size(); i++) {
        points1.push_back(keypoints1[matches[i].queryIdx].pt);
        points2.push_back(keypoints2[matches[i].trainIdx].pt);
    }

    cv::Mat mask;
    cv::findHomography(points1, points2, cv::RANSAC, 3, mask);

    // Фильтрация совпадающих пар
    std::vector<cv::DMatch> good_matches;
    for (size_t i = 0; i < matches.size(); i++) {
        if (mask.at<uchar>(i)) {
            good_matches.push_back(matches[i]);
        }
    }

    // Нарисовать результаты сопоставления
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, good_matches, output);
    cv::imshow("Filtered Matches", output);
    cv::waitKey(0);

    return 0;
}
Другие расширения