Обнаружение и описание признаков в OpenCV на C++
Обнаружение и описание признаков — это ключевая технология в компьютерном зрении, используемая для извлечения ключевых точек из изображений и вычисления их дескрипторов. Эти ключевые точки и дескрипторы могут использоваться для таких задач, как сопоставление изображений, распознавание объектов и 3D-реконструкция.
Основные шаги
Обнаружение признаков: Обнаруживает ключевые точки на изображении (такие как углы, края и т. д.).
Описание признаков: Вычисляет дескриптор для каждой ключевой точки, чтобы представить локальные особенности вокруг ключевой точки.
Сопоставление признаков: Находит похожие ключевые точки на разных изображениях путём сравнения дескрипторов.
- Обнаружение и описание признаков: Находит похожие ключевые точки на двух изображениях с помощью сопоставления признаков; используется для сшивания изображений, создания панорам и т. д.
- Распознавание объектов: Извлекает признаки из целевого изображения, сопоставляет их с признаками в базе данных и выполняет распознавание объекта.
- 3D-реконструкция: Вычисляет позу камеры и реконструирует 3D-сцену путём сопоставления признаковых точек на многовизуальных изображениях.
- Отслеживание в реальном времени: Обнаруживает и отслеживает характерные точки в видеопоследовательностях; используется в таких приложениях, как SLAM (одновременная локализация и построение карты).
Распространённые алгоритмы обнаружения и описания признаков
OpenCV предоставляет множество алгоритмов обнаружения и описания признаков. Ниже приведены некоторые из распространённых:
| Алгоритм | Характеристики | Применимые сценарии |
|---|---|---|
| SIFT | Масштабно-инвариантное преобразование признаков, устойчиво к поворотам, масштабированию и изменениям яркости. | Сопоставление изображений, распознавание объектов |
| SURF | Ускоренная версия SIFT, более быстрое вычисление, но немного менее устойчива к изменениям поворота и масштаба. | Сопоставление изображений в реальном времени |
| ORB | Основан на детектировании ключевых точек FAST и дескрипторах BRIEF, быстрый и подходящий для приложений реального времени. | Сопоставление изображений в реальном времени, SLAM |
| FAST | Быстрый алгоритм обнаружения углов, только обнаруживает ключевые точки, не создаёт дескрипторы. | Обнаружение углов в реальном времени |
| BRIEF | Бинарный дескриптор, быстрое вычисление, но менее устойчив к изменениям поворота и масштаба. | Сопоставление изображений в реальном времени |
| AKAZE | Алгоритм обнаружения и описания признаков, основанный на нелинейном масштабном пространстве, устойчив к изменениям поворота и масштаба. | Сопоставление изображений, распознавание объектов |
Обнаружение углов
Углы — это точки изображения, в которых яркость резко изменяется, обычно они расположены на границах объектов или в областях с богатой текстурой. Обнаружение углов — основа обнаружения признаков. К распространённым алгоритмам обнаружения углов относятся метод Харриса и метод Ши-Томаси.
Обнаружение углов Харриса
Обнаружение углов Харриса — классический алгоритм обнаружения углов. Он определяет, является ли пиксель углом, путём вычисления автокорреляционной матрицы для каждого пикселя изображения. Собственные значения автокорреляционной матрицы отражают локальную структуру пикселя: если оба собственных значения большие, пиксель, вероятно, является углом; если одно собственное значение большое, а другое маленькое, пиксель может быть краем; если оба собственных значения маленькие, пиксель может находиться в плоской области.
В OpenCV можно использоватьcv::cornerHarrisфункцию для реализации обнаружения углов Харриса:
Пример
int main() {
cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
cv::Mat dst, dst_norm;
// Обнаружение углов Харриса
cv::cornerHarris(src, dst, 2, 3, 0.04);
// Нормализовать и отобразить результат
cv::normalize(dst, dst_norm, 0, 255, cv::NORM_MINMAX, CV_32FC1, cv::Mat());
cv::imshow("Harris Corners", dst_norm);
cv::waitKey(0);
return 0;
}
Обнаружение углов Ши-Томаси
Обнаружение углов Ши-Томаси является улучшением обнаружения углов Харриса. Оно определяет, является ли пиксель углом, путём вычисления минимального собственного значения для каждого пикселя изображения. По сравнению с обнаружением углов Харриса, обнаружение углов Ши-Томаси более стабильно и требует меньше вычислений.
В OpenCV можно использоватьcv::goodFeaturesToTrackфункция для реализации обнаружения углов Ши-Томаси:
Пример
int main() {
cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::Point2f> corners;
// Обнаружение углов Ши-Томаси
cv::goodFeaturesToTrack(src, corners, 100, 0.01, 10);
// Нарисовать углы
for (size_t i = 0; i < corners.size(); i++) {
cv::circle(src, corners[i], 5, cv::Скаляр(0, 0, 255), 2);
}
cv::imshow("Углы Ши-Томаси", src);
cv::waitKey(0);
return 0;
}
Обнаружение характерных точек
Обнаружение характерных точек — это извлечение точек с отличительными свойствами на изображении. Эти точки обычно инвариантны к повороту, масштабированию и освещению. Распространённые алгоритмы обнаружения характерных точек включают SIFT, SURF и ORB.
Алгоритм SIFT
SIFT (масштабно-инвариантное преобразование признаков) — это алгоритм обнаружения характерных точек, основанный на масштабном пространстве. Он инвариантен к повороту изображения, масштабированию и изменениям яркости. Алгоритм SIFT обнаруживает точки экстремума на изображении и вычисляет гистограммы ориентации градиентов для этих точек, чтобы сгенерировать дескрипторы признаков.
В OpenCV можно использоватьcv::xfeatures2d::SIFTкласс для реализации обнаружения характерных точек SIFT:
Пример
#include <opencv2/xfeatures2d.hpp>
int main() {
cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints;
cv::Mat descriptors;
// Обнаружение ключевых точек SIFT
cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
sift->detectAndCompute(src, cv::noArray(), keypoints, descriptors);
// Нарисовать ключевые точки
cv::Mat output;
cv::drawKeypoints(src, keypoints, output);
cv::imshow("Ключевые точки SIFT", output);
cv::waitKey(0);
return 0;
}
Алгоритм SURF
SURF (Speeded-Up Robust Features) — улучшение алгоритма SIFT. Он использует интегральные изображения и матрицу Гессе для ускорения процесса обнаружения ключевых точек. Алгоритм SURF значительно повышает скорость вычислений, сохраняя высокую точность обнаружения.
В OpenCV можно использоватьcv::xfeatures2d::SURFКласс для реализации обнаружения ключевых точек SURF:
Пример
#include <opencv2/xfeatures2d.hpp>
int main() {
cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints;
cv::Mat descriptors;
// Обнаружение ключевых точек SURF
cv::Ptr<cv::xfeatures2d::SURF> surf = cv::xfeatures2d::SURF::create();
surf->detectAndCompute(src, cv::noArray(), keypoints, descriptors);
// Нарисовать ключевые точки
cv::Mat output;
cv::drawKeypoints(src, keypoints, output);
cv::imshow("Ключевые точки SURF", output);
cv::waitKey(0);
return 0;
}
Алгоритм ORB
ORB (Oriented FAST and Rotated BRIEF) — это алгоритм обнаружения характерных точек, который сочетает обнаружение углов FAST и дескриптор BRIEF. Алгоритм ORB обладает высокой вычислительной эффективностью и подходит для приложений, работающих в реальном времени.
В OpenCV можно использоватьcv::ORBкласс для реализации обнаружения характерных точек ORB:
Пример
int main() {
cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints;
cv::Mat descriptors;
// Обнаружение характерных точек ORB
cv::Ptr<cv::ORB> orb = cv::ORB::create();
orb->detectAndCompute(src, cv::noArray(), keypoints, descriptors);
// Нарисовать ключевые точки
cv::Mat output;
cv::drawKeypoints(src, keypoints, output);
cv::imshow("Ключевые точки ORB", output);
cv::waitKey(0);
return 0;
}
Сопоставление признаков
Сопоставление признаков — это процесс сопоставления характерных точек между двумя изображениями. К распространённым алгоритмам сопоставления признаков относятся BFMatcher (Brute-Force Matcher) и сопоставитель FLANN.
BFMatcher
BFMatcher (Brute-Force Matcher) — это простой алгоритм сопоставления признаков, который находит наилучшие совпадающие точки путём вычисления евклидова расстояния между дескрипторами признаков. BFMatcher подходит для случаев с небольшим количеством характерных точек.
В OpenCV можно использоватьcv::BFMatcherкласс для реализации BFMatcher:
Пример
#include <opencv2/xfeatures2d.hpp>
int main() {
cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints1, keypoints2;
cv::Mat descriptors1, descriptors2;
// Обнаружение ключевых точек SIFT
cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);
// Сопоставление с помощью BFMatcher
cv::BFMatcher matcher(cv::NORM_L2);
std::vector<cv::DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);
// Нарисовать результаты сопоставления
cv::Mat output;
cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
cv::imshow("Сопоставления BFMatcher", output);
cv::waitKey(0);
return 0;
}
Сопоставитель FLANN
FLANN (Fast Library for Approximate Nearest Neighbors) — это алгоритм приближённого поиска ближайших соседей, который ускоряет процесс сопоставления признаков за счёт построения KD-деревьев или деревьев K-средних. Сопоставитель FLANN подходит для случаев с большим количеством особых точек.
В OpenCV можно использоватьcv::FlannBasedMatcherКласс для реализации сопоставителя FLANN:
Пример
#include <opencv2/xfeatures2d.hpp>
int main() {
cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints1, keypoints2;
cv::Mat descriptors1, descriptors2;
// Обнаружение ключевых точек SIFT
cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);
// Сопоставитель FLANN
cv::FlannBasedMatcher matcher;
std::vector<cv::DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);
// Нарисовать результаты сопоставления
cv::Mat output;
cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
cv::imshow("Сопоставления FLANN", output);
cv::waitKey(0);
return 0;
}
Сопоставление и фильтрация особых точек
В практических приложениях результаты сопоставления особых точек могут содержать некоторые неверные пары совпадений. Для повышения точности сопоставления обычно необходимо отфильтровать результаты сопоставления. К распространённым методам фильтрации относятся фильтрация по расстоянию и фильтрация на основе геометрических ограничений.
Фильтрация по расстоянию
Фильтрация по расстоянию удаляет пары совпадений с большими расстояниями, устанавливая пороговое значение. В OpenCV можно использоватьcv::DescriptorMatcher::radiusMatchфункцию для реализации фильтрации по расстоянию.
Пример
#include <opencv2/xfeatures2d.hpp>
int main() {
cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints1, keypoints2;
cv::Mat descriptors1, descriptors2;
// Обнаружение ключевых точек SIFT
cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);
// Сопоставление с помощью BFMatcher
cv::BFMatcher matcher(cv::NORM_L2);
std::vector<std::vector<cv::DMatch>> matches;
matcher.radiusMatch(descriptors1, descriptors2, matches, 50.0);
// Нарисовать результаты сопоставления
cv::Mat output;
cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
cv::imshow("Filtered Matches", output);
cv::waitKey(0);
return 0;
}
Фильтрация на основе геометрических ограничений
Фильтрация на основе геометрических ограничений удаляет пары совпадений, которые не удовлетворяют геометрическим ограничениям, путём вычисления фундаментальной матрицы или матрицы гомографии. В OpenCV можно использоватьcv::findFundamentalMatилиcv::findHomographyфункцию для реализации фильтрации на основе геометрических ограничений.
Пример
#include <opencv2/xfeatures2d.hpp>
int main() {
cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
std::vector<cv::KeyPoint> keypoints1, keypoints2;
cv::Mat descriptors1, descriptors2;
// Обнаружение ключевых точек SIFT
cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);
// Сопоставление с помощью BFMatcher
cv::BFMatcher matcher(cv::NORM_L2);
std::vector<cv::DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);
// Фильтрация на основе геометрических ограничений
std::vector<cv::Point2f> points1, points2;
for (size_t i = 0; i < matches.size(); i++) {
points1.push_back(keypoints1[matches[i].queryIdx].pt);
points2.push_back(keypoints2[matches[i].trainIdx].pt);
}
cv::Mat mask;
cv::findHomography(points1, points2, cv::RANSAC, 3, mask);
// Фильтрация совпадающих пар
std::vector<cv::DMatch> good_matches;
for (size_t i = 0; i < matches.size(); i++) {
if (mask.at<uchar>(i)) {
good_matches.push_back(matches[i]);
}
}
// Нарисовать результаты сопоставления
cv::Mat output;
cv::drawMatches(src1, keypoints1, src2, keypoints2, good_matches, output);
cv::imshow("Filtered Matches", output);
cv::waitKey(0);
return 0;
}