C++ OpenCV Detección y descripción de características

La detección y descripción de características es una tecnología central en la visión por computadora, utilizada para extraer puntos clave (Keypoints) de las imágenes y calcular sus descriptores (Descriptors). Estos puntos clave y descriptores se pueden utilizar para tareas como la coincidencia de imágenes, el reconocimiento de objetos y la reconstrucción 3D.

Pasos principales

  • Detección de características: detectar puntos clave en la imagen (como esquinas, bordes, etc.).

  • Descripción de características: calcular un descriptor para cada punto clave, que represente las características locales alrededor del punto clave.

  • Coincidencia de características: encontrar puntos clave similares en diferentes imágenes comparando los descriptores.

  • Detección y descripción de características: encontrar puntos clave similares en dos imágenes mediante la coincidencia de características, para el cosido de imágenes, generación de panorámicas, etc.
  • Reconocimiento de objetos: extraer las características de la imagen del objeto y compararlas con las de la base de datos para lograr el reconocimiento de objetos.
  • Reconstrucción 3D: calcular la pose de la cámara y reconstruir la escena 3D mediante la coincidencia de puntos de características en imágenes multivista.
  • Seguimiento en tiempo real: detectar y rastrear puntos de características en secuencias de video, para aplicaciones como SLAM (Localización y mapeo simultáneos).

Algoritmos comunes de detección y descripción de características

OpenCV proporciona varios algoritmos de detección y descripción de características; a continuación se presentan algunos de los más comunes:

AlgoritmoCaracterísticasEscenarios de aplicación
SIFTTransformación de características invariante a la escala, robusta a la rotación, la escala y los cambios de brillo.Coincidencia de imágenes, reconocimiento de objetos
SURFVersión acelerada de SIFT, con mayor velocidad de cálculo, pero robustez ligeramente inferior a los cambios de rotación y escala.Coincidencia de imágenes en tiempo real
ORBBasado en la detección de puntos clave FAST y el descriptor BRIEF, rápido y adecuado para aplicaciones en tiempo real.Coincidencia de imágenes en tiempo real, SLAM
FASTAlgoritmo rápido de detección de esquinas, solo detecta puntos clave, no genera descriptores.Detección de esquinas en tiempo real
BRIEFDescriptor binario, rápido de calcular, pero con menor robustez a los cambios de rotación y escala.Coincidencia de imágenes en tiempo real
AKAZEAlgoritmo de detección y descripción de características basado en espacio de escala no lineal, robusto a los cambios de rotación y escala.Coincidencia de imágenes, reconocimiento de objetos

Detección de esquinas

Las esquinas son puntos de la imagen donde el brillo cambia drásticamente, generalmente ubicados en los bordes de los objetos o en regiones con textura rica. La detección de esquinas es la base de la detección de características; los algoritmos comunes de detección de esquinas incluyen la detección de esquinas de Harris y la detección de esquinas de Shi-Tomasi.

Detección de esquinas de Harris

La detección de esquinas de Harris es un algoritmo clásico de detección de esquinas que determina si un punto es una esquina calculando la matriz de autocorrelación de cada píxel de la imagen. Los valores propios de la matriz de autocorrelación pueden reflejar la estructura local del punto: si ambos valores propios son grandes, es probable que el punto sea una esquina; si un valor propio es grande y el otro pequeño, el punto puede ser un borde; si ambos valores propios son pequeños, el punto puede estar en una región plana.

En OpenCV, se puede usar la funcióncv::cornerHarrispara implementar la detección de esquinas de Harris:

Ejemplo

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat dst, dst_norm;

    // Detección de esquinas de Harris
    cv::cornerHarris(src, dst, 2, 3, 0.04);

    // Normalizar y mostrar el resultado
    cv::normalize(dst, dst_norm, 0, 255, cv::NORM_MINMAX, CV_32FC1, cv::Mat());
    cv::imshow("Harris Corners", dst_norm);
    cv::waitKey(0);

    return 0;
}

Detección de esquinas de Shi-Tomasi

La detección de esquinas de Shi-Tomasi es una mejora de la detección de esquinas de Harris. Determina si un punto es una esquina calculando el valor propio mínimo de cada píxel de la imagen. En comparación con la detección de esquinas de Harris, la detección de esquinas de Shi-Tomasi es más estable y requiere menos cálculo.

En OpenCV, se puede usar la funcióncv::goodFeaturesToTrackpara implementar la detección de esquinas de Shi-Tomasi:

Ejemplo

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::Point2f> corners;

    // Detección de esquinas de Shi-Tomasi
    cv::goodFeaturesToTrack(src, corners, 100, 0.01, 10);

    // Dibujar esquinas
    for (size_t i = 0; i < corners.size(); i++) {
        cv::circle(src, corners[i], 5, cv::Scalar(0, 0, 255), 2);
    }

    cv::imshow("Shi-Tomasi Corners", src);
    cv::waitKey(0);

    return 0;
}

Detección de puntos de características

La detección de puntos de características consiste en extraer puntos con propiedades distintivas de la imagen; estos puntos suelen ser invariantes a la rotación, la escala y la iluminación. Los algoritmos comunes de detección de puntos de características incluyen SIFT, SURF y ORB.

Algoritmo SIFT

SIFT (Transformación de características invariante a la escala) es un algoritmo de detección de puntos de características basado en el espacio de escala, invariante a la rotación, la escala y los cambios de brillo de la imagen. El algoritmo SIFT genera descriptores de características detectando puntos extremos en la imagen y calculando los histogramas de direcciones de gradiente de estos puntos.

En OpenCV, se puede usar la clasecv::xfeatures2d::SIFTpara implementar la detección de puntos de características SIFT:

Ejemplo

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // Detección de puntos de características SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // Dibujar puntos de características
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("SIFT Keypoints", output);
    cv::waitKey(0);

    return 0;
}

Algoritmo SURF

SURF (Características robustas aceleradas) es una mejora del algoritmo SIFT. Acelera el proceso de detección de puntos de características mediante el uso de imágenes integrales y la matriz Hessiana. El algoritmo SURF mejora significativamente la velocidad de cálculo manteniendo una alta precisión de detección.

En OpenCV, se puede usar la clasecv::xfeatures2d::SURFpara implementar la detección de puntos de características SURF:

Ejemplo

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // Detección de puntos de características SURF
    cv::Ptr<cv::xfeatures2d::SURF> surf = cv::xfeatures2d::SURF::create();
    surf->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // Dibujar puntos de características
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("SURF Keypoints", output);
    cv::waitKey(0);

    return 0;
}

Algoritmo ORB

ORB (FAST orientado y BRIEF rotado) es un algoritmo de detección de puntos de características que combina la detección de esquinas FAST y el descriptor BRIEF. El algoritmo ORB tiene una alta eficiencia computacional y es adecuado para aplicaciones en tiempo real.

En OpenCV, se puede usar la clasecv::ORBpara implementar la detección de puntos de características ORB:

Ejemplo

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat src = cv::imread("image.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints;
    cv::Mat descriptors;

    // Detección de puntos de características ORB
    cv::Ptr<cv::ORB> orb = cv::ORB::create();
    orb->detectAndCompute(src, cv::noArray(), keypoints, descriptors);

    // Dibujar puntos de características
    cv::Mat output;
    cv::drawKeypoints(src, keypoints, output);
    cv::imshow("ORB Keypoints", output);
    cv::waitKey(0);

    return 0;
}

Coincidencia de características

La coincidencia de características es el proceso de emparejar los puntos de características de dos imágenes. Los algoritmos comunes de coincidencia de características incluyen BFMatcher (matcher de fuerza bruta) y el matcher FLANN.

BFMatcher

BFMatcher (matcher de fuerza bruta) es un algoritmo simple de coincidencia de características que encuentra los mejores puntos de coincidencia calculando la distancia euclidiana entre los descriptores de características. BFMatcher es adecuado para casos con un número reducido de puntos de características.

En OpenCV, se puede usar la clasecv::BFMatcherpara implementar BFMatcher:

Ejemplo

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Detección de puntos de características SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Coincidencia con BFMatcher
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Dibujar el resultado de la coincidencia
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("BFMatcher Matches", output);
    cv::waitKey(0);

    return 0;
}

Matcher FLANN

FLANN (Biblioteca rápida para vecinos más cercanos aproximados) es un algoritmo de búsqueda de vecinos más cercanos aproximados que acelera el proceso de coincidencia de características mediante la construcción de árboles KD o árboles K-means. El matcher FLANN es adecuado para casos con un gran número de puntos de características.

En OpenCV, se puede usar la clasecv::FlannBasedMatcherpara implementar el matcher FLANN:

Ejemplo

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Detección de puntos de características SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Matcher FLANN
    cv::FlannBasedMatcher matcher;
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Dibujar el resultado de la coincidencia
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("FLANN Matches", output);
    cv::waitKey(0);

    return 0;
}

Coincidencia y filtrado de puntos de características

En aplicaciones prácticas, los resultados de la coincidencia de puntos de características pueden contener algunos pares de coincidencias incorrectos. Para mejorar la precisión de la coincidencia, generalmente es necesario filtrar los resultados. Los métodos de filtrado comunes incluyen el filtrado basado en distancia y el filtrado basado en restricciones geométricas.

Filtrado basado en distancia

El filtrado basado en distancia consiste en establecer un umbral para descartar los pares de coincidencias con una distancia mayor. En OpenCV se puede usar la funcióncv::DescriptorMatcher::radiusMatchpara implementar el filtrado basado en distancia.

Ejemplo

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Detección de puntos de características SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Coincidencia con BFMatcher
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<std::vector<cv::DMatch>> matches;
    matcher.radiusMatch(descriptors1, descriptors2, matches, 50.0);

    // Dibujar el resultado de la coincidencia
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, matches, output);
    cv::imshow("Filtered Matches", output);
    cv::waitKey(0);

    return 0;
}

Filtrado basado en restricciones geométricas

El filtrado basado en restricciones geométricas consiste en calcular la matriz fundamental o la matriz de homografía para descartar los pares de coincidencias que no cumplen con las restricciones geométricas. En OpenCV se puede usar la funcióncv::findFundamentalMatocv::findHomographypara implementar el filtrado basado en restricciones geométricas.

Ejemplo

#include <opencv2/opencv.hpp>
#include <opencv2/xfeatures2d.hpp>

int main() {
    cv::Mat src1 = cv::imread("image1.jpg", cv::IMREAD_GRAYSCALE);
    cv::Mat src2 = cv::imread("image2.jpg", cv::IMREAD_GRAYSCALE);
    std::vector<cv::KeyPoint> keypoints1, keypoints2;
    cv::Mat descriptors1, descriptors2;

    // Detección de puntos de características SIFT
    cv::Ptr<cv::xfeatures2d::SIFT> sift = cv::xfeatures2d::SIFT::create();
    sift->detectAndCompute(src1, cv::noArray(), keypoints1, descriptors1);
    sift->detectAndCompute(src2, cv::noArray(), keypoints2, descriptors2);

    // Coincidencia con BFMatcher
    cv::BFMatcher matcher(cv::NORM_L2);
    std::vector<cv::DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Filtrado basado en restricciones geométricas
    std::vector<cv::Point2f> points1, points2;
    for (size_t i = 0; i < matches.size(); i++) {
        points1.push_back(keypoints1[matches[i].queryIdx].pt);
        points2.push_back(keypoints2[matches[i].trainIdx].pt);
    }

    cv::Mat mask;
    cv::findHomography(points1, points2, cv::RANSAC, 3, mask);

    // Filtrar pares de coincidencias
    std::vector<cv::DMatch> good_matches;
    for (size_t i = 0; i < matches.size(); i++) {
        if (mask.at<uchar>(i)) {
            good_matches.push_back(matches[i]);
        }
    }

    // Dibujar resultados de coincidencia
    cv::Mat output;
    cv::drawMatches(src1, keypoints1, src2, keypoints2, good_matches, output);
    cv::imshow("Filtered Matches", output);
    cv::waitKey(0);

    return 0;
}
Otras extensiones