Введение в базовые модули C++ OpenCV

OpenCV — мощная библиотека компьютерного зрения, содержащая множество модулей, каждый из которых ориентирован на разные задачи.

Ниже приведены некоторые из основных модулей OpenCV:

Название модуляОсновные функцииОбщие классы/функции
CoreПредоставляет базовые структуры данных и функции, такие как хранение изображений, операции с матрицами, файловый ввод-вывод и т. д.Mat, Point, Size, Rect, Scalar, FileStorage, cv::format
ImgprocФункции обработки изображений, включая фильтрацию, геометрические преобразования, преобразования цветового пространства, обнаружение краёв, морфологические операции, пороговую обработку и т. д.cvtColor, GaussianBlur, Canny, threshold, resize, warpAffine
HighguiОтображение изображений и видео, управление окнами, взаимодействие с пользователем (например, события мыши, ползунки).imshow, namedWindow, waitKey, createTrackbar, setMouseCallback
ВидеоФункции обработки видео, включая захват видео, вычитание фона, вычисление оптического потока и т. д.VideoCapture, VideoWriter, BackgroundSubtractor, calcOpticalFlowPyrLK
Calib3dКалибровка камеры, 3D-реконструкция, оценка позы и т. д.findChessboardCorners, calibrateCamera, solvePnP, recoverPose
Features2dОбнаружение и описание признаков, включая обнаружение ключевых точек, сопоставление признаков и т. д.ORB, SIFT, SURF, BFMatcher, FlannBasedMatcher
ObjdetectФункции обнаружения объектов, такие как обнаружение с помощью каскадов Хаара, обнаружение HOG и т. д.CascadeClassifier, HOGDescriptor
DNNЗагрузка и инференс моделей глубокого обучения, поддержка таких фреймворков, как TensorFlow, PyTorch, Caffe, и т. д.readNet, blobFromImage, Net::forward
MLАлгоритмы машинного обучения, такие как KNN, SVM, деревья решений и т. д.KNearest, SVM, DTrees, TrainData
FlannБыстрый приближённый поиск ближайших соседей (FLANN), используется для сопоставления признаков и поиска в многомерных данных.Index, KDTreeIndexParams, SearchParams
PhotoВосстановление изображений, шумоподавление, HDR-визуализация и т. д.inpaint, fastNlMeansDenoising, createTonemap
StitchingФункциональность сшивки изображений, используется для создания панорам.Stitcher, Stitcher::create
ФигураАнализ и сопоставление форм.ShapeDistanceExtractor, ShapeContextDistanceExtractor
ОтслеживаниеАлгоритмы отслеживания объектов, такие как MIL, KCF, GOTURN и т. д.TrackerMIL, TrackerKCF, TrackerGOTURN
VideoioФункциональность ввода/вывода видео, поддерживающая множество видеоформатов и камер.VideoCapture, VideoWriter, CAP_PROP_FRAME_WIDTH, CAP_PROP_FRAME_HEIGHT
ImgcodecsЧтение и сохранение файлов изображений, поддержка множества форматов изображений.imread, imwrite, imdecode, imencode
Xfeatures2dДополнительные алгоритмы обнаружения и описания признаков, такие как SIFT, SURF, FREAK и т. д.SIFT, SURF, FREAK, DAISY
SuperresОбработка изображений со сверхразрешением.SuperResolution, DenseOpticalFlowExt
OptflowВычисление оптического потока и анализ движения.calcOpticalFlowFarneback, calcOpticalFlowPyrLK
CudaАлгоритмы компьютерного зрения с ускорением на GPU.cuda::GpuMat, cuda::Stream, cuda::resize
ContribДополнительные функции, добавленные сообществом, такие как распознавание лиц, обнаружение текста и т. д.FaceRecognizer, TextDetector

1. Модуль Core

coreМодуль Core — это основной модуль OpenCV, предоставляющий базовые структуры данных и функции.

Основные функции

  • Базовые структуры данных:

    • Mat: используется для хранения данных изображения и матрицы.

    • Point、Size、Rect: используется для представления точек, размеров и прямоугольных областей.

    • Scalar: используется для представления цветов или значений пикселей.

  • Операции с матрицами:

    • Создание матриц, копирование, преобразование, арифметические операции и т. д.

  • Файловый ввод-вывод:

    • Чтение и сохранение изображений, видео, файлов XML/YAML и т. д.

  • Управление памятью:

    • Автоматическое управление памятью с поддержкой подсчёта ссылок.

Пример

#include <opencv2/core.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // Создать матрицу 3x3
    Mat mat = (Mat_<int>(3, 3) << 1, 2, 3, 4, 5, 6, 7, 8, 9);

    // Вывод матрицы
    cout << "Матрица:\n" << mat << endl;

    // Доступ к элементам матрицы
    int value = mat.at<int>(1, 1);
    cout << "Значение в (1, 1): " << value << endl;

    return 0;
}

2. Модуль Imgproc

imgprocМодуль предоставляет функции обработки изображений, включая фильтрацию, геометрические преобразования, преобразования цветовых пространств и т. д.

Основные функции

  • Фильтрация изображений:

    • Усредняющая фильтрация, гауссовская фильтрация, медианная фильтрация и т. д.

  • Геометрические преобразования:

    • Масштабирование, вращение, аффинное преобразование, перспективное преобразование и т. д.

  • Преобразования цветовых пространств:

    • Преобразование из RGB в оттенки серого, HSV, Lab и другие цветовые пространства.

  • Обнаружение границ:

    • Алгоритмы обнаружения границ, такие как Canny, Sobel, Laplacian, и т. д.

  • Морфологические операции:

    • Эрозия, дилатация, открытие, закрытие и т. д.

  • Пороговая обработка:

    • Простая пороговая обработка, адаптивная пороговая обработка и т. д.

Пример

#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>

using namespace cv;

int main() {
    // Прочитать изображение
    Mat image = imread("test.jpg");
    if (image.empty()) return -1;

    // Преобразовать в оттенки серого
    Mat grayImage;
    cvtColor(image, grayImage, COLOR_BGR2GRAY);

    // Фильтр Гаусса
    Mat blurredImage;
    GaussianBlur(grayImage, blurredImage, Size(5, 5), 0);

    // Вывести результат
    imshow("Исходное изображение", image);
    imshow("Размытое изображение", blurredImage);
    waitKey(0);

    return 0;
}

3. Модуль Highgui

highguiМодуль предоставляет функции отображения изображений и видео, управления окнами и взаимодействия с пользователем.

Основные функции

  • Отображение изображений:

    • Создание окон, отображение изображений и ожидание ввода пользователя.

  • Захват видео:

    • Чтение кадров с камеры или из видеофайла.

  • Взаимодействие с пользователем:

    • События мыши, ползунки, кнопки и т. д.

Пример

#include <opencv2/highgui.hpp>

using namespace cv;

int main() {
    // Прочитать изображение
    Mat image = imread("test.jpg");
    if (image.empty()) return -1;

    // Создать окно и отобразить изображение
    namedWindow("Display Window", WINDOW_AUTOSIZE);
    imshow("Display Window", image);

    // Ожидание нажатия клавиши пользователем
    waitKey(0);

    // Закрыть окно
    destroyAllWindows();

    return 0;
}

4. Модуль Video

videoМодуль предоставляет функции обработки видео, включая захват видео, вычитание фона, вычисление оптического потока и т. д.

Основные функции

  • Захват видео:

    • Чтение кадров с камеры или из видеофайла.

  • Вычитание фона:

    • Извлечение объектов переднего плана из видео.

  • Вычисление оптического потока:

    • Вычислите движение объектов на изображении.

Пример

#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>

using namespace cv;

int main() {
    // Откройте камеру
    VideoCapture cap(0);
    if (!cap.isOpened()) return -1;

    Mat frame;
    while (true) {
        // Считайте кадр
        cap >> frame;
        if (frame.empty()) break;

        // Покажите кадр
        imshow("Поток с камеры", frame);

        // Нажмите ESC для выхода
        if (waitKey(30) == 27) break;
    }

    // Освободите камеру и закройте окно
    cap.release();
    destroyAllWindows();

    return 0;
}

5. Модуль Calib3d

calib3dМодуль предоставляет калибровку камеры, 3D-реконструкцию, оценку позы и другие функции.

Основные функции

  • Калибровка камеры:

    • Вычислить внутренние параметры камеры и коэффициенты дисторсии.

  • 3D-реконструкция:

    • Восстановить 3D-сцену по изображениям с нескольких ракурсов.

  • Оценка позы:

    • Оценить 3D-позу объекта.

Пример

#include <opencv2/calib3d.hpp>
#include <opencv2/highgui.hpp>

using namespace cv;

int main() {
    // Прочитать изображение
    Mat image1 = imread("left.jpg");
    Mat image2 = imread("right.jpg");
    if (image1.empty() || image2.empty()) return -1;

    // Обнаружение и сопоставление характерных точек
    Ptr<Feature2D> detector = ORB::create();
    vector<KeyPoint> keypoints1, keypoints2;
    Mat descriptors1, descriptors2;
    detector->detectAndCompute(image1, noArray(), keypoints1, descriptors1);
    detector->detectAndCompute(image2, noArray(), keypoints2, descriptors2);

    BFMatcher matcher(NORM_HAMMING);
    vector<DMatch> matches;
    matcher.match(descriptors1, descriptors2, matches);

    // Вычислить фундаментальную матрицу
    vector<Point2f> points1, points2;
    for (const auto& match : matches) {
        points1.push_back(keypoints1[match.queryIdx].pt);
        points2.push_back(keypoints2[match.trainIdx].pt);
    }
    Mat fundamentalMatrix = findFundamentalMat(points1, points2, FM_RANSAC);

    // Вывести фундаментальную матрицу
    cout << "Fundamental Matrix:\n" << fundamentalMatrix << endl;

    return 0;
}

6. Модуль DNN

dnnМодуль предоставляет функции для загрузки и инференса моделей глубокого обучения.

Основные функции

  • Загрузка модели:

    • Поддерживает модели из таких фреймворков, как TensorFlow, PyTorch, Caffe и т. д.

  • Инференс:

    • Выполняет классификацию, обнаружение объектов, семантическую сегментацию и т. д. на изображениях.

Пример

#include <opencv2/dnn.hpp>
#include <opencv2/highgui.hpp>

using namespace cv;
using namespace dnn;

int main() {
    // Загрузка модели
    Net net = readNetFromTensorflow("model.pb", "config.pbtxt");

    // Прочитать изображение
    Mat image = imread("test.jpg");
    if (image.empty()) return -1;

    // Предобработка
    Mat blob = blobFromImage(image, 1.0, Size(300, 300), Scalar(127.5, 127.5, 127.5), true, false);
    net.setInput(blob);

    // Инференс
    Mat output = net.forward();

    // Обработка вывода
    // ...

    return 0;
}
Другие расширения