Введение в базовые модули C++ OpenCV
OpenCV — мощная библиотека компьютерного зрения, содержащая множество модулей, каждый из которых ориентирован на разные задачи.
Ниже приведены некоторые из основных модулей OpenCV:
| Название модуля | Основные функции | Общие классы/функции |
|---|---|---|
| Core | Предоставляет базовые структуры данных и функции, такие как хранение изображений, операции с матрицами, файловый ввод-вывод и т. д. | Mat, Point, Size, Rect, Scalar, FileStorage, cv::format |
| Imgproc | Функции обработки изображений, включая фильтрацию, геометрические преобразования, преобразования цветового пространства, обнаружение краёв, морфологические операции, пороговую обработку и т. д. | cvtColor, GaussianBlur, Canny, threshold, resize, warpAffine |
| Highgui | Отображение изображений и видео, управление окнами, взаимодействие с пользователем (например, события мыши, ползунки). | imshow, namedWindow, waitKey, createTrackbar, setMouseCallback |
| Видео | Функции обработки видео, включая захват видео, вычитание фона, вычисление оптического потока и т. д. | VideoCapture, VideoWriter, BackgroundSubtractor, calcOpticalFlowPyrLK |
| Calib3d | Калибровка камеры, 3D-реконструкция, оценка позы и т. д. | findChessboardCorners, calibrateCamera, solvePnP, recoverPose |
| Features2d | Обнаружение и описание признаков, включая обнаружение ключевых точек, сопоставление признаков и т. д. | ORB, SIFT, SURF, BFMatcher, FlannBasedMatcher |
| Objdetect | Функции обнаружения объектов, такие как обнаружение с помощью каскадов Хаара, обнаружение HOG и т. д. | CascadeClassifier, HOGDescriptor |
| DNN | Загрузка и инференс моделей глубокого обучения, поддержка таких фреймворков, как TensorFlow, PyTorch, Caffe, и т. д. | readNet, blobFromImage, Net::forward |
| ML | Алгоритмы машинного обучения, такие как KNN, SVM, деревья решений и т. д. | KNearest, SVM, DTrees, TrainData |
| Flann | Быстрый приближённый поиск ближайших соседей (FLANN), используется для сопоставления признаков и поиска в многомерных данных. | Index, KDTreeIndexParams, SearchParams |
| Photo | Восстановление изображений, шумоподавление, HDR-визуализация и т. д. | inpaint, fastNlMeansDenoising, createTonemap |
| Stitching | Функциональность сшивки изображений, используется для создания панорам. | Stitcher, Stitcher::create |
| Фигура | Анализ и сопоставление форм. | ShapeDistanceExtractor, ShapeContextDistanceExtractor |
| Отслеживание | Алгоритмы отслеживания объектов, такие как MIL, KCF, GOTURN и т. д. | TrackerMIL, TrackerKCF, TrackerGOTURN |
| Videoio | Функциональность ввода/вывода видео, поддерживающая множество видеоформатов и камер. | VideoCapture, VideoWriter, CAP_PROP_FRAME_WIDTH, CAP_PROP_FRAME_HEIGHT |
| Imgcodecs | Чтение и сохранение файлов изображений, поддержка множества форматов изображений. | imread, imwrite, imdecode, imencode |
| Xfeatures2d | Дополнительные алгоритмы обнаружения и описания признаков, такие как SIFT, SURF, FREAK и т. д. | SIFT, SURF, FREAK, DAISY |
| Superres | Обработка изображений со сверхразрешением. | SuperResolution, DenseOpticalFlowExt |
| Optflow | Вычисление оптического потока и анализ движения. | calcOpticalFlowFarneback, calcOpticalFlowPyrLK |
| Cuda | Алгоритмы компьютерного зрения с ускорением на GPU. | cuda::GpuMat, cuda::Stream, cuda::resize |
| Contrib | Дополнительные функции, добавленные сообществом, такие как распознавание лиц, обнаружение текста и т. д. | FaceRecognizer, TextDetector |
1. Модуль Core
coreМодуль Core — это основной модуль OpenCV, предоставляющий базовые структуры данных и функции.
Основные функции
-
Базовые структуры данных:
-
Mat: используется для хранения данных изображения и матрицы. -
Point、Size、Rect: используется для представления точек, размеров и прямоугольных областей. -
Scalar: используется для представления цветов или значений пикселей.
-
-
Операции с матрицами:
-
Создание матриц, копирование, преобразование, арифметические операции и т. д.
-
-
Файловый ввод-вывод:
-
Чтение и сохранение изображений, видео, файлов XML/YAML и т. д.
-
-
Управление памятью:
-
Автоматическое управление памятью с поддержкой подсчёта ссылок.
-
Пример
#include <iostream>
using namespace cv;
using namespace std;
int main() {
// Создать матрицу 3x3
Mat mat = (Mat_<int>(3, 3) << 1, 2, 3, 4, 5, 6, 7, 8, 9);
// Вывод матрицы
cout << "Матрица:\n" << mat << endl;
// Доступ к элементам матрицы
int value = mat.at<int>(1, 1);
cout << "Значение в (1, 1): " << value << endl;
return 0;
}
2. Модуль Imgproc
imgprocМодуль предоставляет функции обработки изображений, включая фильтрацию, геометрические преобразования, преобразования цветовых пространств и т. д.
Основные функции
-
Фильтрация изображений:
-
Усредняющая фильтрация, гауссовская фильтрация, медианная фильтрация и т. д.
-
-
Геометрические преобразования:
-
Масштабирование, вращение, аффинное преобразование, перспективное преобразование и т. д.
-
-
Преобразования цветовых пространств:
-
Преобразование из RGB в оттенки серого, HSV, Lab и другие цветовые пространства.
-
-
Обнаружение границ:
-
Алгоритмы обнаружения границ, такие как Canny, Sobel, Laplacian, и т. д.
-
-
Морфологические операции:
-
Эрозия, дилатация, открытие, закрытие и т. д.
-
-
Пороговая обработка:
-
Простая пороговая обработка, адаптивная пороговая обработка и т. д.
-
Пример
#include <opencv2/highgui.hpp>
using namespace cv;
int main() {
// Прочитать изображение
Mat image = imread("test.jpg");
if (image.empty()) return -1;
// Преобразовать в оттенки серого
Mat grayImage;
cvtColor(image, grayImage, COLOR_BGR2GRAY);
// Фильтр Гаусса
Mat blurredImage;
GaussianBlur(grayImage, blurredImage, Size(5, 5), 0);
// Вывести результат
imshow("Исходное изображение", image);
imshow("Размытое изображение", blurredImage);
waitKey(0);
return 0;
}
3. Модуль Highgui
highguiМодуль предоставляет функции отображения изображений и видео, управления окнами и взаимодействия с пользователем.
Основные функции
-
Отображение изображений:
-
Создание окон, отображение изображений и ожидание ввода пользователя.
-
-
Захват видео:
-
Чтение кадров с камеры или из видеофайла.
-
-
Взаимодействие с пользователем:
-
События мыши, ползунки, кнопки и т. д.
-
Пример
using namespace cv;
int main() {
// Прочитать изображение
Mat image = imread("test.jpg");
if (image.empty()) return -1;
// Создать окно и отобразить изображение
namedWindow("Display Window", WINDOW_AUTOSIZE);
imshow("Display Window", image);
// Ожидание нажатия клавиши пользователем
waitKey(0);
// Закрыть окно
destroyAllWindows();
return 0;
}
4. Модуль Video
videoМодуль предоставляет функции обработки видео, включая захват видео, вычитание фона, вычисление оптического потока и т. д.
Основные функции
-
Захват видео:
-
Чтение кадров с камеры или из видеофайла.
-
-
Вычитание фона:
-
Извлечение объектов переднего плана из видео.
-
-
Вычисление оптического потока:
-
Вычислите движение объектов на изображении.
-
Пример
#include <opencv2/highgui.hpp>
using namespace cv;
int main() {
// Откройте камеру
VideoCapture cap(0);
if (!cap.isOpened()) return -1;
Mat frame;
while (true) {
// Считайте кадр
cap >> frame;
if (frame.empty()) break;
// Покажите кадр
imshow("Поток с камеры", frame);
// Нажмите ESC для выхода
if (waitKey(30) == 27) break;
}
// Освободите камеру и закройте окно
cap.release();
destroyAllWindows();
return 0;
}
5. Модуль Calib3d
calib3dМодуль предоставляет калибровку камеры, 3D-реконструкцию, оценку позы и другие функции.
Основные функции
-
Калибровка камеры:
-
Вычислить внутренние параметры камеры и коэффициенты дисторсии.
-
-
3D-реконструкция:
-
Восстановить 3D-сцену по изображениям с нескольких ракурсов.
-
-
Оценка позы:
-
Оценить 3D-позу объекта.
-
Пример
#include <opencv2/highgui.hpp>
using namespace cv;
int main() {
// Прочитать изображение
Mat image1 = imread("left.jpg");
Mat image2 = imread("right.jpg");
if (image1.empty() || image2.empty()) return -1;
// Обнаружение и сопоставление характерных точек
Ptr<Feature2D> detector = ORB::create();
vector<KeyPoint> keypoints1, keypoints2;
Mat descriptors1, descriptors2;
detector->detectAndCompute(image1, noArray(), keypoints1, descriptors1);
detector->detectAndCompute(image2, noArray(), keypoints2, descriptors2);
BFMatcher matcher(NORM_HAMMING);
vector<DMatch> matches;
matcher.match(descriptors1, descriptors2, matches);
// Вычислить фундаментальную матрицу
vector<Point2f> points1, points2;
for (const auto& match : matches) {
points1.push_back(keypoints1[match.queryIdx].pt);
points2.push_back(keypoints2[match.trainIdx].pt);
}
Mat fundamentalMatrix = findFundamentalMat(points1, points2, FM_RANSAC);
// Вывести фундаментальную матрицу
cout << "Fundamental Matrix:\n" << fundamentalMatrix << endl;
return 0;
}
6. Модуль DNN
dnnМодуль предоставляет функции для загрузки и инференса моделей глубокого обучения.
Основные функции
-
Загрузка модели:
-
Поддерживает модели из таких фреймворков, как TensorFlow, PyTorch, Caffe и т. д.
-
-
Инференс:
-
Выполняет классификацию, обнаружение объектов, семантическую сегментацию и т. д. на изображениях.
-
Пример
#include <opencv2/highgui.hpp>
using namespace cv;
using namespace dnn;
int main() {
// Загрузка модели
Net net = readNetFromTensorflow("model.pb", "config.pbtxt");
// Прочитать изображение
Mat image = imread("test.jpg");
if (image.empty()) return -1;
// Предобработка
Mat blob = blobFromImage(image, 1.0, Size(300, 300), Scalar(127.5, 127.5, 127.5), true, false);
net.setInput(blob);
// Инференс
Mat output = net.forward();
// Обработка вывода
// ...
return 0;
}