Практика проектов на C++ OpenCV

Практика проектов OpenCV — это процесс применения теоретических знаний к реальным задачам.

Благодаря практике проектов вы сможете закрепить свои навыки работы с OpenCV и решать реальные задачи компьютерного зрения.

Ниже приведены распространённые типы проектов OpenCV:

  1. Проекты по обработке изображений: такие как фильтры изображений, восстановление изображений, улучшение изображений и т. д.

  2. Проекты по обнаружению и отслеживанию объектов: такие как обнаружение лиц, распознавание номерных знаков, отслеживание движущихся целей и т. д.

  3. Проекты по глубокому обучению: такие как классификация изображений, обнаружение объектов, семантическая сегментация и т. д.

  4. Проекты по обработке видео: такие как анализ видео, обработка видео в реальном времени, видеоэффекты и т.д.


Простые проекты

Приложение для фильтрации изображений

Фильтры изображений — одна из базовых операций в обработке изображений. Применяя различные фильтры, можно изменить внешний вид и стиль изображения.

OpenCV предоставляет богатый набор функций для реализации различных эффектов фильтрации изображений.

Фильтр оттенков серого

Фильтр оттенков серого — это процесс преобразования цветного изображения в изображение в оттенках серого. Изображение в оттенках серого имеет только один канал, и значение каждого пикселя представляет яркость.

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat image = cv::imread("input.jpg");
    cv::Mat grayImage;
    cv::cvtColor(image, grayImage, cv::COLOR_BGR2GRAY);
    cv::imwrite("gray_output.jpg", grayImage);
    return 0;
}

Размытие по Гауссу

Размытие по Гауссу — часто используемый фильтр размытия, который позволяет эффективно удалять шум с изображения.

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat image = cv::imread("input.jpg");
    cv::Mat blurredImage;
    cv::GaussianBlur(image, blurredImage, cv::Size(15, 15), 0);
    cv::imwrite("blurred_output.jpg", blurredImage);
    return 0;
}

В следующем примере реализовано приложение для фильтрации изображений, поддерживающее несколько эффектов фильтрации (таких как оттенки серого, размытие, обнаружение краёв и т. д.).

Пример

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // Прочитать изображение
    Mat image = imread("image.jpg");
    if (image.empty()) {
        cout << "Ошибка: не удалось загрузить изображение, проверьте, правильно ли указан путь." << endl;
        return -1;
    }

    // Преобразовать в оттенки серого
    Mat gray;
    cvtColor(image, gray, COLOR_BGR2GRAY);

    // Размытие по Гауссу
    Mat blurred;
    GaussianBlur(image, blurred, Size(15, 15), 0);

    // Обнаружение краёв
    Mat edges;
    Canny(image, edges, 100, 200);

    // Отобразить результат
    imshow("Исходное изображение", image);
    imshow("Серое изображение", gray);
    imshow("Размытое изображение", blurred);
    imshow("Края", edges);

    // Сохранить результат
    imwrite("gray_image.jpg", gray);
    imwrite("blurred_image.jpg", blurred);
    imwrite("edges.jpg", edges);

    waitKey(0);
    return 0;
}

Обнаружение лиц в реальном времени

Обнаружение лиц в реальном времени — важное применение в компьютерном зрении.

OpenCV предоставляет предварительно обученный каскадный классификатор Хаара, который можно использовать для обнаружения лиц на изображениях или в видео.

Шаги реализации:

  1. Загрузите модель каскадного классификатора Хаара.

  2. Откройте камеру или видеофайл.

  3. Выполните обнаружение лиц на каждом кадре.

  4. Нанесите результаты обнаружения и отобразите их.

Пример

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // Загрузить каскадный классификатор Хаара
    CascadeClassifier faceCascade;
    if (!faceCascade.load("haarcascade_frontalface_default.xml")) {
        cout << "Ошибка: не удалось загрузить каскадный классификатор Хаара!" << endl;
        return -1;
    }

    // Откройте камеру
    VideoCapture cap(0);
    if (!cap.isOpened()) {
        cout << "Ошибка: не удалось открыть камеру!" << endl;
        return -1;
    }

    // Обнаружение лиц в реальном времени
    Mat frame;
    while (true) {
        cap >> frame;
        if (frame.empty()) break;

        // Преобразовать в оттенки серого
        Mat gray;
        cvtColor(frame, gray, COLOR_BGR2GRAY);

        // Обнаружение лиц
        vector<Rect> faces;
        faceCascade.detectMultiScale(gray, faces, 1.1, 3, 0, Size(30, 30));

        // Отобразить результаты обнаружения
        for (const auto& face : faces) {
            rectangle(frame, face, Scalar(0, 255, 0), 2);
        }

        // Отобразить результат
        imshow("Обнаружение лиц", frame);

        // Нажмите ESC для выхода
        if (waitKey(30) == 27) break;
    }

    // Освободить ресурсы
    cap.release();
    destroyAllWindows();

    return 0;
}

Распознавание номерных знаков

Распознавание номерных знаков — одна из ключевых технологий в интеллектуальных транспортных системах.

OpenCV можно использовать для обнаружения номерных знаков и распознавания символов.

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat image = cv::imread("car.jpg");
    cv::Mat grayImage;
    cv::cvtColor(image, grayImage, cv::COLOR_BGR2GRAY);

    cv::CascadeClassifier plateCascade;
    plateCascade.load("haarcascade_russian_plate_number.xml");

    std::vector<cv::Rect> plates;
    plateCascade.detectMultiScale(grayImage, plates, 1.1, 2, 0 | cv::CASCADE_SCALE_IMAGE, cv::Size(30, 30));

    for (const auto& plate : plates) {
        cv::rectangle(image, plate, cv::Scalar(0, 255, 0), 2);
    }

    cv::imwrite("plate_output.jpg", image);
    return 0;
}

Сложные проекты

AR-приложение на основе OpenCV

Дополненная реальность (AR) — это технология, которая накладывает виртуальную информацию на реальный мир.

OpenCV можно использовать для реализации простых AR-приложений, например для наложения виртуальных объектов на изображения.

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::Mat image = cv::imread("background.jpg");
    cv::Mat overlay = cv::imread("overlay.png", cv::IMREAD_UNCHANGED);

    cv::resize(overlay, overlay, cv::Size(100, 100));

    cv::Mat roi = image(cv::Rect(50, 50, overlay.cols, overlay.rows));
    overlay.copyTo(roi, overlay);

    cv::imwrite("ar_output.jpg", image);
    return 0;
}

Видеонаблюдение и обнаружение движения

Видеонаблюдение и обнаружение движения — важные функции в системах охранного мониторинга. OpenCV можно использовать для обнаружения движущихся объектов в видео.

Пример

#include <opencv2/opencv.hpp>

int main() {
    cv::VideoCapture cap(0);
    if (!cap.isOpened()) {
        std::cerr << "Ошибка открытия видеопотока" << std::endl;
        return -1;
    }

    cv::Mat frame, prevFrame, diffFrame;
    cap >> prevFrame;
    cv::cvtColor(prevFrame, prevFrame, cv::COLOR_BGR2GRAY);

    while (true) {
        cap >> frame;
        if (frame.empty()) break;

        cv::Mat grayFrame;
        cv::cvtColor(frame, grayFrame, cv::COLOR_BGR2GRAY);

        cv::absdiff(grayFrame, prevFrame, diffFrame);
        cv::threshold(diffFrame, diffFrame, 30, 255, cv::THRESH_BINARY);

        cv::imshow("Обнаружение движения", diffFrame);
        if (cv::waitKey(1) == 27) break; // клавиша ESC для выхода

        prevFrame = grayFrame.clone();
    }

    cap.release();
    cv::destroyAllWindows();
    return 0;
}

Многообъектное отслеживание

Многообъектное отслеживание — сложная задача в компьютерном зрении, включающая одновременное отслеживание нескольких объектов в видео. OpenCV предоставляет несколько алгоритмов отслеживания, таких как KCF, MIL и CSRT.

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/tracking.hpp>

int main() {
    cv::VideoCapture cap("video.mp4");
    if (!cap.isOpened()) {
        std::cerr << "Ошибка открытия видеопотока" << std::endl;
        return -1;
    }

    cv::Ptr<cv::MultiTracker> multiTracker = cv::MultiTracker::create();

    cv::Mat frame;
    cap >> frame;

    std::vector<cv::Rect> bboxes;
    cv::selectROIs("Отслеживание", frame, bboxes);

    for (const auto& bbox : bboxes) {
        multiTracker->add(cv::TrackerKCF::create(), frame, bbox);
    }

    while (true) {
        cap >> frame;
        if (frame.empty()) break;

        multiTracker->update(frame);

        for (const auto& bbox : multiTracker->getObjects()) {
            cv::rectangle(frame, bbox, cv::Scalar(255, 0, 0), 2);
        }

        cv::imshow("Отслеживание нескольких объектов", frame);
        if (cv::waitKey(1) == 27) break; // клавиша ESC для выхода
    }

    cap.release();
    cv::destroyAllWindows();
    return 0;
}

Проекты по глубокому обучению: обнаружение объектов (YOLO)

Используйте модель YOLO для реализации обнаружения объектов.

Шаги реализации:

  1. Загрузите модель YOLO и файл конфигурации.

  2. Загрузите метки классов.

  3. Предварительно обработайте входное изображение.

  4. Запустите модель и разберите результаты обнаружения.

  5. Нарисуйте ограничивающие рамки и отобразите результаты.

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>

using namespace cv;
using namespace dnn;
using namespace std;

int main() {
    // Загрузить модель YOLO
    Net net = readNet("yolov3.weights", "yolov3.cfg");
    if (net.empty()) {
        cout << "Ошибка: не удалось загрузить модель YOLO!" << endl;
        return -1;
    }

    // Загрузка меток классов
    ifstream classNamesFile("coco.names");
    vector<string> classNames;
    string className;
    while (getline(classNamesFile, className)) {
        classNames.push_back(className);
    }

    // Загрузка изображения
    Mat image = imread("image.jpg");
    if (image.empty()) {
        cout << "Ошибка: не удалось загрузить изображение, проверьте, правильно ли указан путь." << endl;
        return -1;
    }

    // Предварительная обработка изображения
    Mat blob = blobFromImage(image, 1 / 255.0, Size(416, 416), Scalar(0, 0, 0), true, false);
    net.setInput(blob);

    // Прямой проход
    vector<Mat> outs;
    net.forward(outs, net.getUnconnectedOutLayersNames());

    // Разбор результатов обнаружения
    float confThreshold = 0.5; // Порог уверенности
    vector<int> classIds;
    vector<float> confidences;
    vector<Rect> boxes;
    for (const auto& output : outs) {
        for (int i = 0; i < output.rows; i++) {
            Mat scores = output.row(i).colRange(5, output.cols);
            Point classIdPoint;
            double confidence;
            minMaxLoc(scores, nullptr, &confidence, nullptr, &classIdPoint);
            if (confidence > confThreshold) {
                int centerX = static_cast<int>(output.at<float>(i, 0) * image.cols);
                int centerY = static_cast<int>(output.at<float>(i, 1) * image.rows);
                int width = static_cast<int>(output.at<float>(i, 2) * image.cols);
                int height = static_cast<int>(output.at<float>(i, 3) * image.rows);
                int left = centerX - width / 2;
                int top = centerY - height / 2;

                classIds.push_back(classIdPoint.x);
                confidences.push_back(static_cast<float>(confidence));
                boxes.push_back(Rect(left, top, width, height));
            }
        }
    }

    // Подавление немаксимумов
    float nmsThreshold = 0.4; // Порог NMS
    vector<int> indices;
    NMSBoxes(boxes, confidences, confThreshold, nmsThreshold, indices);

    // Отобразить результаты обнаружения
    for (int idx : indices) {
        Rect box = boxes[idx];
        rectangle(image, box, Scalar(0, 255, 0), 2);
        string label = format("%s: %.2f", classNames[classIds[idx]].c_str(), confidences[idx]);
        putText(image, label, Point(box.x, box.y - 10), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 255, 0), 2);
    }

    // Отобразить результат
    imshow("Обнаружение объектов", image);
    waitKey(0);

    return 0;
}

Проекты обработки видео: видеоэффекты в реальном времени

Реализуйте приложение для видеоэффектов в реальном времени, поддерживающее несколько эффектов (таких как обнаружение краёв, размытие, инверсия цвета и т. д.).

Шаги реализации:

  1. Откройте камеру или видеофайл.

  2. Применяйте эффекты к каждому кадру.

  3. Отображайте обработанное видео.

Пример

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // Откройте камеру
    VideoCapture cap(0);
    if (!cap.isOpened()) {
        cout << "Ошибка: не удалось открыть камеру!" << endl;
        return -1;
    }

    // Обработка видеокадров в реальном времени
    Mat frame, edges;
    while (true) {
        cap >> frame;
        if (frame.empty()) break;

        // Обнаружение краёв
        Canny(frame, edges, 100, 200);

        // Отобразить результат
        imshow("Исходный кадр", frame);
        imshow("Края", edges);

        // Нажмите ESC для выхода
        if (waitKey(30) == 27) break;
    }

    // Освободить ресурсы
    cap.release();
    destroyAllWindows();

    return 0;
}
Другие расширения