Машинное обучение и глубокое обучение на C++ OpenCV

OpenCV поддерживает не только традиционные задачи компьютерного зрения, но также предоставляет богатые функции машинного обучения и глубокого обучения, с помощью которых можно реализовать сложные задачи, такие как классификация изображений, обнаружение объектов и семантическая сегментация.

  • Машинное обучение: OpenCV предоставляет множество традиционных алгоритмов машинного обучения, таких как KNN, SVM, деревья решений и т. д.

  • Глубокое обучение: модуль DNN OpenCV поддерживает загрузку и запуск предварительно обученных моделей глубокого обучения (таких как TensorFlow, PyTorch, Caffe и т. д.)

Сценарии применения машинного обучения и глубокого обучения

Классификация изображений:

  • Используйте модели машинного или глубокого обучения для классификации изображений.

  • Сценарии применения: классификация медицинских изображений, промышленный контроль качества и т. д.

Обнаружение объектов:

  • Используйте модели глубокого обучения для обнаружения объектов на изображениях.

  • Сценарии применения: автономное вождение, охранное видеонаблюдение и т. д.

Семантическая сегментация:

  • Используйте модели глубокого обучения для классификации каждого пикселя изображения.

  • Сценарии применения: анализ медицинских изображений, анализ изображений дистанционного зондирования и т. д.

Распространённые алгоритмы машинного обучения

OpenCV предоставляет следующие распространённые алгоритмы машинного обучения:

АлгоритмОписание
KNNАлгоритм K-ближайших соседей, используемый для классификации и регрессии.
SVMМашина опорных векторов, используемая для классификации и регрессии.
Дерево решенийАлгоритм классификации и регрессии на основе деревьев.
Случайный лесАлгоритм ансамблевого обучения на основе множества деревьев решений.
K-MeansАлгоритм кластеризации, используемый для разделения данных на несколько кластеров.

Кластеризация K-Means

Кластеризация K-Means — это алгоритм обучения без учителя, в основном используемый для разделения набора данных на K кластеров. Каждый кластер состоит из образцов, ближайших к его центральной точке.

Основная идея алгоритма K-Means — итеративно оптимизировать центры кластеров так, чтобы расстояние от каждой точки-образца до центра её кластера было минимальным.

Шаги реализации:

  1. Инициализация: случайным образом выбрать K образцов в качестве начальных центров кластеров.
  2. Присвоение: отнести каждый образец к ближайшему центру кластера.
  3. Обновление: пересчитать центральную точку каждого кластера.
  4. Итерация: повторять шаги 2 и 3, пока центры кластеров не перестанут изменяться или пока не будет достигнуто максимальное количество итераций.

K-Means в OpenCV:

Пример

#include <opencv2/opencv.hpp>
#include <iostream>

int main() {
    // Сгенерировать случайные данные
    cv::Mat data(100, 2, CV_32F);
    cv::randu(data, cv::Scalar(0, 0), cv::Скаляр(100, 100));

    // Задать значение K и условия итерации
    int K = 3;
    cv::Mat labels, centers;
    cv::kmeans(data, K, labels, cv::TermCriteria(cv::TermCriteria::EPS + cv::TermCriteria::MAX_ITER, 10, 1.0), 3, cv::KMEANS_PP_CENTERS, centers);

    // Вывод результатов
    std::cout << "Метки: " << labels << std::endl;
    std::cout << "Центры: " << centers << std::endl;

    return 0;
}

В приведённом выше коде мы сгенерировали 100 двумерных точек данных и использовали алгоритм K-Means, чтобы разделить их на 3 кластера.cv::kmeansПараметры функции включают данные, число кластеров, метки, условия завершения и т. д.

Машина опорных векторов (SVM)

Машина опорных векторов (SVM) — это алгоритм обучения с учителем, в основном используемый для задач классификации и регрессии.

Основная идея SVM — найти гиперплоскость, которая максимизирует отступ между точками выборки разных классов.

Шаги реализации:

  1. Обучение: Найти оптимальную гиперплоскость по обучающим данным.
  2. Предсказание: Использовать обученную модель для классификации новых данных.

SVM в OpenCV:

Пример

#include <opencv2/opencv.hpp>
#include <iostream>

int main() {
    // Сгенерировать немного обучающих данных
    cv::Mat trainData = (cv::Mat_<float>(4, 2) << 1, 1, 1, 2, 2, 1, 2, 2);
    cv::Mat labels = (cv::Mat_<int>(4, 1) << 1, 1, -1, -1);

    // Создать модель SVM
    cv::Ptr<cv::ml::SVM> svm = cv::ml::SVM::create();
    svm->setKernel(cv::ml::SVM::LINEAR);
    svm->setType(cv::ml::SVM::C_SVC);
    svm->setC(1);

    // Обучить модель
    svm->train(trainData, cv::ml::ROW_SAMPLE, labels);

    // Предсказать новые данные
    cv::Mat testData = (cv::Mat_<float>(1, 2) << 1.5, 1.5);
    float response = svm->predict(testData);
    std::cout << "Предсказанная метка: " << response << std::endl;

    return 0;
}

В приведенном выше коде мы используем SVM для классификации двумерных данных.

cv::ml::SVM::create()Используется для создания модели SVM,trainМетод используется для обучения модели,predictМетод используется для предсказания класса новых данных.

Метод главных компонент (PCA)

Анализ главных компонент (PCA) — это метод снижения размерности, в основном используемый для уменьшения размерности набора данных с сохранением основных признаков данных.

PCA отображает исходные данные в новую систему координат посредством линейного преобразования так, чтобы дисперсия данных в новой системе координат была максимальной.

Шаги реализации:

  1. Вычисление ковариационной матрицы: Вычислите ковариационную матрицу набора данных.
  2. Разложение по собственным значениям: Выполните разложение по собственным значениям ковариационной матрицы, чтобы получить собственные векторы и собственные значения.
  3. Выбор главных компонент: Выберите собственные векторы, соответствующие K наибольшим собственным значениям, в качестве главных компонент.
  4. Проекция данных: Спроецируйте исходные данные на главные компоненты, чтобы получить данные пониженной размерности.

PCA в OpenCV:

Пример

#include <opencv2/opencv.hpp>
#include <iostream>

int main() {
    // Сгенерировать некоторые данные
    cv::Mat data = (cv::Mat_<float>(4, 2) << 1, 2, 2, 3, 3, 4, 4, 5);

    // Создать объект PCA
    cv::PCA pca(data, cv::Mat(), cv::PCA::DATA_AS_ROW, 1);

    // Спроецировать данные
    cv::Mat projected = pca.project(data);
    std::cout << "Спроецированные данные: " << projected << std::endl;

    return 0;
}

В приведённом выше коде мы используем PCA для уменьшения размерности двумерных данных.cv::PCAКонструктор класса принимает входные данные, вектор средних, расположение данных и количество сохраняемых главных компонент.projectМетод используется для проецирования данных на главные компоненты.


OpenCV и глубокое обучение

Благодаря широкому применению глубокого обучения в области компьютерного зрения OpenCV также обеспечивает поддержку глубокого обучения.

С помощью модуля DNN OpenCV разработчики могут загружать предварительно обученные модели глубокого обучения и выполнять такие задачи, как классификация изображений, обнаружение объектов и семантическая сегментация.

Загрузка предварительно обученных моделей глубокого обучения (модуль DNN)

Модуль DNN OpenCV поддерживает загрузку предварительно обученных моделей из нескольких фреймворков глубокого обучения (таких как TensorFlow, Caffe, PyTorch и т. д.).

С помощью модуля DNN разработчики могут легко интегрировать модели глубокого обучения в приложения на C++.

Загрузка модели:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>

int main() {
    // Загрузить предварительно обученную модель Caffe
    cv::dnn::Net net = cv::dnn::readNetFromCaffe("deploy.prototxt", "model.caffemodel");

    // Проверить, успешно ли загружена модель
    if (net.empty()) {
        std::cerr << "Не удалось загрузить модель!" << std::endl;
        return -1;
    }

    std::cout << "Модель успешно загружена!" << std::endl;

    return 0;
}

В приведённом выше коде мы используемcv::dnn::readNetFromCaffeфункция для загрузки модели Caffe.deploy.prototxt— это файл конфигурации модели,model.caffemodel— это файл весов модели.

Классификация изображений, обнаружение объектов, семантическая сегментация

Модуль DNN OpenCV поддерживает множество задач глубокого обучения, включая классификацию изображений, обнаружение объектов и семантическую сегментацию. Ниже приведён простой пример классификации изображений:

Классификация изображений:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>

int main() {
    // Загрузить предварительно обученную модель Caffe
    cv::dnn::Net net = cv::dnn::readNetFromCaffe("deploy.prototxt", "model.caffemodel");

    // Загрузить изображение
    cv::Mat image = cv::imread("image.jpg");
    if (image.empty()) {
        std::cerr << "Не удалось загрузить изображение!" << std::endl;
        return -1;
    }

    // Предварительная обработка изображения
    cv::Mat blob = cv::dnn::blobFromImage(image, 1.0, cv::Size(224, 224), cv::Скаляр(104, 117, 123));

    // Задать вход
    net.setInput(blob);

    // Прямое распространение
    cv::Mat prob = net.forward();

    // Получить результат классификации
    cv::Point classIdPoint;
    double confidence;
    cv::minMaxLoc(prob.reshape(1, 1), 0, &confidence, 0, &classIdPoint);
    int classId = classIdPoint.x;

    std::cout << "ID класса: " << classId << ", Уверенность: " << confidence << std::endl;

    return 0;
}

В приведённом выше коде мы загрузили модель Caffe и классифицировали входное изображение.cv::dnn::blobFromImageЭта функция используется для преобразования изображения во входной формат модели,net.forward()используется для выполнения прямого распространения,cv::minMaxLocиспользуется для получения результата классификации.

Запуск моделей, таких как YOLO и SSD, с помощью OpenCV

Модуль DNN OpenCV также поддерживает запуск моделей обнаружения объектов, таких как YOLO (You Only Look Once) и SSD (Single Shot MultiBox Detector).

Ниже приведён пример использования модели YOLO для обнаружения объектов:

Обнаружение объектов с помощью YOLO:

Пример

#include <opencv2/opencv.hpp>
#include <opencv2/dnn.hpp>
#include <iostream>

int main() {
    // Загрузить модель YOLO
    cv::dnn::Net net = cv::dnn::readNetFromDarknet("yolov3.cfg", "yolov3.weights");

    // Загрузить изображение
    cv::Mat image = cv::imread("image.jpg");
    if (image.empty()) {
        std::cerr << "Не удалось загрузить изображение!" << std::endl;
        return -1;
    }

    // Предварительная обработка изображения
    cv::Mat blob = cv::dnn::blobFromImage(image, 1/255.0, cv::Size(416, 416), cv::Scalar(0, 0, 0), true, false);

    // Задать вход
    net.setInput(blob);

    // Прямое распространение
    std::vector<cv::Mat> outs;
    net.forward(outs, net.getUnconnectedOutLayersNames());

    // Разобрать результаты обнаружения
    for (size_t i = 0; i < outs.size(); ++i) {
        float* data = (float*)outs[i].data;
        for (int j = 0; j < outs[i].rows; ++j, data += outs[i].cols) {
            cv::Mat scores = outs[i].row(j).colRange(5, outs[i].cols);
            cv::Point classIdPoint;
            double confidence;
            cv::minMaxLoc(scores, 0, &confidence, 0, &classIdPoint);
            if (confidence > 0.5) {
                int centerX = (int)(data[0] * image.cols);
                int centerY = (int)(data[1] * image.rows);
                int width = (int)(data[2] * image.cols);
                int height = (int)(data[3] * image.rows);
                int left = centerX - width / 2;
                int top = centerY - height / 2;

                cv::rectangle(image, cv::Point(left, top), cv::Point(left + width, top + height), cv::Скаляр(0, 255, 0), 2);
            }
        }
    }

    // Отобразить результаты
    cv::imshow("Обнаружение", image);
    cv::waitKey(0);

    return 0;
}

В приведённом выше коде мы загрузили модель YOLO и выполнили обнаружение объектов на входном изображении.cv::dnn::readNetFromDarknetФункция используется для загрузки модели YOLO,net.forwardиспользуется для выполнения прямого распространения,cv::rectangleиспользуется для отрисовки рамок обнаружения.

Другие расширения