Обработка видео в OpenCV

Видео состоит из серии последовательных кадров изображения; каждый кадр — статичное изображение.

Суть обработки видео заключается в обработке этих кадров изображения. Обычные задачи обработки видео включают чтение видео, воспроизведение видео, сохранение видео, обработку кадров видео и так далее.

Области применения обработки видео

  • Анализ видео: с помощью методов обработки видео можно анализировать движение, объекты, события и т. д. в видео.
  • Улучшение видео: выполняйте шумоподавление, улучшение, стабилизацию и другую обработку видео для повышения качества видео.
  • Редактирование видео: выполнение таких операций, как нарезка, склейка и добавление спецэффектов к видео.
  • Мониторинг в реальном времени: отслеживание сцен в реальном времени через камеры и выполнение обнаружения объектов, анализа поведения и т. д.

OpenCV предоставляетcv2.VideoCaptureиcv2.VideoWriterдва класса, используемых соответственно для чтения и записи видео. Кроме того, OpenCV также предоставляет богатый набор функций обработки изображений, которые могут выполнять различные операции над видеокадрами.

Чтение и воспроизведение видео

Чтение видеофайлов

Чтобы прочитать видеофайл, сначала нужно создатьcv2.VideoCaptureобъект и указать путь к видеофайлу.

Пример

import cv2

# Создайте объект VideoCapture для чтения видеофайла
cap = cv2.VideoCapture('example.mp4')

# Проверьте, успешно ли открылось видео
if not cap.isOpened():
    print("Ошибка: не удалось открыть видео.")
    exit()

# Прочитать видеокадр
while True:
    ret, frame = cap.read()
   
    # Если считан последний кадр, выйти из цикла
    if not ret:
        break
   
    # Отобразить текущий кадр
    cv2.imshow('Video', frame)
   
    # Нажмите 'q' для выхода
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

# Освобождение ресурсов
cap.release()
cv2.destroyAllWindows()

Чтение видео с камеры

Помимо чтения видеофайлов, OpenCV также может читать видео напрямую с камеры, просто задавcv2.VideoCaptureпараметр как индекс камеры (обычно 0):

Пример

import cv2

# Создать объект VideoCapture для чтения видео с камеры
cap = cv2.VideoCapture(0)

# Проверить, успешно ли открылась камера
if not cap.isOpened():
    print("Ошибка: не удалось открыть камеру.")
    exit()

# Прочитать видеокадр
while True:
    ret, frame = cap.read()
   
    # Если считан последний кадр, выйти из цикла
    if not ret:
        break
   
    # Отобразить текущий кадр
    cv2.imshow('Camera', frame)
   
    # Нажмите 'q' для выхода
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

# Освобождение ресурсов
cap.release()
cv2.destroyAllWindows()

Обработка видеокадров

Основные операции с кадрами

После считывания кадров видео с каждым кадром можно выполнять различные операции обработки изображений.

Например, кадр можно преобразовать в изображение в оттенках серого:

Пример

import cv2

cap = cv2.VideoCapture('example.mp4')

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Преобразовать кадр в изображение в оттенках серого
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Отобразить кадр в оттенках серого
    cv2.imshow('Серое видео', gray_frame)
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Сохранение кадров

При обработке кадров видео иногда необходимо сохранять обработанные кадры в новый видеофайл.

Вы можете использоватьcv2.VideoWriterкласс для этого:

Пример

import cv2

cap = cv2.VideoCapture('example.mp4')

# Получить частоту кадров и размер видео
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

# Создать объект VideoWriter для сохранения обработанного видео
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, fps, (width, height))

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Преобразовать кадр в изображение в оттенках серого
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Записать кадр в градациях серого в выходное видео
    out.write(cv2.cvtColor(gray_frame, cv2.COLOR_GRAY2BGR))
   
    # Отобразить кадр в оттенках серого
    cv2.imshow('Серое видео', gray_frame)
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
out.release()
cv2.destroyAllWindows()

Продвинутые приложения обработки видео

Обнаружение объектов в видео

OpenCV предоставляет множество алгоритмов обнаружения объектов, таких как классификаторы признаков Хаара, HOG + SVM и т. д.

Ниже приведён пример обнаружения лиц с использованием классификатора признаков Хаара:

Пример

import cv2

# Загрузите классификатор признаков Хаара
face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')

cap = cv2.VideoCapture('example.mp4')

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Преобразовать кадр в изображение в оттенках серого
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Обнаружение лиц
    faces = face_cascade.detectMultiScale(gray_frame, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))
   
    # Нарисовать прямоугольники на кадре, чтобы отметить лица
    for (x, y, w, h) in faces:
        cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 0, 0), 2)
   
    # Отобразить кадр с маркерами лиц
    cv2.imshow('Обнаружение лиц', frame)
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Обнаружение движения в видео

Обнаружение движения — важное применение в обработке видео. Движущиеся объекты можно обнаружить, вычисляя разности между кадрами.

Ниже приведён простой пример обнаружения движения:

Пример

import cv2

cap = cv2.VideoCapture('example.mp4')

# Чтение первого кадра
ret, prev_frame = cap.read()
prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Преобразовать текущий кадр в изображение в оттенках серого
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Вычислить разницу между текущим кадром и предыдущим кадром
    frame_diff = cv2.absdiff(prev_gray, gray_frame)
   
    # Бинаризовать разностное изображение
    _, thresh = cv2.threshold(frame_diff, 30, 255, cv2.THRESH_BINARY)
   
    # Отобразить результат обнаружения движения
    cv2.imshow('Обнаружение движения', thresh)
   
    # Обновить предыдущий кадр
    prev_gray = gray_frame
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Общие функции

ФункцияФункция/МетодОписание
Чтение видеоcv2.VideoCapture()Чтение видеофайла или камеры.
Чтение видео кадр за кадромcap.read()Чтение видео кадр за кадром.
Получить свойства видеоcap.get(propId)Получить свойства видео (такие как ширина, высота, частота кадров и т. д.).
Сохранить видеоcv2.VideoWriter()Создать объект для записи видео и сохранить видео.
Обработка кадров видеоФункции обработки изображений (такие какcv2.cvtColor())Выполнять обработку изображений на кадрах видео.
Отслеживание объектовcv2.TrackerKCF_create()Использовать алгоритмы отслеживания объектов для отслеживания объектов на видео.
Обнаружение движенияcv2.createBackgroundSubtractorMOG2()Использовать алгоритмы вычитания фона для обнаружения движущихся объектов на видео.

cv2.VideoCapture

Определение:
cv2.VideoCaptureИспользуется для захвата кадров видео из видеофайла или с камеры.

Синтаксис:

cv2.VideoCapture(source)

Описание параметра:

  • source: Путь к видеофайлу или индекс камеры (обычно 0 для камеры по умолчанию).

Пример

import cv2

# Открыть камеру по умолчанию
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        break
    cv2.imshow('Frame', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

cv2.VideoWriter

Определение:
cv2.VideoWriterИспользуется для записи видеокадров в видеофайл.

Синтаксис:

cv2.VideoWriter(filename, fourcc, fps, frameSize)

Описание параметра:

  • filename: Имя выходного видеофайла.
  • fourcc: Видеокодек (например,cv2.VideoWriter_fourcc(*'XVID'))。
  • fps: Частота кадров.
  • frameSize: Размер кадра (ширина, высота).

Пример

import cv2

cap = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, 20.0, (640, 480))

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    out.write(frame)
    cv2.imshow('Frame', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
out.release()
cv2.destroyAllWindows()

cv2.cvtColor

Определение:
cv2.cvtColorИспользуется для преобразования изображения из одного цветового пространства в другое.

Синтаксис:

cv2.cvtColor(src, code)

Описание параметра:

  • src: Входное изображение.
  • code: Код преобразования цветового пространства (например,cv2.COLOR_BGR2GRAY)。

Пример

import cv2

img = cv2.imread('image.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imshow('Серое изображение', gray)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.resize

Определение:
cv2.resizeИспользуется для изменения размера изображения.

Синтаксис:

cv2.resize(src, dsize)

Описание параметра:

  • src: Входное изображение.
  • dsize: Размер выходного изображения (ширина, высота).

Пример

import cv2

img = cv2.imread('image.jpg')
resized = cv2.resize(img, (320, 240))
cv2.imshow('Изменённое изображение', resized)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.Canny

Определение:
cv2.CannyИспользуется для обнаружения границ.

Синтаксис:

cv2.Canny(image, threshold1, threshold2)

Описание параметра:

  • image: Входное изображение.
  • threshold1: Первый порог.
  • threshold2: Второй порог.

Пример

import cv2

img = cv2.imread('image.jpg', 0)
edges = cv2.Canny(img, 100, 200)
cv2.imshow('Границы', edges)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.findContours

Определение:
cv2.findContoursИспользуется для поиска контуров на изображении.

Синтаксис:

cv2.findContours(image, mode, method)

Описание параметра:

  • image: Входное изображение.
  • mode: Режим извлечения контуров (например,cv2.RETR_TREE)。
  • method: Метод аппроксимации контура (например,cv2.CHAIN_APPROX_SIMPLE)。

Пример

import cv2

img = cv2.imread('image.jpg', 0)
contours, _ = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 255, 0), 3)
cv2.imshow('Contours', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.drawContours

Определение:
cv2.drawContoursИспользуется для рисования контуров на изображении.

Синтаксис:

cv2.drawContours(image, contours, contourIdx, color, thickness)

Описание параметра:

  • image: Входное изображение.
  • contours: Список контуров.
  • contourIdx: Индекс контура (-1 означает нарисовать все контуры).
  • color: Цвет контура.
  • thickness: Толщина линии контура.

Пример

import cv2

img = cv2.imread('image.jpg', 0)
contours, _ = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 255, 0), 3)
cv2.imshow('Contours', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.putText

Определение:
cv2.putTextИспользуется для рисования текста на изображении.

Синтаксис:

cv2.putText(image, text, org, fontFace, fontScale, color, thickness)

Описание параметра:

  • image: Входное изображение.
  • text: Текст, который нужно нарисовать.
  • org: Координаты нижнего левого угла текста.
  • fontFace: Тип шрифта (например,cv2.FONT_HERSHEY_SIMPLEX)。
  • fontScale: Коэффициент масштабирования шрифта.
  • color: Цвет текста.
  • thickness: Толщина линии текста.

Пример

import cv2

img = cv2.imread('image.jpg')
cv2.putText(img, 'Hello, OpenCV!', (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2)
cv2.imshow('Text', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
Другие расширения