Обработка видео в OpenCV
Видео состоит из серии последовательных кадров изображения; каждый кадр — статичное изображение.
Суть обработки видео заключается в обработке этих кадров изображения. Обычные задачи обработки видео включают чтение видео, воспроизведение видео, сохранение видео, обработку кадров видео и так далее.
Области применения обработки видео
- Анализ видео: с помощью методов обработки видео можно анализировать движение, объекты, события и т. д. в видео.
- Улучшение видео: выполняйте шумоподавление, улучшение, стабилизацию и другую обработку видео для повышения качества видео.
- Редактирование видео: выполнение таких операций, как нарезка, склейка и добавление спецэффектов к видео.
- Мониторинг в реальном времени: отслеживание сцен в реальном времени через камеры и выполнение обнаружения объектов, анализа поведения и т. д.
OpenCV предоставляетcv2.VideoCaptureиcv2.VideoWriterдва класса, используемых соответственно для чтения и записи видео. Кроме того, OpenCV также предоставляет богатый набор функций обработки изображений, которые могут выполнять различные операции над видеокадрами.
Чтение и воспроизведение видео
Чтение видеофайлов
Чтобы прочитать видеофайл, сначала нужно создатьcv2.VideoCaptureобъект и указать путь к видеофайлу.
Пример
# Создайте объект VideoCapture для чтения видеофайла
cap = cv2.VideoCapture('example.mp4')
# Проверьте, успешно ли открылось видео
if not cap.isOpened():
print("Ошибка: не удалось открыть видео.")
exit()
# Прочитать видеокадр
while True:
ret, frame = cap.read()
# Если считан последний кадр, выйти из цикла
if not ret:
break
# Отобразить текущий кадр
cv2.imshow('Video', frame)
# Нажмите 'q' для выхода
if cv2.waitKey(25) & 0xFF == ord('q'):
break
# Освобождение ресурсов
cap.release()
cv2.destroyAllWindows()
Чтение видео с камеры
Помимо чтения видеофайлов, OpenCV также может читать видео напрямую с камеры, просто задавcv2.VideoCaptureпараметр как индекс камеры (обычно 0):
Пример
# Создать объект VideoCapture для чтения видео с камеры
cap = cv2.VideoCapture(0)
# Проверить, успешно ли открылась камера
if not cap.isOpened():
print("Ошибка: не удалось открыть камеру.")
exit()
# Прочитать видеокадр
while True:
ret, frame = cap.read()
# Если считан последний кадр, выйти из цикла
if not ret:
break
# Отобразить текущий кадр
cv2.imshow('Camera', frame)
# Нажмите 'q' для выхода
if cv2.waitKey(25) & 0xFF == ord('q'):
break
# Освобождение ресурсов
cap.release()
cv2.destroyAllWindows()
Обработка видеокадров
Основные операции с кадрами
После считывания кадров видео с каждым кадром можно выполнять различные операции обработки изображений.
Например, кадр можно преобразовать в изображение в оттенках серого:
Пример
cap = cv2.VideoCapture('example.mp4')
while True:
ret, frame = cap.read()
if not ret:
break
# Преобразовать кадр в изображение в оттенках серого
gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# Отобразить кадр в оттенках серого
cv2.imshow('Серое видео', gray_frame)
if cv2.waitKey(25) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
Сохранение кадров
При обработке кадров видео иногда необходимо сохранять обработанные кадры в новый видеофайл.
Вы можете использоватьcv2.VideoWriterкласс для этого:
Пример
cap = cv2.VideoCapture('example.mp4')
# Получить частоту кадров и размер видео
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# Создать объект VideoWriter для сохранения обработанного видео
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, fps, (width, height))
while True:
ret, frame = cap.read()
if not ret:
break
# Преобразовать кадр в изображение в оттенках серого
gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# Записать кадр в градациях серого в выходное видео
out.write(cv2.cvtColor(gray_frame, cv2.COLOR_GRAY2BGR))
# Отобразить кадр в оттенках серого
cv2.imshow('Серое видео', gray_frame)
if cv2.waitKey(25) & 0xFF == ord('q'):
break
cap.release()
out.release()
cv2.destroyAllWindows()
Продвинутые приложения обработки видео
Обнаружение объектов в видео
OpenCV предоставляет множество алгоритмов обнаружения объектов, таких как классификаторы признаков Хаара, HOG + SVM и т. д.
Ниже приведён пример обнаружения лиц с использованием классификатора признаков Хаара:
Пример
# Загрузите классификатор признаков Хаара
face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')
cap = cv2.VideoCapture('example.mp4')
while True:
ret, frame = cap.read()
if not ret:
break
# Преобразовать кадр в изображение в оттенках серого
gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# Обнаружение лиц
faces = face_cascade.detectMultiScale(gray_frame, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))
# Нарисовать прямоугольники на кадре, чтобы отметить лица
for (x, y, w, h) in faces:
cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 0, 0), 2)
# Отобразить кадр с маркерами лиц
cv2.imshow('Обнаружение лиц', frame)
if cv2.waitKey(25) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
Обнаружение движения в видео
Обнаружение движения — важное применение в обработке видео. Движущиеся объекты можно обнаружить, вычисляя разности между кадрами.
Ниже приведён простой пример обнаружения движения:
Пример
cap = cv2.VideoCapture('example.mp4')
# Чтение первого кадра
ret, prev_frame = cap.read()
prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)
while True:
ret, frame = cap.read()
if not ret:
break
# Преобразовать текущий кадр в изображение в оттенках серого
gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# Вычислить разницу между текущим кадром и предыдущим кадром
frame_diff = cv2.absdiff(prev_gray, gray_frame)
# Бинаризовать разностное изображение
_, thresh = cv2.threshold(frame_diff, 30, 255, cv2.THRESH_BINARY)
# Отобразить результат обнаружения движения
cv2.imshow('Обнаружение движения', thresh)
# Обновить предыдущий кадр
prev_gray = gray_frame
if cv2.waitKey(25) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
Общие функции
| Функция | Функция/Метод | Описание |
|---|---|---|
| Чтение видео | cv2.VideoCapture() | Чтение видеофайла или камеры. |
| Чтение видео кадр за кадром | cap.read() | Чтение видео кадр за кадром. |
| Получить свойства видео | cap.get(propId) | Получить свойства видео (такие как ширина, высота, частота кадров и т. д.). |
| Сохранить видео | cv2.VideoWriter() | Создать объект для записи видео и сохранить видео. |
| Обработка кадров видео | Функции обработки изображений (такие какcv2.cvtColor()) | Выполнять обработку изображений на кадрах видео. |
| Отслеживание объектов | cv2.TrackerKCF_create() | Использовать алгоритмы отслеживания объектов для отслеживания объектов на видео. |
| Обнаружение движения | cv2.createBackgroundSubtractorMOG2() | Использовать алгоритмы вычитания фона для обнаружения движущихся объектов на видео. |
cv2.VideoCapture
Определение:cv2.VideoCaptureИспользуется для захвата кадров видео из видеофайла или с камеры.
Синтаксис:
cv2.VideoCapture(source)
Описание параметра:
source: Путь к видеофайлу или индекс камеры (обычно 0 для камеры по умолчанию).
Пример
# Открыть камеру по умолчанию
cap = cv2.VideoCapture(0)
while True:
ret, frame = cap.read()
if not ret:
break
cv2.imshow('Frame', frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
cv2.VideoWriter
Определение:cv2.VideoWriterИспользуется для записи видеокадров в видеофайл.
Синтаксис:
cv2.VideoWriter(filename, fourcc, fps, frameSize)
Описание параметра:
filename: Имя выходного видеофайла.fourcc: Видеокодек (например,cv2.VideoWriter_fourcc(*'XVID'))。fps: Частота кадров.frameSize: Размер кадра (ширина, высота).
Пример
cap = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, 20.0, (640, 480))
while cap.isOpened():
ret, frame = cap.read()
if not ret:
break
out.write(frame)
cv2.imshow('Frame', frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cap.release()
out.release()
cv2.destroyAllWindows()
cv2.cvtColor
Определение:cv2.cvtColorИспользуется для преобразования изображения из одного цветового пространства в другое.
Синтаксис:
cv2.cvtColor(src, code)
Описание параметра:
src: Входное изображение.code: Код преобразования цветового пространства (например,cv2.COLOR_BGR2GRAY)。
Пример
img = cv2.imread('image.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imshow('Серое изображение', gray)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.resize
Определение:cv2.resizeИспользуется для изменения размера изображения.
Синтаксис:
cv2.resize(src, dsize)
Описание параметра:
src: Входное изображение.dsize: Размер выходного изображения (ширина, высота).
Пример
img = cv2.imread('image.jpg')
resized = cv2.resize(img, (320, 240))
cv2.imshow('Изменённое изображение', resized)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.Canny
Определение:cv2.CannyИспользуется для обнаружения границ.
Синтаксис:
cv2.Canny(image, threshold1, threshold2)
Описание параметра:
image: Входное изображение.threshold1: Первый порог.threshold2: Второй порог.
Пример
img = cv2.imread('image.jpg', 0)
edges = cv2.Canny(img, 100, 200)
cv2.imshow('Границы', edges)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.findContours
Определение:cv2.findContoursИспользуется для поиска контуров на изображении.
Синтаксис:
cv2.findContours(image, mode, method)
Описание параметра:
image: Входное изображение.mode: Режим извлечения контуров (например,cv2.RETR_TREE)。method: Метод аппроксимации контура (например,cv2.CHAIN_APPROX_SIMPLE)。
Пример
img = cv2.imread('image.jpg', 0)
contours, _ = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 255, 0), 3)
cv2.imshow('Contours', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.drawContours
Определение:cv2.drawContoursИспользуется для рисования контуров на изображении.
Синтаксис:
cv2.drawContours(image, contours, contourIdx, color, thickness)
Описание параметра:
image: Входное изображение.contours: Список контуров.contourIdx: Индекс контура (-1 означает нарисовать все контуры).color: Цвет контура.thickness: Толщина линии контура.
Пример
img = cv2.imread('image.jpg', 0)
contours, _ = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 255, 0), 3)
cv2.imshow('Contours', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.putText
Определение:cv2.putTextИспользуется для рисования текста на изображении.
Синтаксис:
cv2.putText(image, text, org, fontFace, fontScale, color, thickness)
Описание параметра:
image: Входное изображение.text: Текст, который нужно нарисовать.org: Координаты нижнего левого угла текста.fontFace: Тип шрифта (например,cv2.FONT_HERSHEY_SIMPLEX)。fontScale: Коэффициент масштабирования шрифта.color: Цвет текста.thickness: Толщина линии текста.
Пример
img = cv2.imread('image.jpg')
cv2.putText(img, 'Hello, OpenCV!', (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2)
cv2.imshow('Text', img)
cv2.waitKey(0)
cv2.destroyAllWindows()