OpenCV Videoverarbeitung

Ein Video besteht aus einer Reihe aufeinanderfolgender Bildframes, wobei jedes Frame ein statisches Bild ist.

Der Kern der Videoverarbeitung besteht darin, diese Bildframes zu verarbeiten. Zu den üblichen Aufgaben der Videoverarbeitung gehören das Lesen von Videos, die Videowiedergabe, das Speichern von Videos, die Verarbeitung von Video-Frames und so weiter.

Anwendungen der Videoverarbeitung

  • Videoanalyse: Mithilfe von Videoverarbeitungstechniken können Bewegungen, Objekte, Ereignisse usw. in einem Video analysiert werden.
  • Video-Verbesserung: Führen Sie Entrauschung, Verbesserung, Stabilisierung und andere Verarbeitungen am Video durch, um die Videoqualität zu verbessern.
  • Videobearbeitung: Führen Sie Operationen wie Schneiden, Zusammenfügen und Hinzufügen von Spezialeffekten zum Video durch.
  • Echtzeitüberwachung: Szenen in Echtzeit über Kameras überwachen und Objekterkennung, Verhaltensanalyse usw. durchführen.

OpenCV bietetcv2.VideoCaptureundcv2.VideoWriterzwei Klassen, die jeweils zum Lesen und Schreiben von Videos verwendet werden. Darüber hinaus bietet OpenCV einen umfangreichen Satz an Bildverarbeitungsfunktionen, mit denen verschiedene Operationen auf Videoframes ausgeführt werden können.

Lesen und Wiedergeben von Videos

Videodateien lesen

Um eine Videodatei zu lesen, müssen Sie zunächst eincv2.VideoCaptureObjekt erstellen und den Pfad der Videodatei angeben.

Beispiel

import cv2

# Erstellen Sie ein VideoCapture-Objekt, um die Videodatei zu lesen
cap = cv2.VideoCapture('example.mp4')

# Prüfen Sie, ob das Video erfolgreich geöffnet wurde
if not cap.isOpened():
    print("Fehler: Video konnte nicht geöffnet werden.")
    exit()

# Ein Video-Frame lesen
while True:
    ret, frame = cap.read()
   
    # Wenn das letzte Frame gelesen wird, die Schleife verlassen
    if not ret:
        break
   
    # Das aktuelle Frame anzeigen
    cv2.imshow('Video', frame)
   
    # Zum Beenden 'q' drücken
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

# Ressourcen freigeben
cap.release()
cv2.destroyAllWindows()

Kameravideo lesen

Zusätzlich zum Lesen von Videodateien kann OpenCV Video auch direkt von einer Kamera lesen, indem einfachcv2.VideoCaptureder Parameter auf den Kamera-Index (normalerweise 0) gesetzt wird:

Beispiel

import cv2

# Ein VideoCapture-Objekt erstellen, um Kameravideo zu lesen
cap = cv2.VideoCapture(0)

# Prüfen, ob die Kamera erfolgreich geöffnet wurde
if not cap.isOpened():
    print("Error: Could not open camera.")
    exit()

# Ein Video-Frame lesen
while True:
    ret, frame = cap.read()
   
    # Wenn das letzte Frame gelesen wird, die Schleife verlassen
    if not ret:
        break
   
    # Das aktuelle Frame anzeigen
    cv2.imshow('Camera', frame)
   
    # Zum Beenden 'q' drücken
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

# Ressourcen freigeben
cap.release()
cv2.destroyAllWindows()

Verarbeitung von Video-Frames

Grundlegende Operationen mit Frames

Nach dem Einlesen von Videoframes können verschiedene Bildverarbeitungsoperationen auf jedem Frame durchgeführt werden.

Beispielsweise kann der Frame in ein Graustufenbild umgewandelt werden:

Beispiel

import cv2

cap = cv2.VideoCapture('example.mp4')

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Den Frame in ein Graustufenbild umwandeln
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Graustufen-Frame anzeigen
    cv2.imshow('Gray Video', gray_frame)
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Frames speichern

Bei der Verarbeitung von Videoframes ist es manchmal notwendig, die verarbeiteten Frames als neue Videodatei zu speichern.

Sie können diecv2.VideoWriterKlasse, um dies zu erreichen:

Beispiel

import cv2

cap = cv2.VideoCapture('example.mp4')

# Bildrate und Größe des Videos abrufen
fps = int(cap.get(cv2.CAP_PROP_FPS))
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

# Erstelle ein VideoWriter-Objekt, um das verarbeitete Video zu speichern
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, fps, (width, height))

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Den Frame in ein Graustufenbild umwandeln
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Schreibe das Graustufen-Frame in das Ausgabevideo
    out.write(cv2.cvtColor(gray_frame, cv2.COLOR_GRAY2BGR))
   
    # Graustufen-Frame anzeigen
    cv2.imshow('Gray Video', gray_frame)
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
out.release()
cv2.destroyAllWindows()

Fortgeschrittene Anwendungen der Videoverarbeitung

Objekterkennung in Videos

OpenCV bietet eine Vielzahl von Algorithmen zur Objekterkennung, wie z. B. Haar-Merkmalsklassifikatoren, HOG + SVM, usw.

Das Folgende ist ein Beispiel für Gesichtserkennung mit einem Haar-Merkmalsklassifikator:

Beispiel

import cv2

# Haar-Merkmalsklassifikator laden
face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')

cap = cv2.VideoCapture('example.mp4')

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Den Frame in ein Graustufenbild umwandeln
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Gesichter erkennen
    faces = face_cascade.detectMultiScale(gray_frame, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))
   
    # Rechtecke auf dem Frame zeichnen, um Gesichter zu markieren
    for (x, y, w, h) in faces:
        cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 0, 0), 2)
   
    # Frame mit Gesichtsmarkierungen anzeigen
    cv2.imshow('Gesichtserkennung', frame)
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Bewegungserkennung in Videos

Die Bewegungserkennung ist eine wichtige Anwendung in der Videoverarbeitung. Bewegte Objekte können durch die Berechnung der Unterschiede zwischen Frames erkannt werden.

Das Folgende ist ein einfaches Beispiel für Bewegungserkennung:

Beispiel

import cv2

cap = cv2.VideoCapture('example.mp4')

# Erstes Frame lesen
ret, prev_frame = cap.read()
prev_gray = cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY)

while True:
    ret, frame = cap.read()
   
    if not ret:
        break
   
    # Aktuellen Frame in ein Graustufenbild konvertieren
    gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
   
    # Berechne die Differenz zwischen dem aktuellen Frame und dem vorherigen Frame
    frame_diff = cv2.absdiff(prev_gray, gray_frame)
   
    # Binarisiere das Differenzbild
    _, thresh = cv2.threshold(frame_diff, 30, 255, cv2.THRESH_BINARY)
   
    # Zeige das Ergebnis der Bewegungsdetektion an
    cv2.imshow('Bewegungsdetektion', thresh)
   
    # Aktualisiere den vorherigen Frame
    prev_gray = gray_frame
   
    if cv2.waitKey(25) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

Häufig verwendete Funktionen

FunktionFunktion/MethodeBeschreibung
Video einlesencv2.VideoCapture()Eine Videodatei oder Kamera einlesen.
Video Frame für Frame einlesencap.read()Video Frame für Frame einlesen.
Videoeigenschaften abrufencap.get(propId)Videoeigenschaften abrufen (wie Breite, Höhe, Bildrate usw.).
Video speicherncv2.VideoWriter()Ein VideoWriter-Objekt erstellen und das Video speichern.
Verarbeitung von Video-FramesBildverarbeitungsfunktionen (wiecv2.cvtColor())Bildverarbeitung auf Video-Frames durchführen.
Objekttrackingcv2.TrackerKCF_create()Objekttracking-Algorithmen verwenden, um Objekte im Video zu verfolgen.
Bewegungserkennungcv2.createBackgroundSubtractorMOG2()Algorithmen zur Hintergrundsubtraktion verwenden, um sich bewegende Objekte im Video zu erkennen.

cv2.VideoCapture

Definition:
cv2.VideoCaptureWird verwendet, um Video-Frames aus einer Videodatei oder Kamera zu erfassen.

Syntax:

cv2.VideoCapture(source)

Parameterbeschreibung:

  • source: Videodateipfad oder Kamera-Index (normalerweise 0 für die Standardkamera).

Beispiel

import cv2

# Standardkamera öffnen
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        break
    cv2.imshow('Frame', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

cv2.VideoWriter

Definition:
cv2.VideoWriterWird verwendet, um Videoframes in eine Videodatei zu schreiben.

Syntax:

cv2.VideoWriter(filename, fourcc, fps, frameSize)

Parameterbeschreibung:

  • filename: Name der Ausgabevideodatei.
  • fourcc: Video-Codec (wie z. B.cv2.VideoWriter_fourcc(*'XVID'))。
  • fps: Bildrate.
  • frameSize: Bildgröße (Breite, Höhe).

Beispiel

import cv2

cap = cv2.VideoCapture(0)
fourcc = cv2.VideoWriter_fourcc(*'XVID')
out = cv2.VideoWriter('output.avi', fourcc, 20.0, (640, 480))

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    out.write(frame)
    cv2.imshow('Frame', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
out.release()
cv2.destroyAllWindows()

cv2.cvtColor

Definition:
cv2.cvtColorWird verwendet, um ein Bild von einem Farbraum in einen anderen Farbraum umzuwandeln.

Syntax:

cv2.cvtColor(src, code)

Parameterbeschreibung:

  • src: Eingabebild.
  • code: Farbraumkonvertierungscode (wie z. B.cv2.COLOR_BGR2GRAY)。

Beispiel

import cv2

img = cv2.imread('image.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
cv2.imshow('Graustufenbild', gray)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.resize

Definition:
cv2.resizeWird verwendet, um die Größe eines Bildes zu ändern.

Syntax:

cv2.resize(src, dsize)

Parameterbeschreibung:

  • src: Eingabebild.
  • dsize: Ausgabebildgröße (Breite, Höhe).

Beispiel

import cv2

img = cv2.imread('image.jpg')
resized = cv2.resize(img, (320, 240))
cv2.imshow('Skaliertes Bild', resized)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.Canny

Definition:
cv2.CannyWird zur Kantenerkennung verwendet.

Syntax:

cv2.Canny(image, threshold1, threshold2)

Parameterbeschreibung:

  • image: Eingabebild.
  • threshold1: Erster Schwellenwert.
  • threshold2: Zweiter Schwellenwert.

Beispiel

import cv2

img = cv2.imread('image.jpg', 0)
edges = cv2.Canny(img, 100, 200)
cv2.imshow('Kanten', edges)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.findContours

Definition:
cv2.findContoursWird verwendet, um Konturen in einem Bild zu finden.

Syntax:

cv2.findContours(image, mode, method)

Parameterbeschreibung:

  • image: Eingabebild.
  • mode: Kontur-Abrufmodus (wie z. B.cv2.RETR_TREE)。
  • method: Konturnäherungsmethode (wie z. B.cv2.CHAIN_APPROX_SIMPLE)。

Beispiel

import cv2

img = cv2.imread('image.jpg', 0)
contours, _ = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 255, 0), 3)
cv2.imshow('Contours', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.drawContours

Definition:
cv2.drawContoursWird zum Zeichnen von Konturen in einem Bild verwendet.

Syntax:

cv2.drawContours(image, contours, contourIdx, color, thickness)

Parameterbeschreibung:

  • image: Eingabebild.
  • contours: Liste der Konturen.
  • contourIdx: Konturindex (-1 bedeutet, alle Konturen zu zeichnen).
  • color: Konturfarbe.
  • thickness: Konturlinienbreite.

Beispiel

import cv2

img = cv2.imread('image.jpg', 0)
contours, _ = cv2.findContours(img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 255, 0), 3)
cv2.imshow('Contours', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.putText

Definition:
cv2.putTextWird zum Zeichnen von Text auf einem Bild verwendet.

Syntax:

cv2.putText(image, text, org, fontFace, fontScale, color, thickness)

Parameterbeschreibung:

  • image: Eingabebild.
  • text: Der zu zeichnende Text.
  • org: Koordinaten der unteren linken Ecke des Textes.
  • fontFace: Schriftart (wie z. B.cv2.FONT_HERSHEY_SIMPLEX)。
  • fontScale: Skalierungsfaktor der Schrift.
  • color: Textfarbe.
  • thickness: Linienbreite des Textes.

Beispiel

import cv2

img = cv2.imread('image.jpg')
cv2.putText(img, 'Hello, OpenCV!', (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 2)
cv2.imshow('Text', img)
cv2.waitKey(0)
cv2.destroyAllWindows()
Andere Erweiterungen