PyTorch-Datentransformation

In PyTorch ist die Datentransformation ein Mechanismus zur Verarbeitung von Daten beim Laden von Daten, der Rohdaten in ein für das Modelltraining geeignetes Format umwandelt, hauptsächlich durch Werkzeuge, die von torchvision.transforms bereitgestellt werden.

Datentransformationen können nicht nur grundlegende Datenvorverarbeitung implementieren (wie Normalisierung, Größenänderung usw.), sondern auch bei der Datenaugmentierung helfen (wie zufälliges Zuschneiden, Spiegeln usw.), wodurch die Generalisierungsfähigkeit des Modells verbessert wird.

Warum sind Datentransformationen erforderlich?

Datenvorverarbeitung:

  • Passen Sie das Datenformat, die Größe und den Wertebereich an, um es für die Modelleingabe geeignet zu machen.
  • Beispielsweise müssen Bilder auf eine feste Größe skaliert, in das Tensor-Format konvertiert und auf [0,1] normalisiert werden.

Datenaugmentierung:

  • Transformieren Sie Daten während des Trainings, um die Vielfalt zu erhöhen.
  • Erhöhen Sie beispielsweise die Vielfalt der Datenstichproben durch zufällige Rotation, Spiegelung und Zuschneiden, um Overfitting zu vermeiden.

Flexibilität:

  • Durch die Definition einer Reihe von Transformationsoperationen können Daten dynamisch verarbeitet werden, was die Komplexität des Datenladens vereinfacht.

In PyTorch bietet das Modul torchvision.transforms eine Vielzahl von Transformationsoperationen für die Bildverarbeitung.

Grundlegende Transformationsoperationen

Name der TransformationsfunktionBeschreibungBeispiel
transforms.ToTensor()Konvertiert ein PIL-Bild oder NumPy-Array in einen PyTorch-Tensor und normalisiert Pixelwerte automatisch auf [0, 1].transform = transforms.ToTensor()
transforms.Normalize(mean, std)Normalisiert das Bild so, dass die Daten einen Mittelwert von null und eine Einheitsvarianz haben.transform = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
transforms.Resize(size)Ändert die Größe des Bildes, um eine konsistente Bildgröße für die Netzwerkeingabe sicherzustellen.transform = transforms.Resize((256, 256))
transforms.CenterCrop(size)Schneidet einen Bereich der angegebenen Größe aus der Mitte des Bildes aus.transform = transforms.CenterCrop(224)

1、ToTensor

Konvertiert ein PIL-Bild oder NumPy-Array in einen PyTorch-Tensor.

Normalisiert außerdem Pixelwerte von [0, 255] auf [0, 1].

from torchvision import transforms

transform = transforms.ToTensor()

2、Normalize

Normalisiert die Daten auf einen bestimmten Mittelwert und eine bestimmte Standardabweichung.

Wird häufig für Bilddaten verwendet und normalisiert deren Pixelwerte auf einen Mittelwert von null und eine Varianz von eins.

transform = transforms.Normalize(mean=[0.5], std=[0.5])  # 归一化到 [-1, 1]

3、Resize

Ändert die Größe des Bildes.

transform = transforms.Resize((128, 128))  # 将图像调整为 128x128

4、CenterCrop

Schneidet einen Bereich der angegebenen Größe aus der Mitte des Bildes aus.

transform = transforms.CenterCrop(128)  # 裁剪 128x128 的区域

Operationen zur Daten-Augmentierung

Name der TransformationsfunktionBeschreibungBeispiel
transforms.RandomHorizontalFlip(p)Spiegelt das Bild zufällig horizontal.transform = transforms.RandomHorizontalFlip(p=0.5)
transforms.RandomRotation(degrees)Dreht das Bild zufällig.transform = transforms.RandomRotation(degrees=45)
transforms.ColorJitter(brightness, contrast, saturation, hue)Passt Helligkeit, Kontrast, Sättigung und Farbton des Bildes an.transform = transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1)
transforms.RandomCrop(size)Schneidet zufällig einen Bereich der angegebenen Größe aus.transform = transforms.RandomCrop(224)
transforms.RandomResizedCrop(size)Schneidet das Bild zufällig zu und skaliert es auf die angegebene Größe.transform = transforms.RandomResizedCrop(224)

1、RandomCrop

Schneidet eine angegebene Größe zufällig aus dem Bild aus.

transform = transforms.RandomCrop(128)

2、RandomHorizontalFlip

Spiegelt das Bild mit einer bestimmten Wahrscheinlichkeit horizontal.

transform = transforms.RandomHorizontalFlip(p=0.5)  # 50% 概率翻转

3、RandomRotation

Dreht um einen zufälligen Winkel.

transform = transforms.RandomRotation(degrees=30)  # 随机旋转 -30 到 +30 度

4、ColorJitter

Ändert zufällig die Helligkeit, den Kontrast, die Sättigung oder den Farbton des Bildes.

transform = transforms.ColorJitter(brightness=0.5, contrast=0.5)

Transformationen kombinieren

Name der TransformationsfunktionBeschreibungBeispiel
transforms.Compose()Kombiniert mehrere Transformationen miteinander und wendet sie nacheinander in der Reihenfolge an.transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), transforms.Resize((256, 256))])

Kombinieren Sie mehrere Transformationen mit transforms.Compose.

transform = transforms.Compose([
    transforms.Resize((128, 128)),
    transforms.RandomHorizontalFlip(p=0.5),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.5], std=[0.5])
])

Benutzerdefinierte Transformationen

Wenn die von transforms bereitgestellte Funktionalität die Anforderungen nicht erfüllen kann, kann sie über benutzerdefinierte Klassen oder Funktionen implementiert werden.

Beispiel

class CustomTransform:
    def __call__(self, x):
        # Hier kann jede Transformationslogik angepasst werden
        return x * 2

transform = CustomTransform()

Beispiel

Anwenden von Transformationen auf Bilddatensätze

Laden Sie den MNIST-Datensatz und wenden Sie Transformationen an.

Beispiel

from torchvision import datasets, transforms
from torch.utils.data import DataLoader

# Transformationen definieren
transform = transforms.Compose([
    transforms.Resize((128, 128)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.5], std=[0.5])
])

# Datensatz laden
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)

# DataLoader verwenden
train_loader = DataLoader(dataset=train_dataset, batch_size=32, shuffle=True)

# Transformierte Daten anzeigen
for images, labels in train_loader:
    print("Bildtensor-Größe:", images.size())  # [batch_size, 1, 128, 128]
    break

Das Ausgabeergebnis ist:

图像张量大小: torch.Size([32, 1, 128, 128])

Visualisierung von Transformationseffekten

Der folgende Code zeigt einen Vergleich zwischen den Originaldaten und den transformierten Daten.

Beispiel

import matplotlib.pyplot as plt
from torchvision import datasets
from torchvision import datasets, transforms


# Visualisierung von Original- und augmentierten Bildern
transform_augment = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(30),
    transforms.ToTensor()
])

# Datensatz laden
dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform_augment)

# Bilder anzeigen
def show_images(dataset):
    fig, axs = plt.subplots(1, 5, figsize=(15, 5))
    for i in range(5):
        image, label = dataset[i]
        axs[i].imshow(image.squeeze(0), cmap='gray')  # Konvertiere (1, H, W) nach (H, W)
        axs[i].set_title(f"Bezeichnung: {label}")
        axs[i].axis('off')
    plt.show()

show_images(dataset)

Die Anzeige ist wie folgt:

Andere Erweiterungen