PyTorch-Datentransformation
In PyTorch ist die Datentransformation ein Mechanismus zur Verarbeitung von Daten beim Laden von Daten, der Rohdaten in ein für das Modelltraining geeignetes Format umwandelt, hauptsächlich durch Werkzeuge, die von torchvision.transforms bereitgestellt werden.
Datentransformationen können nicht nur grundlegende Datenvorverarbeitung implementieren (wie Normalisierung, Größenänderung usw.), sondern auch bei der Datenaugmentierung helfen (wie zufälliges Zuschneiden, Spiegeln usw.), wodurch die Generalisierungsfähigkeit des Modells verbessert wird.
Warum sind Datentransformationen erforderlich?
Datenvorverarbeitung:
- Passen Sie das Datenformat, die Größe und den Wertebereich an, um es für die Modelleingabe geeignet zu machen.
- Beispielsweise müssen Bilder auf eine feste Größe skaliert, in das Tensor-Format konvertiert und auf [0,1] normalisiert werden.
Datenaugmentierung:
- Transformieren Sie Daten während des Trainings, um die Vielfalt zu erhöhen.
- Erhöhen Sie beispielsweise die Vielfalt der Datenstichproben durch zufällige Rotation, Spiegelung und Zuschneiden, um Overfitting zu vermeiden.
Flexibilität:
- Durch die Definition einer Reihe von Transformationsoperationen können Daten dynamisch verarbeitet werden, was die Komplexität des Datenladens vereinfacht.
In PyTorch bietet das Modul torchvision.transforms eine Vielzahl von Transformationsoperationen für die Bildverarbeitung.
Grundlegende Transformationsoperationen
| Name der Transformationsfunktion | Beschreibung | Beispiel |
|---|---|---|
| transforms.ToTensor() | Konvertiert ein PIL-Bild oder NumPy-Array in einen PyTorch-Tensor und normalisiert Pixelwerte automatisch auf [0, 1]. | transform = transforms.ToTensor() |
| transforms.Normalize(mean, std) | Normalisiert das Bild so, dass die Daten einen Mittelwert von null und eine Einheitsvarianz haben. | transform = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) |
| transforms.Resize(size) | Ändert die Größe des Bildes, um eine konsistente Bildgröße für die Netzwerkeingabe sicherzustellen. | transform = transforms.Resize((256, 256)) |
| transforms.CenterCrop(size) | Schneidet einen Bereich der angegebenen Größe aus der Mitte des Bildes aus. | transform = transforms.CenterCrop(224) |
1、ToTensor
Konvertiert ein PIL-Bild oder NumPy-Array in einen PyTorch-Tensor.
Normalisiert außerdem Pixelwerte von [0, 255] auf [0, 1].
from torchvision import transforms transform = transforms.ToTensor()
2、Normalize
Normalisiert die Daten auf einen bestimmten Mittelwert und eine bestimmte Standardabweichung.
Wird häufig für Bilddaten verwendet und normalisiert deren Pixelwerte auf einen Mittelwert von null und eine Varianz von eins.
transform = transforms.Normalize(mean=[0.5], std=[0.5]) # 归一化到 [-1, 1]
3、Resize
Ändert die Größe des Bildes.
transform = transforms.Resize((128, 128)) # 将图像调整为 128x128
4、CenterCrop
Schneidet einen Bereich der angegebenen Größe aus der Mitte des Bildes aus.
transform = transforms.CenterCrop(128) # 裁剪 128x128 的区域
Operationen zur Daten-Augmentierung
| Name der Transformationsfunktion | Beschreibung | Beispiel |
|---|---|---|
| transforms.RandomHorizontalFlip(p) | Spiegelt das Bild zufällig horizontal. | transform = transforms.RandomHorizontalFlip(p=0.5) |
| transforms.RandomRotation(degrees) | Dreht das Bild zufällig. | transform = transforms.RandomRotation(degrees=45) |
| transforms.ColorJitter(brightness, contrast, saturation, hue) | Passt Helligkeit, Kontrast, Sättigung und Farbton des Bildes an. | transform = transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1) |
| transforms.RandomCrop(size) | Schneidet zufällig einen Bereich der angegebenen Größe aus. | transform = transforms.RandomCrop(224) |
| transforms.RandomResizedCrop(size) | Schneidet das Bild zufällig zu und skaliert es auf die angegebene Größe. | transform = transforms.RandomResizedCrop(224) |
1、RandomCrop
Schneidet eine angegebene Größe zufällig aus dem Bild aus.
transform = transforms.RandomCrop(128)
2、RandomHorizontalFlip
Spiegelt das Bild mit einer bestimmten Wahrscheinlichkeit horizontal.
transform = transforms.RandomHorizontalFlip(p=0.5) # 50% 概率翻转
3、RandomRotation
Dreht um einen zufälligen Winkel.
transform = transforms.RandomRotation(degrees=30) # 随机旋转 -30 到 +30 度
4、ColorJitter
Ändert zufällig die Helligkeit, den Kontrast, die Sättigung oder den Farbton des Bildes.
transform = transforms.ColorJitter(brightness=0.5, contrast=0.5)
Transformationen kombinieren
| Name der Transformationsfunktion | Beschreibung | Beispiel |
|---|---|---|
| transforms.Compose() | Kombiniert mehrere Transformationen miteinander und wendet sie nacheinander in der Reihenfolge an. | transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), transforms.Resize((256, 256))]) |
Kombinieren Sie mehrere Transformationen mit transforms.Compose.
transform = transforms.Compose([
transforms.Resize((128, 128)),
transforms.RandomHorizontalFlip(p=0.5),
transforms.ToTensor(),
transforms.Normalize(mean=[0.5], std=[0.5])
])
Benutzerdefinierte Transformationen
Wenn die von transforms bereitgestellte Funktionalität die Anforderungen nicht erfüllen kann, kann sie über benutzerdefinierte Klassen oder Funktionen implementiert werden.
Beispiel
def __call__(self, x):
# Hier kann jede Transformationslogik angepasst werden
return x * 2
transform = CustomTransform()
Beispiel
Anwenden von Transformationen auf Bilddatensätze
Laden Sie den MNIST-Datensatz und wenden Sie Transformationen an.
Beispiel
from torch.utils.data import DataLoader
# Transformationen definieren
transform = transforms.Compose([
transforms.Resize((128, 128)),
transforms.ToTensor(),
transforms.Normalize(mean=[0.5], std=[0.5])
])
# Datensatz laden
train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=True)
# DataLoader verwenden
train_loader = DataLoader(dataset=train_dataset, batch_size=32, shuffle=True)
# Transformierte Daten anzeigen
for images, labels in train_loader:
print("Bildtensor-Größe:", images.size()) # [batch_size, 1, 128, 128]
break
Das Ausgabeergebnis ist:
图像张量大小: torch.Size([32, 1, 128, 128])
Visualisierung von Transformationseffekten
Der folgende Code zeigt einen Vergleich zwischen den Originaldaten und den transformierten Daten.
Beispiel
from torchvision import datasets
from torchvision import datasets, transforms
# Visualisierung von Original- und augmentierten Bildern
transform_augment = transforms.Compose([
transforms.RandomHorizontalFlip(),
transforms.RandomRotation(30),
transforms.ToTensor()
])
# Datensatz laden
dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform_augment)
# Bilder anzeigen
def show_images(dataset):
fig, axs = plt.subplots(1, 5, figsize=(15, 5))
for i in range(5):
image, label = dataset[i]
axs[i].imshow(image.squeeze(0), cmap='gray') # Konvertiere (1, H, W) nach (H, W)
axs[i].set_title(f"Bezeichnung: {label}")
axs[i].axis('off')
plt.show()
show_images(dataset)
Die Anzeige ist wie folgt:
