Datenformen -- Skalare, Vektoren, Matrizen, Tensoren
In der Welt der KI werden alle Daten — ob Bild, Textstück oder Audioclip — letztlich in eine einheitliche Form gebracht:Tensor。
Tensor ist ein allgemeiner Begriff; je nach Anzahl der Dimensionen hat er unterschiedliche Namen.
Von nullidimensional bis mehrdimensional: geschachtelte Datenstrukturen
Eine andere Art, es zu verstehen, ist 'Verschachtelung' — ein Skalar ist auf der innersten Ebene; umschließt man es eine Ebene, entsteht ein Vektor, umschließt man es erneut, entsteht eine Matrix, und weiteres Umschließen erzeugt höherdimensionale Tensoren.
In Deep-Learning-Frameworks wie PyTorch und TensorFlow werden alle Daten einheitlich als 'Tensoren' dargestellt.
Ein Skalar ist ein 0-dimensionaler Tensor, ein Vektor ist ein 1-dimensionaler Tensor und eine Matrix ist ein 2-dimensionaler Tensor — sie sind Spezialfälle von Tensoren.
Datenformen anhand von Dimensionen verstehen
Es ist einfach eine Zahl. Zum Beispiel Temperatur 26°C. In NumPy wird die Form als leeres Tupel angezeigt.()。
Eine geordnete Folge von Zahlen. Zum Beispiel Temperaturaufzeichnungen für jede Stunde eines Tages. Die Form ist(n,), wobei n die Anzahl der Elemente ist.
Eine Tabelle mit Zeilen und Spalten. Zum Beispiel eine Temperaturtabelle für 7 Tage einer Woche und 24 Stunden eines Tages. Die Form ist(number of rows, number of columns)。
Mehrere Datenschichten, die übereinander gestapelt sind. Zum Beispiel Temperaturen für 300 Städte landesweit, jede Stadt über 7 Tage pro Woche und 24 Stunden pro Tag. Die Shape ist(number of cities, number of days, number of hours)i.e.(300, 7, 24)。
Dimensionen kann man einfach so verstehen:Wie viele „Koordinaten“ man braucht, um eine bestimmte Zahl genau zu lokalisieren.
Beispiele aus der Praxis
Im Folgenden verwenden wir ein schrittweises Szenario, um das Verständnis zu festigen.
Szenario 1: Die aktuelle Temperatur aufzeichnen
Du musst nur eine Zahl aufschreiben:26. Dies ist einSkalar. Er hat keine Dimensionen; er ist nur ein isolierter Wert.
Szenario 2: Temperaturänderungen über einen Tag aufzeichnen
Du misst einmal pro Stunde von morgens bis abends und erhältst 24 Zahlen:[22, 23, 24, 26, 28, ...]。
Dies ist einVektor. Du brauchst eine Koordinate (welche Stunde), um einen bestimmten Temperaturwert zu finden.
Szenario 3: Temperaturen für eine Woche aufzeichnen
Du ordnest die Daten der sieben Tage in einer Tabelle an: Jede Zeile ist ein Tag, jede Spalte ist eine Stunde.
Dies ist eine 7-zeilige, 24-spaltigeMatrix. Du brauchst zwei Koordinaten (welcher Tag, welche Stunde), um etwas zu lokalisieren.
Szenario 4: Temperaturen in Städten landesweit aufzeichnen
Es gibt 300 Städte landesweit, und jede Stadt hat eine 7×24-Tabelle.
Das Stapeln dieser 300 Tabellen zusammen ergibt einen3D-Tensor. Du brauchst drei Koordinaten (welche Stadt, welcher Tag, welche Stunde).
Mathematische Definitionen
Skalar
Ein Skalar ist eine einzelne Zahl, bezeichnet als \( a = 26 \), oder \( x \in \mathbb{R} \) (x gehört zur Menge der reellen Zahlen).
Vektor
Ein Vektor ist eine geordnete Menge von Zahlen, normalerweise vertikal geschrieben (Spaltenvektor):
\[ \mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix} \in \mathbb{R}^{n} \]\( \mathbb{R}^{n} \) bedeutet, dass dies ein n-dimensionaler reeller Vektor ist, \( v_1 \) ist die 1. Komponente, und \( v_n \) ist die n-te Komponente.
Matrix
Eine Matrix ist ein rechteckiges Array mit m Zeilen und n Spalten:
\[ \mathbf{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \in \mathbb{R}^{m \times n} \]Sie wird als m×n-Matrix bezeichnet (m Zeilen, n Spalten), wobei \( a_{ij} \) das Element in der i-ten Zeile und j-ten Spalte darstellt.
Tensor
Ein Tensor ist eine Verallgemeinerung von Vektoren und Matrizen auf beliebige Dimensionen.
Die Shape eines k-dimensionalen Tensors wird als \( (d_1, d_2, \dots, d_k) \) bezeichnet, mit insgesamt \( d_1 \times d_2 \times \cdots \times d_k \) Elementen.
Vergleichstabelle zur schnellen Referenz
| Name | Dimensionen | Shape-Beispiel | Anzahl der Koordinaten | Mathematische Notation |
|---|---|---|---|---|
| Skalar | 0 | () | 0 | \( x \in \mathbb{R} \) |
| Vektor | 1 | (n,) | 1 | \( \mathbf{v} \in \mathbb{R}^{n} \) |
| Matrix | 2 | (m, n) | 2 | \( \mathbf{A} \in \mathbb{R}^{m \times n} \) |
| 3D-Tensor | 3 | (d1, d2, d3) | 3 | \( \mathcal{T} \in \mathbb{R}^{d_1 \times d_2 \times d_3} \) |
Praktische Python-Übung
Als Nächstes verwenden wir NumPy, um diese Datenstrukturen zu erstellen und zu untersuchen.shape-Attributist der Schlüssel zum Verständnis der Datendimensionen.
Beispiele
# Skalar (0-dimensionaler Tensor): shape = ()
scalar = np.array(26)
# Vektor (1-dimensionaler Tensor): shape = (n,)
vector = np.array([22, 23, 24, 26, 28, 30, 31, 29])
# Matrix (2-dimensionaler Tensor): shape = (Zeilen, Spalten)
matrix = np.array([[1, 2, 3], [4, 5, 6]])
# 3D-Tensor: shape = (Ebenen, Zeilen, Spalten)
tensor_3d = np.array([[[1,2,3],[4,5,6]], [[7,8,9],[10,11,12]]])
# 4D-Tensor: simuliert 3 einkanalige Bilder mit 2x2 Pixeln
batch_images = np.array([
[[[10],[20]],[[30],[40]]],
[[[50],[60]],[[70],[80]]],
[[[90],[100]],[[110],[120]]]
])
print("Skalar: shape=", scalar.shape, " ndim=", scalar.ndim)
print("Vektor: shape=", vector.shape, " ndim=", vector.ndim)
print("Matrix: shape=", matrix.shape, " ndim=", matrix.ndim)
print("3D-Tensor: shape=", tensor_3d.shape, " ndim=", tensor_3d.ndim)
print("4D-Tensor: shape=", batch_images.shape, " ndim=", batch_images.ndim)
Ausgabe:
标量: shape= () ndim= 0 向量: shape= (8,) ndim= 1 矩阵: shape= (2, 3) ndim= 2 3D 张量: shape= (2, 2, 3) ndim= 3 4D 张量: shape= (3, 2, 2, 1) ndim= 4
Das Muster des Shape-Attributs
| Attribute | Bedeutung | Skalar | Vektor (8 Elemente) | Matrix (2×3) | 3D(2×2×3) |
|---|---|---|---|---|---|
.shape | Größe jeder Dimension | () | (8,) | (2, 3) | (2, 2, 3) |
.ndim | Anzahl der Dimensionen = len(shape) | 0 | 1 | 2 | 3 |
.size | Gesamtzahl der Elemente | 1 | 8 | 6 | 12 |
Wenn Sie Deep-Learning-Code debuggen und einen Shape-Mismatch-Fehler sehen, besteht der erste Schritt darin, die Shape auszugeben, um die Datendimensionen zu überprüfen.
Das Verständnis von Shape ist die erste Fähigkeit zum Erlernen von NumPy und allen Deep-Learning-Frameworks.
3D-Visualisierung von Tensoren
Unten wird der 3×3×3-Tensor als 27 Punkte im Raum dargestellt: Die drei Koordinatenachsen entsprechen "Zeile, Spalte, Kanal", und die Farbintensität jedes Punktes repräsentiert den Wert an dieser Position. Ziehen Sie die Maus, um die Ansicht zu drehen.
Achten Sie darauf: Wenn Sie die "Kanal"-Ebene festhalten, sehen Sie eine 3×3-Ebene—das ist genau ein Tensor zweiter Ordnung (Matrix). Deshalb sagen wir auch "eine Matrix ist ein Spezialfall eines Tensors."
Anwendungsszenarien in der KI
Bildklassifizierung: Von 3D- zu 4D-Tensoren
Bei der ImageNet-Klassifizierungsaufgabe werden Eingabebilder einheitlich auf 224×224 Pixel skaliert. Ein einzelnes Farbbild hat die Shape(224, 224, 3)Der 3D-Tensor.
Während des tatsächlichen Trainings verarbeitet die GPU jeweils einen Batch (z. B. 32 Bilder), und die Daten werden zu einem 4D-Tensor.(32, 224, 224, 3)。
Beachten Sie, dass verschiedene Frameworks unterschiedliche Konventionen für die Kanalposition haben: TensorFlow/Keras verwenden(N, H, W, C)(Channels last), PyTorch verwendet(N, C, H, W)(Der Kanal ist ganz vorne).
Wenn Sie den Fehler "shape mismatch: (32, 224, 224, 3) vs (32, 3, 224, 224)" sehen, wird er durch inkonsistente Kanalpositionen verursacht—verwenden Sie.permute()oder.transpose()Passen Sie es einfach an.
Verarbeitung natürlicher Sprache: Embedding-Matrizen
Die Vokabulargröße des BERT-Modells beträgt 30522 und die Hidden-Dimension ist 768. Die Shape seiner Wort-Embedding-Matrix ist(30522, 768)—Jede Zeile ist ein 768-dimensionaler Vektor für ein Wort.
Dasselbe gilt für die GPT-Serie: Der Wortschatz von GPT-2 umfasst 50,257, und die Embedding-Dimension reicht von 768 (kleines Modell) bis 1600 (großes Modell).
Wenn Sie einen Text eingeben, schlägt das Modell zunächst in der Tabelle nach, um jede Wort-ID in den entsprechenden Embedding-Vektor umzuwandeln; dies ist die "Tabellensuche zum Extrahieren von Zeilen" — eine Matrixindizierungsoperation.
Vollständig verbundene Schichten: Die Kernposition der Matrixmultiplikation
Ein klassisches MNIST-Netz zur Erkennung handschriftlicher Ziffern: Eingabe 784 Dimensionen (28×28 Pixel flach ausgerollt), erste verborgene Schicht 256 Dimensionen.
Die Shape der Gewichtsmatrix W₁ ist(256, 784)Jede Vorwärtspropagationsberechnung.h = W₁ @ x, das heißt, eine 256×784-Matrix multipliziert mit einem 784-dimensionalen Vektor.
Die Vorwärtspropagierung des gesamten neuronalen Netzes ist im Wesentlichen ein Wechselspiel aus Matrixmultiplikationen und Aktivierungsfunktionen in den Schichten.
Videodaten: 5D-Tensoren
Ein Video kann als Abfolge mehrerer Einzelbilder verstanden werden. Ein 16-Frame-Farbvideoclip mit 224×224 hat die Shape(16, 224, 224, 3)。
Nach Hinzufügen der Batch-Dimension wird es zu einem 5D-Tensor.(8, 16, 224, 224, 3)——Dies ist die Standardeingabe für Videoklassifizierungsmodelle (wie 3D-ResNet).
Weitere Erweiterungen