Matrixtransponierung und inverse Matrix
Transponierung kommt in Attention-Mechanismen häufig vor, und inverse Matrizen helfen uns, "invertierbare Transformationen" zu verstehen – wie Koordinatentransformationen in der PCA.
Transponieren: Zeilen und Spalten vertauschen
| 1 | 2 | 3 |
| 4 | 5 | 6 |
| 1 | 4 |
| 2 | 5 |
| 3 | 6 |
Der Wert, der ursprünglich an Position (i, j) steht, geht nach der Transponierung an Position (j, i).Die Form ändert sich von m×n zu n×m.
Inverse Matrix: die Transformation rückgängig machen
Matrix A repräsentiert eine lineare Transformation. \( A^{-1} \) repräsentiert "die Wirkung von A rückgängig machen".
Mathematischer Ausdruck: \( AA^{-1} = A^{-1}A = I \) (I ist die Einheitsmatrix, äquivalent zur Zahl 1).
Nurquadratische und vollrangigeMatrizen haben eine inverse Matrix.
Nicht-quadratische Matrizen oder quadratische Matrizen, die nicht vollen Rang haben, sind "singuläre Matrizen" und haben keine Inverse – äquivalent zu einer nicht umkehrbaren Operation.
Wichtige Eigenschaften
- Transponierung eines Produkts kehrt die Reihenfolge um: \( (\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T \)
- Die Inverse eines Produkts kehrt die Reihenfolge ebenfalls um: \( (\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1} \)
Beispiele aus dem Alltag
Transponieren: Zeilen und Spalten in einer Excel-Tabelle vertauschen
Wenn du eine Verkaufstabelle mit "Namen in Zeilen, Monate in Spalten" transponierst, wird daraus "Namen in Spalten, Monate in Zeilen".
Die Daten haben sich nicht geändert, nur die Anordnung – das ist Transponierung.
Inverse Matrix: Ctrl+Z rückgängig
Du führst eine Rotations- + Skalierungsoperation (Matrix A) aus und möchtest sie rückgängig machen (A^{-1}).
Die Komposition der beiden Operationen = nichts hat sich geändert (AA^{-1} = I, Identitätstransformation).
Mathematische Definitionen
Transponieren
\[ (\mathbf{A}^T)_{ij} = \mathbf{A}_{ji} \]Inverse Matrix
Für eine n×n quadratische Matrix A gilt: Wenn ein B existiert, sodass \( \mathbf{AB} = \mathbf{BA} = \mathbf{I}_n \), dann ist B = A^{-1}.
Praktische Python-Übung
Beispiel
A = np.array([[1, 2, 3], [4, 5, 6]])
print("A (2x3):\n", A)
print("A.T (3x2):\n", A.T)
print()
# Überprüfen: (AB)^T = B^T @ A^T
B = np.array([[1,2],[3,4],[5,6]]) # 3x2
AB = A @ B # (2,3) @ (3,2) = (2,2)
print("(AB)^T:\n", AB.T)
print("B^T @ A^T:\n", B.T @ A.T)
print("Gleich:", np.allclose(AB.T, B.T @ A.T))
print()
# Inverse Matrix
C = np.array([[2, 1], [5, 3]]) # 2x2 quadratische Matrix
C_inv = np.linalg.inv(C)
print("C:\n", C)
print("C^{-1}:\n", C_inv)
print("C @ C^{-1} = I:\n", C @ C_inv)
# Singuläre Matrix hat keine Inverse
D = np.array([[1, 2], [2, 4]]) # Zeile 2 ist zweimal Zeile 1
try:
np.linalg.inv(D)
except np.linalg.LinAlgError:
print("\nSinguläre Matrix D hat keine Inverse (Zeile 2 = 2 × Zeile 1))
A (2x3):
[[1 2 3]
[4 5 6]]
A.T (3x2):
[[1 4]
[2 5]
[3 6]]
C @ C^{-1} = I:
[[1. 0.]
[0. 1.]]
奇异矩阵 D 没有逆矩阵(第2行=2×第1行)
Anwendungsszenarien in der KI
K^T-Operation im Attention-Mechanismus
In \( QK^T \) ermöglicht die Transponierte der Key-Matrix, dass Q der Form (seq_len, d_k) mit K der Form (seq_len, d_k) mittels Matrixmultiplikation multipliziert werden kann – die Transponierte macht aus K (d_k, seq_len), wodurch die inneren Dimensionen übereinstimmen. Dieses K^T ist die kritischste Dimensionstransformation in der Attention-Berechnung aller Transformer-Modelle.
Geschlossene Lösung der linearen Regression
\( \hat{\beta} = (X^TX)^{-1}X^Ty \) – Transponierte und Inverse treten gemeinsam auf. X^T X garantiert, dass das Ergebnis eine symmetrische positiv definite Matrix (invertierbar) ist; dann liefert die Invertierung die geschlossene Lösung. Die LinearRegression von sklearn berechnet dies intern, wenn keine Regularisierung hinzugefügt wird.
Parameteraktualisierungen beim Gradientenabstieg
Bei der Backpropagation muss die Form der Gewichtsgradientenmatrix mit der Gewichtsmatrix übereinstimmen, um das Subtraktionsupdate durchzuführen. Zum Beispiel ist W (d_out, d_in), und ihr Gradient \nabla_W L ist ebenfalls (d_out, d_in) – die Transponierte hilft dabei, Gradienten dimensional korrekt durch den Berechnungsgraphen in Zwischenschichten zu propagieren.
Andere Erweiterungen