Transposée et inverse d’une matrice
La transposée apparaît fréquemment dans les mécanismes d’attention, et les matrices inverses nous aident à comprendre les « transformations inversibles » — comme les transformations de coordonnées dans l’ACP.
Transposée : échanger les lignes et les colonnes
| 1 | 2 | 3 |
| 4 | 5 | 6 |
| 1 | 4 |
| 2 | 5 |
| 3 | 6 |
La valeur initialement à la position (i, j) passe à la position (j, i) après transposition.La forme passe de m×n à n×m.
Matrice inverse : annuler la transformation
La matrice A représente une transformation linéaire. \( A^{-1} \) représente « annuler l’effet de A ».
Expression mathématique : \( AA^{-1} = A^{-1}A = I \) (I est la matrice identité, équivalente au nombre 1).
Seules les matricescarrées et de rang pleinont une matrice inverse.
Les matrices non carrées ou les matrices carrées qui ne sont pas de rang plein sont des « matrices singulières » et n’ont pas d’inverse — équivalent à une opération irréversible.
Propriétés clés
- La transposée d’un produit inverse l’ordre : \( (\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T \)
- L’inverse d’un produit inverse également l’ordre : \( (\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1} \)
Exemples concrets
Transposée : échanger les lignes et les colonnes dans une feuille de calcul Excel
Si vous transposez un tableau de ventes avec « noms en lignes, mois en colonnes », il devient « noms en colonnes, mois en lignes ».
Les données n'ont pas changé, seul l'agencement a changé — c'est la transposition.
Matrice inverse : Ctrl+Z pour annuler
Vous effectuez une opération de rotation + mise à l'échelle (matrice A) et souhaitez la rétablir (A^{-1}).
La composition des deux opérations = rien n'a changé (AA^{-1} = I, transformation identité).
Définitions mathématiques
Transposée
\[ (\mathbf{A}^T)_{ij} = \mathbf{A}_{ji} \]Matrice inverse
Pour une matrice carrée A de taille n×n, s'il existe une matrice B telle que \( \mathbf{AB} = \mathbf{BA} = \mathbf{I}_n \), alors B = A^{-1}.
Exercice pratique Python
Exemple
A = np.array([[1, 2, 3], [4, 5, 6]])
print("A (2x3):\n", A)
print("A.T (3x2):\n", A.T)
print()
# Vérifier (AB)^T = B^T @ A^T
B = np.array([[1,2],[3,4],[5,6]]) # 3x2
AB = A @ B # (2,3) @ (3,2) = (2,2)
print("(AB)^T:\n", AB.T)
print("B^T @ A^T:\n", B.T @ A.T)
print("Égal :", np.allclose(AB.T, B.T @ A.T))
print()
# Matrice inverse
C = np.array([[2, 1], [5, 3]]) # Matrice carrée 2x2
C_inv = np.linalg.inv(C)
print("C:\n", C)
print("C^{-1}:\n", C_inv)
print("C @ C^{-1} = I:\n", C @ C_inv)
# Une matrice singulière n'a pas d'inverse
D = np.array([[1, 2], [2, 4]]) # La ligne 2 est deux fois la ligne 1
try:
np.linalg.inv(D)
except np.linalg.LinAlgError:
print("\nLa matrice singulière D n'a pas d'inverse (ligne 2 = 2 × ligne 1))
A (2x3):
[[1 2 3]
[4 5 6]]
A.T (3x2):
[[1 4]
[2 5]
[3 6]]
C @ C^{-1} = I:
[[1. 0.]
[0. 1.]]
奇异矩阵 D 没有逆矩阵(第2行=2×第1行)
Scénarios d'application en IA
Opération K^T dans le mécanisme d'attention
Dans \( QK^T \), la transposée de la matrice des clés permet de multiplier Q de forme (seq_len, d_k) par K de forme (seq_len, d_k) via la multiplication matricielle—la transposée transforme K en (d_k, seq_len), ce qui fait correspondre les dimensions internes. Cette K^T est la transformation de dimension la plus critique dans le calcul d'attention de tous les modèles Transformer.
Solution analytique de la régression linéaire
\( \hat{\beta} = (X^TX)^{-1}X^Ty \) — la transposée et l’inverse apparaissent ensemble. X^T X garantit que le résultat est une matrice symétrique définie positive (inversible), puis l’inverser donne la solution analytique. La classe LinearRegression de sklearn calcule cela en interne lorsqu’aucune régularisation n’est ajoutée.
Mise à jour des paramètres dans la descente de gradient
En rétropropagation, la forme de la matrice de gradient des poids doit correspondre à celle de la matrice des poids pour effectuer la mise à jour par soustraction. Par exemple, W est (d_out, d_in), et son gradient \nabla_W L est aussi (d_out, d_in) — la transposée aide les gradients à propager correctement les dimensions à travers le graphe de calcul dans les couches intermédiaires.
Autres extensions