Transposée et inverse d’une matrice

La transposée apparaît fréquemment dans les mécanismes d’attention, et les matrices inverses nous aident à comprendre les « transformations inversibles » — comme les transformations de coordonnées dans l’ACP.

Transposée : échanger les lignes et les colonnes

A (2×3)
123
456
AT (3×2)
14
25
36

La valeur initialement à la position (i, j) passe à la position (j, i) après transposition.La forme passe de m×n à n×m.

Matrice inverse : annuler la transformation

La matrice A représente une transformation linéaire. \( A^{-1} \) représente « annuler l’effet de A ».

Expression mathématique : \( AA^{-1} = A^{-1}A = I \) (I est la matrice identité, équivalente au nombre 1).

Seules les matricescarrées et de rang pleinont une matrice inverse.

Les matrices non carrées ou les matrices carrées qui ne sont pas de rang plein sont des « matrices singulières » et n’ont pas d’inverse — équivalent à une opération irréversible.

Propriétés clés

  • La transposée d’un produit inverse l’ordre : \( (\mathbf{AB})^T = \mathbf{B}^T\mathbf{A}^T \)
  • L’inverse d’un produit inverse également l’ordre : \( (\mathbf{AB})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1} \)

Exemples concrets

Transposée : échanger les lignes et les colonnes dans une feuille de calcul Excel

Si vous transposez un tableau de ventes avec « noms en lignes, mois en colonnes », il devient « noms en colonnes, mois en lignes ».

Les données n'ont pas changé, seul l'agencement a changé — c'est la transposition.

Matrice inverse : Ctrl+Z pour annuler

Vous effectuez une opération de rotation + mise à l'échelle (matrice A) et souhaitez la rétablir (A^{-1}).

La composition des deux opérations = rien n'a changé (AA^{-1} = I, transformation identité).


Définitions mathématiques

Transposée

\[ (\mathbf{A}^T)_{ij} = \mathbf{A}_{ji} \]

Matrice inverse

Pour une matrice carrée A de taille n×n, s'il existe une matrice B telle que \( \mathbf{AB} = \mathbf{BA} = \mathbf{I}_n \), alors B = A^{-1}.


Exercice pratique Python

Exemple

import numpy as np

A = np.array([[1, 2, 3], [4, 5, 6]])
print("A (2x3):\n", A)
print("A.T (3x2):\n", A.T)
print()

# Vérifier (AB)^T = B^T @ A^T
B = np.array([[1,2],[3,4],[5,6]])  # 3x2
AB = A @ B   # (2,3) @ (3,2) = (2,2)
print("(AB)^T:\n", AB.T)
print("B^T @ A^T:\n", B.T @ A.T)
print("Égal :", np.allclose(AB.T, B.T @ A.T))
print()

# Matrice inverse
C = np.array([[2, 1], [5, 3]])  # Matrice carrée 2x2
C_inv = np.linalg.inv(C)
print("C:\n", C)
print("C^{-1}:\n", C_inv)
print("C @ C^{-1} = I:\n", C @ C_inv)

# Une matrice singulière n'a pas d'inverse
D = np.array([[1, 2], [2, 4]])  # La ligne 2 est deux fois la ligne 1
try:
    np.linalg.inv(D)
except np.linalg.LinAlgError:
    print("\nLa matrice singulière D n'a pas d'inverse (ligne 2 = 2 × ligne 1))
A (2x3):
 [[1 2 3]
 [4 5 6]]
A.T (3x2):
 [[1 4]
 [2 5]
 [3 6]]

C @ C^{-1} = I:
 [[1. 0.]
 [0. 1.]]

奇异矩阵 D 没有逆矩阵(第2行=2×第1行)

Scénarios d'application en IA

Opération K^T dans le mécanisme d'attention

Dans \( QK^T \), la transposée de la matrice des clés permet de multiplier Q de forme (seq_len, d_k) par K de forme (seq_len, d_k) via la multiplication matricielle—la transposée transforme K en (d_k, seq_len), ce qui fait correspondre les dimensions internes. Cette K^T est la transformation de dimension la plus critique dans le calcul d'attention de tous les modèles Transformer.

Solution analytique de la régression linéaire

\( \hat{\beta} = (X^TX)^{-1}X^Ty \) — la transposée et l’inverse apparaissent ensemble. X^T X garantit que le résultat est une matrice symétrique définie positive (inversible), puis l’inverser donne la solution analytique. La classe LinearRegression de sklearn calcule cela en interne lorsqu’aucune régularisation n’est ajoutée.

Mise à jour des paramètres dans la descente de gradient

En rétropropagation, la forme de la matrice de gradient des poids doit correspondre à celle de la matrice des poids pour effectuer la mise à jour par soustraction. Par exemple, W est (d_out, d_in), et son gradient \nabla_W L est aussi (d_out, d_in) — la transposée aide les gradients à propager correctement les dimensions à travers le graphe de calcul dans les couches intermédiaires.


Autres extensions