Équations linéaires et rang matriciel
Du problème des poules et des lapins à l'entraînement des modèles d'IA, les systèmes d'équations linéaires sont partout. Le "rang" d'une matrice nous indique la quantité d'informations réellement utiles contenues dans le système.
Tout système d'équations linéaires peut s'écrire sous la forme Ax = b
A est la matrice des coefficients (m équations, n inconnues), x est le vecteur des inconnues, et b est le vecteur constant.
Par exemple, le problème des poules et des lapins : \( \begin{cases} x+y=10 \\ 2x+4y=28 \end{cases} \) écrit sous forme matricielle :
\[ \begin{bmatrix} 1 & 1 \\ 2 & 4 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 10 \\ 28 \end{bmatrix} \]Rang : le nombre d'éléments d'information indépendants
Le rang = le nombre de lignes (ou colonnes) réellement « indépendantes » dans une matrice.
Si une équation peut être obtenue en multipliant d'autres équations par des coefficients, elle est redondante — elle n'apporte aucune information nouvelle.
Le rang détermine les cas de solution d'un système d'équations :
Rang complet
Solution unique
Aucune redondance entre les équations
Rang déficient
Une infinité de solutions
Il y a des équations redondantes
Contradictoire
Aucune solution
Les équations se contredisent
Exemple concret
Problème des poules et des lapins : rang plein, solution unique
10 têtes + 28 pattes → 6 poules, 4 lapins. Les deux équations fournissent deux informations indépendantes, exactement assez pour résoudre les deux inconnues.
Information redondante : rang déficient, une infinité de solutions
Équation 1 : x + y = 5. Équation 2 : 2x + 2y = 10 (qui est simplement l'équation 1 multipliée par 2).
Les deux équations ne constituent en réalité qu'une seule information — il existe une infinité de couples (x, y) qui satisfont la condition.
Définition mathématique
Détermination du rang
| Condition | Cas de solutions |
|---|---|
| rang(A) = rang([A|b]) = n | Solution unique |
| rang(A) = rang([A|b]) < n | Une infinité de solutions |
| rang(A) < rang([A|b]) | Aucune solution |
Ici, [A|b] est la matrice augmentée formée en ajoutant b à droite de A.
Exercice pratique Python
Exemple
# Poules et lapins dans la même cage : rang complet
A = np.array([[1,1],[2,4]])
b = np.array([10,28])
x = np.linalg.solve(A, b)
print("Solution :", x, "→ Poule=6, Lapin=4")
print("Rang :", np.linalg.matrix_rank(A)) # 2 (rang complet)
# Équation redondante
A_red = np.array([[1,2],[2,4]]) # Ligne 2 = 2 × Ligne 1
print("\n"Rang de la matrice redondante :", np.linalg.matrix_rank(A_red)) # 1
# Rang d'une grande matrice aléatoire
big = np.random.randn(100, 50)
print("Rang de la matrice aléatoire 100×50 :", np.linalg.matrix_rank(big)) # 50
解: [6. 4.] → 鸡=6, 兔=4 秩: 2(满秩) 冗余矩阵的秩: 1 100×50 随机矩阵的秩: 50
Scénarios d'application en IA
Ajustement fin LoRA = Hypothèse de rang faible
L'hypothèse centrale de LoRA (Low-Rank Adaptation) est que la mise à jour de fine-tuning \Delta W des poids pré-entraînés est de rang faible. Par conséquent, la mise à jour complète \Delta W = AB peut être approximée par le produit de deux petites matrices A (d×r) et B (r×d), où r << d.
Par exemple, pour la matrice de poids de dimension 12288 de GPT-3, r = 8 ou 16 suffit — le rang passe de 12288 à 8, réduisant le nombre de paramètres de plus de mille fois. Cela utilise le concept de « rang » pour le fine-tuning efficace en paramètres.
Détection de colinéarité des caractéristiques
Si le rang de la matrice de données est bien inférieur au nombre de colonnes → il existe une forte colinéarité (multicollinéarité) entre les caractéristiques → X^TX dans la régression linéaire est non inversible ou quasi singulier → une régularisation (Ridge/Lasso) ou une réduction de dimension (PCA) est nécessaire. Dans les vrais projets de ML, cela se manifeste par un nombre de condition excessivement grand de la matrice de caractéristiques.
Complétion de matrice dans les systèmes de recommandation
La matrice de notes utilisateur-élément ne contient généralement que quelques notes (elle est éparse), mais on suppose qu'elle est générée par une structure de rang faible (des utilisateurs similaires ont des goûts similaires). La complétion de matrice utilise des contraintes de rang pour inférer les notes manquantes à partir des notes connues. C'est l'idée centrale de l'algorithme gagnant du concours Netflix Prize.
Autres extensions