Équations linéaires et rang matriciel

Du problème des poules et des lapins à l'entraînement des modèles d'IA, les systèmes d'équations linéaires sont partout. Le "rang" d'une matrice nous indique la quantité d'informations réellement utiles contenues dans le système.

Tout système d'équations linéaires peut s'écrire sous la forme Ax = b

A est la matrice des coefficients (m équations, n inconnues), x est le vecteur des inconnues, et b est le vecteur constant.

Par exemple, le problème des poules et des lapins : \( \begin{cases} x+y=10 \\ 2x+4y=28 \end{cases} \) écrit sous forme matricielle :

\[ \begin{bmatrix} 1 & 1 \\ 2 & 4 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 10 \\ 28 \end{bmatrix} \]

Rang : le nombre d'éléments d'information indépendants

Le rang = le nombre de lignes (ou colonnes) réellement « indépendantes » dans une matrice.

Si une équation peut être obtenue en multipliant d'autres équations par des coefficients, elle est redondante — elle n'apporte aucune information nouvelle.

Le rang détermine les cas de solution d'un système d'équations :

Rang complet

Solution unique

Aucune redondance entre les équations

Rang déficient

Une infinité de solutions

Il y a des équations redondantes

Contradictoire

Aucune solution

Les équations se contredisent


Exemple concret

Problème des poules et des lapins : rang plein, solution unique

10 têtes + 28 pattes → 6 poules, 4 lapins. Les deux équations fournissent deux informations indépendantes, exactement assez pour résoudre les deux inconnues.

Information redondante : rang déficient, une infinité de solutions

Équation 1 : x + y = 5. Équation 2 : 2x + 2y = 10 (qui est simplement l'équation 1 multipliée par 2).

Les deux équations ne constituent en réalité qu'une seule information — il existe une infinité de couples (x, y) qui satisfont la condition.


Définition mathématique

Détermination du rang

ConditionCas de solutions
rang(A) = rang([A|b]) = nSolution unique
rang(A) = rang([A|b]) < nUne infinité de solutions
rang(A) < rang([A|b])Aucune solution

Ici, [A|b] est la matrice augmentée formée en ajoutant b à droite de A.


Exercice pratique Python

Exemple

import numpy as np

# Poules et lapins dans la même cage : rang complet
A = np.array([[1,1],[2,4]])
b = np.array([10,28])
x = np.linalg.solve(A, b)
print("Solution :", x, "→ Poule=6, Lapin=4")
print("Rang :", np.linalg.matrix_rank(A))  # 2 (rang complet)

# Équation redondante
A_red = np.array([[1,2],[2,4]])  # Ligne 2 = 2 × Ligne 1
print("\n"Rang de la matrice redondante :", np.linalg.matrix_rank(A_red))  # 1

# Rang d'une grande matrice aléatoire
big = np.random.randn(100, 50)
print("Rang de la matrice aléatoire 100×50 :", np.linalg.matrix_rank(big))  # 50
解: [6. 4.] → 鸡=6, 兔=4
秩: 2(满秩)
冗余矩阵的秩: 1
100×50 随机矩阵的秩: 50

Scénarios d'application en IA

Ajustement fin LoRA = Hypothèse de rang faible

L'hypothèse centrale de LoRA (Low-Rank Adaptation) est que la mise à jour de fine-tuning \Delta W des poids pré-entraînés est de rang faible. Par conséquent, la mise à jour complète \Delta W = AB peut être approximée par le produit de deux petites matrices A (d×r) et B (r×d), où r << d.

Par exemple, pour la matrice de poids de dimension 12288 de GPT-3, r = 8 ou 16 suffit — le rang passe de 12288 à 8, réduisant le nombre de paramètres de plus de mille fois. Cela utilise le concept de « rang » pour le fine-tuning efficace en paramètres.

Détection de colinéarité des caractéristiques

Si le rang de la matrice de données est bien inférieur au nombre de colonnes → il existe une forte colinéarité (multicollinéarité) entre les caractéristiques → X^TX dans la régression linéaire est non inversible ou quasi singulier → une régularisation (Ridge/Lasso) ou une réduction de dimension (PCA) est nécessaire. Dans les vrais projets de ML, cela se manifeste par un nombre de condition excessivement grand de la matrice de caractéristiques.

Complétion de matrice dans les systèmes de recommandation

La matrice de notes utilisateur-élément ne contient généralement que quelques notes (elle est éparse), mais on suppose qu'elle est générée par une structure de rang faible (des utilisateurs similaires ont des goûts similaires). La complétion de matrice utilise des contraintes de rang pour inférer les notes manquantes à partir des notes connues. C'est l'idée centrale de l'algorithme gagnant du concours Netflix Prize.


Autres extensions