線形方程式系と行列の階数
鶴亀算からAIモデルトレーニングまで、線形方程式系は至る所に存在します。行列の「階数」は、方程式系の中に実際に有効な情報がどれだけあるかを教えてくれます。
あらゆる線形方程式系は Ax = b と書ける
A は係数行列(m 個の方程式、n 個の未知数)、x は未知数ベクトル、b は定数ベクトルです。
例えば鶴亀算:\( \begin{cases} x+y=10 \\ 2x+4y=28 \end{cases} \) を行列形式で書くと:
\[ \begin{bmatrix} 1 & 1 \\ 2 & 4 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} 10 \\ 28 \end{bmatrix} \]階数:独立した情報の数
階数(Rank)= 行列の中で本当に「独立」な行数(または列数)のこと。
ある方程式が他の方程式を係数倍して得られるなら、それは冗長です——新しい情報を追加しません。
階数は方程式系の解の状況を決定します:
フルランク
一意解
方程式の間に冗長性がない
階数不足
無限に多くの解
冗長な方程式がある
矛盾
解なし
方程式同士が互いに矛盾している
生活の例
鶴亀算:フルランク、一意解
頭数 10 + 足数 28 → 鶴 6 羽、亀 4 匹。2つの方程式が2つの独立した情報を提供し、ちょうど2つの未知数を解けます。
冗長な情報:階数不足、無限に多くの解
方程式1:x + y = 5。方程式2:2x + 2y = 10(方程式1の2倍)。
2つの方程式は実は1つの情報であり——条件を満たす (x, y) のペアは無限に存在します。
数学的定義
階数の判定
| 条件 | 解の状況 |
|---|---|
| rank(A) = rank([A|b]) = n | 一意解 |
| rank(A) = rank([A|b]) < n | 無限に多くの解 |
| rank(A) < rank([A|b]) | 解なし |
ここで [A|b] は、b を A の右側に連結した拡大行列です。
Python 実践
実例
# 鶴亀算:フルランク
A = np.array([[1,1],[2,4]])
b = np.array([10,28])
x = np.linalg.solve(A, b)
print("解:", x, "→ 鶴=6, 亀=4")
print("階数:", np.linalg.matrix_rank(A)) # 2(フルランク)
# 冗長な方程式
A_red = np.array([[1,2],[2,4]]) # 2行目 = 2 × 1行目
print("\n冗長行列の階数:", np.linalg.matrix_rank(A_red)) # 1
# ランダムな大規模行列の階数
big = np.random.randn(100, 50)
print("100×50 ランダム行列の階数:", np.linalg.matrix_rank(big)) # 50
解: [6. 4.] → 鸡=6, 兔=4 秩: 2(满秩) 冗余矩阵的秩: 1 100×50 随机矩阵的秩: 50
AI での応用シーン
LoRA ファインチューニング = 低階数の仮定
LoRA(Low-Rank Adaptation)の核心的な仮定:事前学習済み重みのファインチューニング更新量 \Delta W は低階数である。したがって、2つの小さな行列 A(d×r)と B(r×d)の積で完全な更新量 \Delta W = AB を近似できる。ここで r << d である。
例えば GPT-3 の 12288 次元の重み行列では、r を 8 または 16 にすれば十分です——階数が 12288 から 8 に下がり、パラメータ数は数千分の1に減少します。これが「階数」の概念を利用したパラメータ効率的なファインチューニングです。
特徴量の共線性検出
データ行列の階数が列数よりはるかに小さい → 特徴量間に高い共線性(多重共線性)が存在する → 線形回帰の X^TX が非正則または特異に近い → 正則化(Ridge/Lasso)または次元削減(PCA)が必要。実際の ML プロジェクトでは、これは特徴行列の条件数が大きすぎるという形で現れます。
レコメンドシステムにおける行列補完
ユーザー-アイテム評価行列は通常、一部の評価しかない(スパース)が、低階数構造から生成されていると仮定する(似たユーザーは似た好みを持つ)。行列補完(Matrix Completion)は階数の制約を利用し、既知の評価から欠損した評価を推定する。これは Netflix レコメンドコンテスト受賞アルゴリズムの中核となる考え方です。
その他の拡張