Matrix
Question 3. 7. 試找出那些同階的 elementary matrices 其相乘是不可以交換的
3.4. Matrix 和 System of Linear Equations 的連結
Example 3.3.3. 考慮 E1=
1 0 0 0 0 1 0 1 0
, E2=
10 0 0 0 1 0 0 0 1
, E3=
1 0 10 0 1 0 0 0 1
, A =
1 2 3
−1 −2 −3 11 22 33
E1可視為將 I3 的 2-nd row 和 3-rd row 交換, 也可視為將 I3 的 2-nd column 和 3-rd column 交換. 事實上我們有
E1A =
1 0 0 0 0 1 0 1 0
1 2 3
−1 −2 −3 11 22 33
=
1 2 3 11 22 33
−1 −2 −3
,
AE1=
1 2 3
−1 −2 −3 11 22 33
1 0 0 0 0 1 0 1 0
=
1 3 2
−1 −3 −2 11 33 22
.
E2 可視為將 I3 的 1-st row 乘以 10, 也可視為將 I3 的 1-st column 乘以 10. 事實上我們有 E2A =
10 0 0 0 1 0 0 0 1
1 2 3
−1 −2 −3 11 22 33
=
10 20 30
−1 −2 −3 11 22 33
,
AE2=
1 2 3
−1 −2 −3 11 22 33
10 0 0 0 1 0 0 0 1
=
10 2 3
−10 −2 −3 110 22 33
.
E3 可視為將 I3 的 3-rd row 乘以 10 加到 1-st row, 也可視為將 I3 的 1-st column 乘以 10 加 到 3-rd column. 事實上我們有
E3A =
1 0 10 0 1 0 0 0 1
1 2 3
−1 −2 −3 11 22 33
=
111 222 333
−1 −2 −3 11 22 33
,
AE1=
1 2 3
−1 −2 −3 11 22 33
1 0 10 0 1 0 0 0 1
=
1 2 13
−1 −2 −13 11 22 143
.
3.4. Matrix 和 System of Linear Equations 的連結
我們曾經利用 elementary row operations 將增廣矩陣化為 echelon form 來探討其所對應的 聯立方程組何時有解以及解是否唯一的問題. 現在我們又知道解一次聯立方程組的問題可 以看成矩陣乘法的問題, 這一節中我們就是要用這個觀點進一步探討聯立方程組何時有解以 及解是否唯一.
首先由於我們都要用矩陣的乘法來探討, 為了方便起見對於Fn 中的向量, 除非特別聲明 為 row vector, 我們將一律用 column vector 來表示. 也就是說將它視為一個 n× 1 matrix.
另外回顧, 給定一次聯立方程組
a11x1 + a12x2 + ··· + a1nxn = b1 a21x1 + a22x2 + ··· + a2nxn = b2
...
am1x1 + am2x2 + ··· + amnxn = bm
我們令
A =
a11 a12 ··· a1n
a21 a22 ··· a2n
... ... ... ... am1 am2 ··· amn
, x =
x1
x2
... xn
, b =
b1
b2
... bm
,
然後將上面的聯立方程組用 Ax = b 來表示. 現若 x1= c1, x2= c2, . . . , xn= cn, 為此聯立方程 組的一組解, 我們便會用
c =
c1
c2
... cn
,
來表示這一組解, 而說 x = c∈ Fn 為 Ax = b 的一組解. 依矩陣乘法定義這等同於說 A 這一 個 m× n matrix 乘以 c 這一個 n × 1 matrix 會等於 b 這一個 m × 1 matrix, 即 Ac = b.
3.4.1. 解的存在性. 我們再一次探討怎樣的 m× n matrix A 會滿足對任意的 b ∈ Fm, 聯立 方程組 Ax = b 皆有解.
首先假設 b∈ Fm 且 Ax = b 有解. 令 c =
c1
... cn
為一解, 此即表示 Ac = b. 利用矩陣乘法
定義得
c1a1+··· + cnan= b,
其中 a1, . . . , an 為 A 的 column vectors. 換句話說, b 可以寫成 A 的 column vectors 的 linear combination. 用符號來表示就是 b∈ Span(a1, . . . , an). 反之, 若 b∈ Span(a1, . . . , an), 表示存 在 c1, . . . , cn∈ F 使得 b = c1a1+··· + cnan. 故得 x1= c1, . . . , xn= cn 為 Ax = b 的一組解. 我 們證得了以下的性質.
Lemma 3.4.1. 假設 A∈ Mm×n(F) 且 b ∈ Fm. 則 Ax = b 有解若且唯若 b∈ Span(a1, . . . , an), 其中 a1, . . . , an 為 A 的 column vectors.
我們有興趣於知道怎樣的 m× n matrix A 會使得對任意的 b ∈ Fm, 聯立方程組 Ax = b 皆有解. 我們利用過去學過的幾種不同觀點, 發現有許多和它等價的條件. 首先觀察由於 A 的 column vectors 皆在 Fm 中, 所以自然有 Span(a1, . . . , an)⊆ Fm. 然而由 Lemma 3.4.1 知, 若對於任意 b∈ Fm皆會使得 Ax = b 有解, 表示對任意 b∈ Fm 皆有 b∈ Span(a1, . . . , an).
故知此時 Span(a1, . . . , an) =Fm. 反之, 若 Span(a1, . . . , an) =Fm, 表示對任意 b∈ Fm 皆有 b∈ Span(a1, . . . , an). 同樣由 Lemma 3.4.1 知此即對於任意 b∈ Fm 皆會使得 Ax = b 有解.
因此從這觀點來看, 對任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解和 Span(a1, . . . , an) =Fm是 等價的.
另外我們可以考慮聯立方程組 Ax = ei, 其中 e1, . . . , em∈ Fm 為 Fm 的 standard basis. 若 已知對任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解, 則對所有的 i = 1, . . . , m, 我們都可找到 ci∈ Fn 使得 x = ci 為聯立方程組 Ax = ei 的一組解. 也就是說對所有的 i = 1, . . . , m 皆有
3.4. Matrix 和 System of Linear Equations 的連結 67
Aci= ei. 現考慮 n× m matrix C, 其 i-th column 就是 ci. 此時依矩陣乘法的定義我們有 AC = A
c 1 c2 ··· cm
=
Ac1 Ac2 ··· Acm
=
e 1 e2 ··· em
= Im.
也就是說, 此時必存在 n× m matrix C 使得 AC = Im. 反之, 若 C 為 n× m matrix 滿足 AC = Im, 則對任意 b∈ Fm, 我們考慮 c = Cb∈ Fn, 皆會有
Ac = A(Cb) = (AC)b = Imb = b.
也就是說此時對任意 b∈ Fm, 我們都可以找到 c = Cb∈ Fn, 使得 x = c 是聯立方程組 Ax = b 的一組解. 因此從這觀點來看, 對任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解和存在 n× m matrix C 使得 AC = Im 是等價的.
我們曾探討過, 若 A 經由 elementary row operations 化為 echelon form 後, 其 pivot 的 個數恰等於 A 的 row 的個數 m, 表示 A 的 echelon form 沒有一個 row 全為 0, 故由 1.2 節 的討論 (即 Case (1)) 知此時任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解. 反之, 如果 pivot 的個數不等於 m, 表示 A 的 echelon form A′ 中最後一個 row 必全為 0. 此時我們一定可以 找到 b∈ Fm 使得增廣矩陣 [A|b] 化為 echelon form [A′|b′]後, b′ 最後一個 entry 不為 0 (即 Case 2(a)). 此時 Ax = b 會無解. 因此從這觀點來看, 對任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解和 A 的 echelon form 的 pivot 的個數為 m (即 rank(A) = m) 是等價的.
綜合上面這幾種看法, 我們證得了以下這個非常重要的定理.
Theorem 3.4.2. 假設 A∈ Mm×n(F), 令 a1, . . . , an∈ Fm 為 A 的 column vectors. 以下各敘 述是等價的.
(1) 對任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解.
(2) Span(a1, . . . , an) =Fm. (3) rank(A) = m.
(4) 存在 n× m matrix C 使得 AC = Im.
特別提醒一下, Theorem 3.4.2, 指的是對所有 b∈ Fm, 聯立方程組 Ax = b 皆有解的情況.
所以若僅知單一的 b 使得聯立方程組 Ax = b 有解, Theorem 3.4.2 並不適用 (不過 Lemma 3.4.1 是適用的).
我們曾提及, 當 A∈ Mm×n(F), 將 A 化為 echelon form 後其 pivot 的個數不可能多於 row 和 column 的個數. 也就是說 pivot 的個數應小於等於 min{m,n} (此指的是 m,n 中最小的 那一個). 所以若 pivot 的個數為 m, 則表示 n≥ m. 換言之, 若 n < m, 我們便知 pivot 的個 數不可能等於 m, 所以 Theorem 3.4.2 中的情況不可能發生. 我們有以下的結論.
Corollary 3.4.3. 假設 A∈ Mm×n(F), 其中 n < m, 則必存在 b ∈ Fm 使得聯立方程組 Ax = b 無解. 而且此時, 不會存在 n× m matrix C 使得 AC = Im.
Proof. 由前所述, 當 n < m 時 A 化為 echelon form 後, 其 pivot 的個數不可能為 m, 亦即 rank(A) < m. 故由 Theorem 3.4.2 知不可能對任意的 b∈ Fm, 聯立方程組 Ax = b 皆有解.
亦即存在 b∈ Fm 使得聯立方程組 Ax = b 無解. 同理, 由 Theorem 3.4.2 知不會存在 n× m
matrix C 使得 AC = Im.
Question 3.8. 假設 A∈ Mm×n(F), 其中 m < n. 是否存在 n × m matrix C 使得 CA = In? 前面提過 Theorem 3.4.2 是個很重要的定理, 它可以告訴我們一些解聯立方程組的訊息.
例如 Corollary 3.4.3 就是告訴我們當方程式的個數多於未知數的個數時, 會存在 b∈ Fm 使 得聯立方程組 Ax = b 無解.
3.4.2. 解的唯一性. 所謂聯立方程組解的唯一性, 指的是假設聯立方程組有解時, 探討其解 是否唯一. 所以唯一性並不涉及解是否存在的問題.
給定 A∈ Mm×n(F) 以及 b ∈ Fm. 如果 Ax = b 有解, 則 Ax = b 的解和 Ax = 0 的解 (這裡 0 是Fm 的零向量) 息息相關, 我們有以下之定理.
Lemma 3.4.4. 給定 A∈ Mm×n(F) 以及 b ∈ Fm 且假設 x = c∈ Fn 是聯立方程組 Ax = b 的 一組解. 則
(1) 若 x = c′∈ Fn 是 Ax = b 的一組解, 則 x = c′− c 為 Ax = 0 的一組解.
(2) 若 x = u∈ Fn 為 Ax = 0 的一組解, 則 x = c + u 是 Ax = b 的一組解.
Proof. (1) 假設 x = c′∈ Fn 是 Ax = b 的一組解, 意即 Ac′= b. 由已知 Ac = b 得 A(c′− c) = Ac′− Ac = b − b = 0.
因此 x = c′− c 會是 Ax = 0 的一組解.
(2) 若 x = u∈ Fn 為 Ax = 0 的一組解, 則
A(c + u) = Ac + Au = b + 0 = b.
得證 x = c + u 為聯立方程組 Ax = b 的一組解.
Lemma 3.4.4 告訴我們若已知 x = c 為 Ax = b 的一組解, 且知道 Ax = 0 所有的解, 就 能利用 c 以及 Ax = 0 所有的解得到 Ax = b 所有的解. 所以了解 Ax = 0 所有的解是很 重要的課題 (以後我們會深入探討). 回顧一下 Ax = 0 這樣的 linear system, 我們稱之為 homogeneous linear system. Homogeneous linear system 一定有解, 事實上當 A∈ Mm×n(F) 時, x1= 0, . . . , xn= 0 就是 Ax = 0 的一組解. 這組解 x = 0∈ Fn 因為不需任何計算就能得到, 我們稱之為 Ax = 0 的 trivial solution. 注意 trivial solution x = 0 這裡的 0 是Fn 的零向量, 而 Ax = 0 這裡的 0 是 Fm 的零向量, 所以雖然我們用同樣的符號表示, 但當 n̸= m 時它們 是不同的, 大家需區分清楚. 當一個 homogeneous linear system Ax = 0 除了 trivial solution 外還有其他的 solution (即解不唯一), 我們稱這些不為 0 的 solution 為 nontrivial solution.
從 Lemma 3.4.4 我們知, 若 Ax = 0 沒有 nontrivial solution (即解唯一), 則對於 b∈ Fm, 若 Ax = b 有解, 其解必唯一. 由這觀點, 我們可以得到以下關於聯立方程組解的唯一性的重 要定理.
Theorem 3.4.5. 假設 A∈ Mm×n(F). 以下各敘述是等價的.
3.4. Matrix 和 System of Linear Equations 的連結 69
(1) 若 b∈ Fm 且聯立方程組 Ax = b 有解, 則解唯一.
(2) Homogeneous system Ax = 0 沒有 nontrivial solution.
(3) rank(A) = n.
(4) 存在 n× m matrix B 使得 BA = In.
Proof. (1)⇒ (2): 利用反證法, 假設 x = u 為 Ax = 0 的一組 nontrivial solution 而 x = c 為 Ax = b 的一組解, 則由 Lemma 3.4.4 知 x = c + u̸= c 會是 Ax = b 的另一組解. 此與 Ax = b 的解唯一相矛盾, 故知 Ax = 0 沒有 nontrivial solution.
(2)⇒ (3): Ax = 0 沒有 nontrivial solution, 表示 A 化成 echelon form 後沒有 free variables. 也就是說所有的 variables 皆為 pivot variables. 因此 pivot 的個數就是未知數的 個數 n, 故得 rank(A) = n.
(3)⇒ (4): 假設 rank(A) = n, 即 A 化為 echelon form 後, 其 pivot 的個數為 n. 考慮將 A 化為 reduced echelon form A′. 此時 A′ 由於有 n 個 pivot, 所以每一個 pivot 必分別在 A′ 前面 n 個 row 上. 而又 A′ 為 m× n matrix, 有 n 個 column. 所以 A′ 每一個 pivot 必落在 (i, i)-th entry, 其中 1≤ i ≤ n. 又因為 A′ 為 reduced echelon form, 此 n 個 pivots 的值皆為 1. 然而 reduced echelon form 每一個 pivot 所在的 column, 除了 pivot 所在位置外, 其他位 置應為 0, 所以我們知 A′ 必為以下的 matrix A′=
[ In
0 ]
, 即 A′ 的前 n 個 row 就是 In. 由 Lemma 3.3.1, 我們知存在 m× m matrix E 使得 EA = A′. 現若令 E 的 i-th row 為 iε, 由 row 的觀點看矩陣乘法 (參見圖示 (3.15)), 我們有
EA =
— 1ε — ...
— nε — ...
— mε —
A =
— 1ε A — ...
— nε A — ...
— mε A —
=
1 ··· 0 ... . .. ...
0 ··· 1
0
.
現若令 B 為 n× m matrix, 對於 i = 1,...,n, 其 i-th row 為 iε (即 B 為截取 E 的前 n 個 row 的 n× m matrix), 則由前述的矩陣乘法性質知
BA =
— 1ε — ...
— nε —
A =
— 1ε A — ...
— nε A —
=
1 ··· 0 ... . .. ...
0 ··· 1
= In.
(4)⇒ (1): 我們利用反證法假設 c ̸= c′∈ Fn 且 x = c, x = c′ 皆為 Ax = b 的一組解. 亦即, Ac = b 且 Ac′= b. 現已知存在 B∈ Mn×m(F) 使得 BA = In, 故得 Bb = B(Ac) = (BA)c = c 且 Bb = B(Ac′) = (BA)c′= c′. 此結果 c = Bb = c′ 與當初假設 c̸= c′ 相矛盾, 故得證若 Ax = b
有解, 則解必唯一.
再次提醒, Theorem 3.4.5, 並不能知道聯立方程組 Ax = b 是否有解. 它告訴我們若已知 Ax = 0 有 nontrivial solution, 則 Ax = b 要不然無解, 要不然會有無窮多解.
Question 3.9. 假設 A∈ Mm×n(F), b,b′∈ Fm. 若已知 Ax = b, Ax = b′ 皆有解, 且 Ax = b 的 解唯一. 是否 Ax = b′ 的也會唯一?
前面已提過, 當 A∈ Mm×n(F), 將 A 化為 echelon form 後其 pivot 的個數應小於等於 min{m,n}. 所以若 pivot 的個數為 n, 則表示 m ≥ n. 換言之, 若 m < n, 我們便知 pivot 的個 數不可能等於 n, 所以 Theorem 3.4.5 中的情況不可能發生. 我們有以下的結論.
Corollary 3.4.6. 假設 A∈ Mm×n(F), 其中 m < n. 若 b ∈ Fm 且聯立方程組 Ax = b 有解, 則解不唯一 (即必有兩個以上的解). 而且此時, 不會存在 n× m matrix B 使得 BA = In. Proof. 由前所述, 當 m < n 時 A 化為 echelon form 後, 其 pivot 的個數不可能為 n. 故由 Theorem 3.4.5 知 homogeneous linear system Ax = 0 有 nontrivial solution. 亦即在 Fn 存 在非零向量 c 使得 x = c 為 Ax = 0 之一組解. 所以 Lemma 3.4.4 告訴我們, 若 Ax = b 有解, 則解不唯一.
另一方面 Theorem 3.4.5 也告訴我們若 pivot 的個數不是 n, 則不會存在 n× m matrix B
使得 BA = In.
Theorem 3.4.5 也和 Theorem 3.4.2 一樣是很重要的定理, 它可以告訴我們一些解聯立 方程組的訊息. 例如 Corollary 3.4.6 就是告訴我們當方程式的個數少於未知數的個數時, 聯 立方程組 Ax = b 不可能有唯一解.