Matrix 和 System of Linear Equations 的連結

Example 3.3.3. 考慮 E₁=



 1 0 0 0 0 1 0 1 0



, E₂=



 10 0 0 0 1 0 0 0 1



, E₃=



 1 0 10 0 1 0 0 0 1



, A =



 1 2 3

−1 −2 −3 11 22 33





E1可視為將 I₃ 的 2-nd row 和 3-rd row 交換, 也可視為將 I3 的 2-nd column 和 3-rd column 交換. 事實上我們有

E₁A =



 1 0 0 0 0 1 0 1 0







 1 2 3

−1 −2 −3 11 22 33



 =



 1 2 3 11 22 33

−1 −2 −3



,

AE₁=



 1 2 3

−1 −2 −3 11 22 33







 1 0 0 0 0 1 0 1 0



 =



 1 3 2

−1 −3 −2 11 33 22



.

E2 可視為將 I₃ 的 1-st row 乘以 10, 也可視為將 I3 的 1-st column 乘以 10. 事實上我們有 E2A =



 10 0 0 0 1 0 0 0 1







 1 2 3

−1 −2 −3 11 22 33



 =



 10 20 30

−1 −2 −3 11 22 33



,

AE2=



 1 2 3

−1 −2 −3 11 22 33







 10 0 0 0 1 0 0 0 1



 =



 10 2 3

−10 −2 −3 110 22 33



.

E₃ 可視為將 I₃ 的 3-rd row 乘以 10 加到 1-st row, 也可視為將 I₃ 的 1-st column 乘以 10 加 到 3-rd column. 事實上我們有

E₃A =



 1 0 10 0 1 0 0 0 1







 1 2 3

−1 −2 −3 11 22 33



 =



 111 222 333

−1 −2 −3 11 22 33



,

AE₁=



 1 2 3

−1 −2 −3 11 22 33







 1 0 10 0 1 0 0 0 1



 =



 1 2 13

−1 −2 −13 11 22 143



.

3.4. Matrix 和 System of Linear Equations 的連結

我們曾經利用 elementary row operations 將增廣矩陣化為 echelon form 來探討其所對應的 聯立方程組何時有解以及解是否唯一的問題. 現在我們又知道解一次聯立方程組的問題可 以看成矩陣乘法的問題, 這一節中我們就是要用這個觀點進一步探討聯立方程組何時有解以 及解是否唯一.

首先由於我們都要用矩陣的乘法來探討, 為了方便起見對於Fⁿ 中的向量, 除非特別聲明 為 row vector, 我們將一律用 column vector 來表示. 也就是說將它視為一個 n× 1 matrix.

另外回顧, 給定一次聯立方程組

a₁₁x₁ + a₁₂x₂ + ··· + a1nx_n = b₁ a₂₁x₁ + a₂₂x₂ + ··· + a2nx_n = b₂

...

a_m1x₁ + a_m2x₂ + ··· + amnx_n = b_m

我們令

A =







a11 a12 ··· a1n

a21 a22 ··· a2n

... ... ... ... am1 am2 ··· amn





, x =





 x1

x2

... xn





, b =





 b1

b2

... bm





,

然後將上面的聯立方程組用 Ax = b 來表示. 現若 x₁= c₁, x₂= c₂, . . . , x_n= c_n, 為此聯立方程 組的一組解, 我們便會用

c =





 c1

c2

... cn





,

來表示這一組解, 而說 x = c∈ Fⁿ 為 Ax = b 的一組解. 依矩陣乘法定義這等同於說 A 這一 個 m× n matrix 乘以 c 這一個 n × 1 matrix 會等於 b 這一個 m × 1 matrix, 即 Ac = b.

3.4.1. 解的存在性. 我們再一次探討怎樣的 m× n matrix A 會滿足對任意的 b ∈ F^m, 聯立 方程組 Ax = b 皆有解.

首先假設 b∈ F^m 且 Ax = b 有解. 令 c =



 c₁

... c_n



 為一解, 此即表示 Ac = b. 利用矩陣乘法

定義得

c₁a₁+··· + cna_n= b,

其中 a₁, . . . , an 為 A 的 column vectors. 換句話說, b 可以寫成 A 的 column vectors 的 linear combination. 用符號來表示就是 b∈ Span(a1, . . . , a_n). 反之, 若 b∈ Span(a1, . . . , a_n), 表示存 在 c₁, . . . , cn∈ F 使得 b = c1a₁+··· + cna_n. 故得 x1= c1, . . . , xn= cn 為 Ax = b 的一組解. 我 們證得了以下的性質.

Lemma 3.4.1. 假設 A∈ Mm×n(F) 且 b ∈ F^m. 則 Ax = b 有解若且唯若 b∈ Span(a1, . . . , an), 其中 a₁, . . . , a_n 為 A 的 column vectors.

我們有興趣於知道怎樣的 m× n matrix A 會使得對任意的 b ∈ F^m, 聯立方程組 Ax = b 皆有解. 我們利用過去學過的幾種不同觀點, 發現有許多和它等價的條件. 首先觀察由於 A 的 column vectors 皆在 F^m 中, 所以自然有 Span(a1, . . . , a_n)⊆ F^m. 然而由 Lemma 3.4.1 知, 若對於任意 b∈ F^m皆會使得 Ax = b 有解, 表示對任意 b∈ F^m 皆有 b∈ Span(a1, . . . , an).

故知此時 Span(a₁, . . . , a_n) =F^m. 反之, 若 Span(a₁, . . . , a_n) =F^m, 表示對任意 b∈ F^m 皆有 b∈ Span(a1, . . . , an). 同樣由 Lemma 3.4.1 知此即對於任意 b∈ F^m 皆會使得 Ax = b 有解.

因此從這觀點來看, 對任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解和 Span(a₁, . . . , a_n) =F^m是 等價的.

另外我們可以考慮聯立方程組 Ax = e_i, 其中 e₁, . . . , e_m∈ F^m 為 F^m 的 standard basis. 若 已知對任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解, 則對所有的 i = 1, . . . , m, 我們都可找到 c_i∈ Fⁿ 使得 x = c_i 為聯立方程組 Ax = e_i 的一組解. 也就是說對所有的 i = 1, . . . , m 皆有

3.4. Matrix 和 System of Linear Equations 的連結 67

Ac_i= e_i. 現考慮 n× m matrix C, 其 i-th column 就是 ci. 此時依矩陣乘法的定義我們有 AC = A



   c ₁ c₂ ··· cm



 =



    Ac₁ Ac₂ ··· Acm



 =



   e ₁ e₂ ··· em



 = I_m.

也就是說, 此時必存在 n× m matrix C 使得 AC = Im. 反之, 若 C 為 n× m matrix 滿足 AC = Im, 則對任意 b∈ F^m, 我們考慮 c = Cb∈ Fⁿ, 皆會有

Ac = A(Cb) = (AC)b = I_mb = b.

也就是說此時對任意 b∈ F^m, 我們都可以找到 c = Cb∈ Fⁿ, 使得 x = c 是聯立方程組 Ax = b 的一組解. 因此從這觀點來看, 對任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解和存在 n× m matrix C 使得 AC = Im 是等價的.

我們曾探討過, 若 A 經由 elementary row operations 化為 echelon form 後, 其 pivot 的 個數恰等於 A 的 row 的個數 m, 表示 A 的 echelon form 沒有一個 row 全為 0, 故由 1.2 節 的討論 (即 Case (1)) 知此時任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解. 反之, 如果 pivot 的個數不等於 m, 表示 A 的 echelon form A^′ 中最後一個 row 必全為 0. 此時我們一定可以 找到 b∈ F^m 使得增廣矩陣 [A|b] 化為 echelon form [A^′|b^′]後, b^′ 最後一個 entry 不為 0 (即 Case 2(a)). 此時 Ax = b 會無解. 因此從這觀點來看, 對任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解和 A 的 echelon form 的 pivot 的個數為 m (即 rank(A) = m) 是等價的.

綜合上面這幾種看法, 我們證得了以下這個非常重要的定理.

Theorem 3.4.2. 假設 A∈ Mm×n(F), 令 a1, . . . , an∈ F^m 為 A 的 column vectors. 以下各敘 述是等價的.

(1) 對任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解.

(2) Span(a1, . . . , a_n) =F^m. (3) rank(A) = m.

(4) 存在 n× m matrix C 使得 AC = Im.

特別提醒一下, Theorem 3.4.2, 指的是對所有 b∈ F^m, 聯立方程組 Ax = b 皆有解的情況.

所以若僅知單一的 b 使得聯立方程組 Ax = b 有解, Theorem 3.4.2 並不適用 (不過 Lemma 3.4.1 是適用的).

我們曾提及, 當 A∈ Mm×n(F), 將 A 化為 echelon form 後其 pivot 的個數不可能多於 row 和 column 的個數. 也就是說 pivot 的個數應小於等於 min{m,n} (此指的是 m,n 中最小的 那一個). 所以若 pivot 的個數為 m, 則表示 n≥ m. 換言之, 若 n < m, 我們便知 pivot 的個 數不可能等於 m, 所以 Theorem 3.4.2 中的情況不可能發生. 我們有以下的結論.

Corollary 3.4.3. 假設 A∈ Mm×n(F), 其中 n < m, 則必存在 b ∈ F^m 使得聯立方程組 Ax = b 無解. 而且此時, 不會存在 n× m matrix C 使得 AC = Im.

Proof. 由前所述, 當 n < m 時 A 化為 echelon form 後, 其 pivot 的個數不可能為 m, 亦即 rank(A) < m. 故由 Theorem 3.4.2 知不可能對任意的 b∈ F^m, 聯立方程組 Ax = b 皆有解.

亦即存在 b∈ F^m 使得聯立方程組 Ax = b 無解. 同理, 由 Theorem 3.4.2 知不會存在 n× m

matrix C 使得 AC = Im. 

Question 3.8. 假設 A∈ Mm×n(F), 其中 m < n. 是否存在 n × m matrix C 使得 CA = In? 前面提過 Theorem 3.4.2 是個很重要的定理, 它可以告訴我們一些解聯立方程組的訊息.

例如 Corollary 3.4.3 就是告訴我們當方程式的個數多於未知數的個數時, 會存在 b∈ F^m 使 得聯立方程組 Ax = b 無解.

3.4.2. 解的唯一性. 所謂聯立方程組解的唯一性, 指的是假設聯立方程組有解時, 探討其解 是否唯一. 所以唯一性並不涉及解是否存在的問題.

給定 A∈ Mm×n(F) 以及 b ∈ F^m. 如果 Ax = b 有解, 則 Ax = b 的解和 Ax = 0 的解 (這裡 0 是F^m 的零向量) 息息相關, 我們有以下之定理.

Lemma 3.4.4. 給定 A∈ Mm×n(F) 以及 b ∈ F^m 且假設 x = c∈ Fⁿ 是聯立方程組 Ax = b 的 一組解. 則

(1) 若 x = c^′∈ Fⁿ 是 Ax = b 的一組解, 則 x = c^′− c 為 Ax = 0 的一組解.

(2) 若 x = u∈ Fⁿ 為 Ax = 0 的一組解, 則 x = c + u 是 Ax = b 的一組解.

Proof. (1) 假設 x = c^′∈ Fⁿ 是 Ax = b 的一組解, 意即 Ac^′= b. 由已知 Ac = b 得 A(c^′− c) = Ac^′− Ac = b − b = 0.

因此 x = c^′− c 會是 Ax = 0 的一組解.

(2) 若 x = u∈ Fⁿ 為 Ax = 0 的一組解, 則

A(c + u) = Ac + Au = b + 0 = b.

得證 x = c + u 為聯立方程組 Ax = b 的一組解. 

Lemma 3.4.4 告訴我們若已知 x = c 為 Ax = b 的一組解, 且知道 Ax = 0 所有的解, 就 能利用 c 以及 Ax = 0 所有的解得到 Ax = b 所有的解. 所以了解 Ax = 0 所有的解是很 重要的課題 (以後我們會深入探討). 回顧一下 Ax = 0 這樣的 linear system, 我們稱之為 homogeneous linear system. Homogeneous linear system 一定有解, 事實上當 A∈ Mm×n(F) 時, x₁= 0, . . . , x_n= 0 就是 Ax = 0 的一組解. 這組解 x = 0∈ Fⁿ 因為不需任何計算就能得到, 我們稱之為 Ax = 0 的 trivial solution. 注意 trivial solution x = 0 這裡的 0 是Fⁿ 的零向量, 而 Ax = 0 這裡的 0 是 F^m 的零向量, 所以雖然我們用同樣的符號表示, 但當 n̸= m 時它們 是不同的, 大家需區分清楚. 當一個 homogeneous linear system Ax = 0 除了 trivial solution 外還有其他的 solution (即解不唯一), 我們稱這些不為 0 的 solution 為 nontrivial solution.

從 Lemma 3.4.4 我們知, 若 Ax = 0 沒有 nontrivial solution (即解唯一), 則對於 b∈ F^m, 若 Ax = b 有解, 其解必唯一. 由這觀點, 我們可以得到以下關於聯立方程組解的唯一性的重 要定理.

Theorem 3.4.5. 假設 A∈ Mm×n(F). 以下各敘述是等價的.

3.4. Matrix 和 System of Linear Equations 的連結 69

(1) 若 b∈ F^m 且聯立方程組 Ax = b 有解, 則解唯一.

(2) Homogeneous system Ax = 0 沒有 nontrivial solution.

(3) rank(A) = n.

(4) 存在 n× m matrix B 使得 BA = In.

Proof. (1)⇒ (2): 利用反證法, 假設 x = u 為 Ax = 0 的一組 nontrivial solution 而 x = c 為 Ax = b 的一組解, 則由 Lemma 3.4.4 知 x = c + u̸= c 會是 Ax = b 的另一組解. 此與 Ax = b 的解唯一相矛盾, 故知 Ax = 0 沒有 nontrivial solution.

(2)⇒ (3): Ax = 0 沒有 nontrivial solution, 表示 A 化成 echelon form 後沒有 free variables. 也就是說所有的 variables 皆為 pivot variables. 因此 pivot 的個數就是未知數的 個數 n, 故得 rank(A) = n.

(3)⇒ (4): 假設 rank(A) = n, 即 A 化為 echelon form 後, 其 pivot 的個數為 n. 考慮將 A 化為 reduced echelon form A^′. 此時 A^′ 由於有 n 個 pivot, 所以每一個 pivot 必分別在 A^′ 前面 n 個 row 上. 而又 A^′ 為 m× n matrix, 有 n 個 column. 所以 A^′ 每一個 pivot 必落在 (i, i)-th entry, 其中 1≤ i ≤ n. 又因為 A^′ 為 reduced echelon form, 此 n 個 pivots 的值皆為 1. 然而 reduced echelon form 每一個 pivot 所在的 column, 除了 pivot 所在位置外, 其他位 置應為 0, 所以我們知 A^′ 必為以下的 matrix A^′=

[ In

0 ]

, 即 A^′ 的前 n 個 row 就是 I_n. 由 Lemma 3.3.1, 我們知存在 m× m matrix E 使得 EA = A^′. 現若令 E 的 i-th row 為 iε, 由 row 的觀點看矩陣乘法 (參見圖示 (3.15)), 我們有

EA =











— ₁ε — ...

— _nε — ...

— _mε —









 A =











— ₁ε A — ...

— _nε A — ...

— _mε A —











=











1 ··· 0 ... . .. ...

0 ··· 1

0









 .

現若令 B 為 n× m matrix, 對於 i = 1,...,n, 其 i-th row 為 iε (即 B 為截取 E 的前 n 個 row 的 n× m matrix), 則由前述的矩陣乘法性質知

BA =





— ₁ε — ...

— _nε —



A =





— ₁ε A — ...

— _nε A —



 =







1 ··· 0 ... . .. ...

0 ··· 1





 = Iⁿ.

(4)⇒ (1): 我們利用反證法假設 c ̸= c^′∈ Fⁿ 且 x = c, x = c^′ 皆為 Ax = b 的一組解. 亦即, Ac = b 且 Ac^′= b. 現已知存在 B∈ Mn×m(F) 使得 BA = In, 故得 Bb = B(Ac) = (BA)c = c 且 Bb = B(Ac^′) = (BA)c^′= c^′. 此結果 c = Bb = c^′ 與當初假設 c̸= c^′ 相矛盾, 故得證若 Ax = b

有解, 則解必唯一. 

再次提醒, Theorem 3.4.5, 並不能知道聯立方程組 Ax = b 是否有解. 它告訴我們若已知 Ax = 0 有 nontrivial solution, 則 Ax = b 要不然無解, 要不然會有無窮多解.

Question 3.9. 假設 A∈ Mm×n(F), b,b^′∈ F^m. 若已知 Ax = b, Ax = b^′ 皆有解, 且 Ax = b 的 解唯一. 是否 Ax = b^′ 的也會唯一?

前面已提過, 當 A∈ Mm×n(F), 將 A 化為 echelon form 後其 pivot 的個數應小於等於 min{m,n}. 所以若 pivot 的個數為 n, 則表示 m ≥ n. 換言之, 若 m < n, 我們便知 pivot 的個 數不可能等於 n, 所以 Theorem 3.4.5 中的情況不可能發生. 我們有以下的結論.

Corollary 3.4.6. 假設 A∈ Mm×n(F), 其中 m < n. 若 b ∈ F^m 且聯立方程組 Ax = b 有解, 則解不唯一 (即必有兩個以上的解). 而且此時, 不會存在 n× m matrix B 使得 BA = In. Proof. 由前所述, 當 m < n 時 A 化為 echelon form 後, 其 pivot 的個數不可能為 n. 故由 Theorem 3.4.5 知 homogeneous linear system Ax = 0 有 nontrivial solution. 亦即在 Fⁿ 存 在非零向量 c 使得 x = c 為 Ax = 0 之一組解. 所以 Lemma 3.4.4 告訴我們, 若 Ax = b 有解, 則解不唯一.

另一方面 Theorem 3.4.5 也告訴我們若 pivot 的個數不是 n, 則不會存在 n× m matrix B

使得 BA = I_n. 

Theorem 3.4.5 也和 Theorem 3.4.2 一樣是很重要的定理, 它可以告訴我們一些解聯立 方程組的訊息. 例如 Corollary 3.4.6 就是告訴我們當方程式的個數少於未知數的個數時, 聯 立方程組 Ax = b 不可能有唯一解.

在文檔中 1.2. 解聯立方程組 (頁 65-70)