1.2. 解聯立方程組

Systems of Linear Equations

這一章要探討的是多元一次的聯立方程組. 我們依然利用大家熟悉的加減消去法 (或高斯消 去法) 來處理這類方程組. 不過我們不再只關心如何解特定的聯立方程組, 而會更著重於有 系統地探討一般聯立方程組解的情況的理論. 我們會用矩陣來表示一個聯立方程組, 不過這 裡的矩陣僅是為了方便起見而使用, 不會涉及矩陣的性質. 至於真正矩陣的運算及性質, 我 們留待下一章再詳述.

1.1. 一次聯立方程組及基本列運算

所謂 n 元一次的方程式就是有 n 個未知數 (variable) 的一次方程式 (linear equation). 例如 2x1+ 5x2− x3+ x4= 1 就是一個 4 元一次的聯立方程組 (當然也可看成是 5 元或更高元). n 元一次的方程式抽象的表示法就是

a1x2+··· + anxn= b,

其中這些 a₁, . . . , a_n 和 b 都是實數, 而這些 x_i 表未知數. 當我們有多個 n 元一次的方程式要 討論它們的共同解時, 就稱為解一次聯立方程組 (system of linear equations). 一般抽象的 表示法

a11x1 + a12x2 + ··· + a1nxn = b1

a₂₁x₁ + a₂₂x₂ + ··· + a2nx_n = b₂ ...

am1x1 + am2x2 + ··· + amnxn = bm

表示有 m 個 n 元一次方程式所成的方程組. 這裡 a₁₁x₁+ a₁₂x₂+··· + a1nx_n = b₁ 表示 第一個方程式, a₂₁x1+ a₂₂x2+··· + a2nxn= b₂ 表示第二個方程式, 而當 1≤ i ≤ m 時, 第 i 個 方 程 式 就 是 ai1x1+ ai2x2+··· + ainxn= bi, 所 以 最 後 一 個 (即 第 m 個) 方 程 式 就 是 a_m1x₁+ a_m2x₂+··· + amnx_n= b_m. 這裡 a_{i j}, b_i 皆為實數, 這些實數才是真正影響到聯立方程組 3

的因素, 所以我們也可特別把它們標明出來, 令

A =







a₁₁ a₁₂ ··· a1n

a₂₁ a₂₂ ··· a2n

... ... ... ... a_m1 a_m2 ··· amn





, x =





 x₁ x₂ ... x_n





, b =





 b₁ b₂ ... b_m





,

然後將上面的聯立方程組用 Ax = b 來表示. 矩陣 A 中的每一個 a_{i j} 稱為 A 的一個 entry.

因為 A 的每一個 entry 對應到聯立方程組中某個未知數的係數, 通常我們會稱矩陣 A 為 此聯立方程式的係數矩陣. 一個矩陣的一個橫排稱為一個 row (列), 而一個豎排稱為一個 column (行). 我們算 row 時是從上而下來數的, 也就是說最上面的一個 row 稱為第一個 row, 下一個 row 稱為第二個 row, 依此類推. 而算 column 是由左而右來數的, 也就是說最 左邊的一個 column 稱為第一個 column, 再往右一個 column 稱為第二個 column, 依此類 推. 大家可以看出矩陣 A 的 row 對應的就是此聯立方程組的方程式, 第一個 row 對應到第 一個方程式, 第二個 row 對應到第二個方程式, 依此類推. 而 column 對應到的是方程組的 未知數, 第一個 column 對應到的是未知數 x₁ 的係數, 第二個 column 對應到的是未知數 x₂ 的係數, 依此類推. 因為這裡是由 m 個方程式而且每個方程式有 n 個未知數所組成的聯立 方程組, 所以 A 共有 m 個 row 以及 n 個 column, 我們稱這樣的矩陣為 m× n matrix. 注意 這裡 x 表示是一個未知的向量而且我們將向量 x, b 都寫成 column vector (行向量) 是為了 配合將來矩陣乘法的寫法. 目前大家只要記住這也是聯立方程式的一種表示法即可.

例如解聯立方程組

3x1− 2x2+ 9x4 = 4

2x1+ 2x2− 4x4 = 6 (1.1) 我們就可以表成

[ 3 −2 0 9 2 2 0 −4

]



 x1

x₂ x₃ x4





 = [ 4

6 ]

注意這裡係數矩陣多出 [ 0

0 ]

這個 column 因為 x₃ 的係數為 0.

過去學習解一次聯立方程組的方法不外加減消去法或高斯消去法, 它們的原理都是一樣 的, 即利用以下三種基本方法:

(1) 變換式子的順序

(2) 將某一式乘上一非零實數

(3) 將某一式乘上一實數後加到另一式上

利用這三種基本方法將方程式的某些變數消去, 最後求出解來. 我們將介紹一個有系統的方 法來解聯立方程組, 把這三種基本方法看成是對矩陣的運算.

當我們要解

a11x1 + a12x2 + ··· + a1nxn = b1

a21x1 + a22x2 + ··· + a2nxn = b2

...

am1x1 + am2x2 + ··· + amnxn = bm

這一個聯立方程組時, 先寫出如下的 augmented matrix (增廣矩陣)







a11 a12 ··· a1n b1

a₂₁ a₂₂ ··· a2n b₂ ... ... . .. ... ... am1 am2 ··· amn bm







例如式子 (1.1) 中的聯立方程組所對應的 augmented matrix 為 [ 3 −2 0 9 4

2 2 0 −4 6 ]

換言之, 若我們要解 Ax = b 這一個聯立方程組, 就要寫下 [A| b] 這一個 matrix. 反之一個 augmented matrix [A| b] 就對應到一個聯立方程組 Ax = b.

接下來我們將如加減消去法的三種步驟, 利用所謂的 elementary row operation (基本列 運算) 處理這個 augmented matrix. 所謂 elementary row operation 即表示對矩陣進行如下 三種的列運算:

(1) 將矩陣的某兩個 row 對調

(2) 將矩陣的某一個 row 乘上一非零實數

(3) 將矩陣的某一個 row 乘上一實數後加到另一個 row.

為了方便起見, 我們將上面 (1), (2), (3) 三種 elementary row operation 分別稱為 type 1, type 2 以及 type 3 的 elementary row operation.

Example 1.1.1. 考慮矩陣

A =



1 2 3 4 2 1 −1 3 4 0 1 2



.

將 A 的第一、第二兩個 row 互換 (即做一個 type 1 的 elementary row operation), 可得

B =



2 1 −1 3 1 2 3 4 4 0 1 2



.

而將 B 的第二個 row 乘上 2 (即做一個 type 2 的 elementary row operation), 可得

C =



2 1 −1 3 2 4 6 8 4 0 1 2



.

而 將 C 的 第 三 個 row 乘 上 −3 加到第一個 row (即做一個 type 3 的 elementary row operation), 可得

D =



−10 1 −4 −3 2 4 6 8 4 0 1 2



.

注意, 若一個矩陣 P 經由一個 elementary row operation 轉換成矩陣 Q, 我們也可以對 Q 藉由同樣 type 的 elementary row operation 將之轉換回 P. 例如前面 Example 1.1.1 中, 我們可以將 B 的第一、第二兩個 row 互換而得到 A. 我們也可將 C 的第二個 row 乘上 1/2 而得到 B. 另外我們也可將 D 的第三個 row 乘上 3 加到第一個 row 而轉換回 C.

前面提過, 我們將聯立方乘式用矩陣 Ax = b 來表示, 是想利用矩陣的乘法來處理聯立方 程式. 事實上 elementary row operation 已可以看成是矩陣的乘法運算. 首先考慮 n× n 的 單位矩陣 I_n (即 I_n 的對角線位置皆為 1, 其他位置為 0). 若用 i-th row 和 j-th row 交換的 type 1 elementary row operation 將 In 轉換成矩陣 E₁, 可得

E₁=













 1

. ..

0 1

. ..

1 0

. ..

1













 .

同樣的若使用 type 2 elementary row operation 將 I_n 的 i-th row 乘上非零實數 r 轉換成矩 陣 E₂, 可得

E2=













 1

. ..

1 r

1 . ..

1













 .

最後若使用 type 3 elementary row operation 將 I_n 的 i-th row 乘上實數 r 加到 I_m 的 j-th row 所得的矩陣為 E₃, 可得

E3=













 1

. ..

1 . ..

r 1

. ..

1













 .

這樣的矩陣我們稱之為 elementary matrix. 而我們分別稱 E₁, E2, E3 為 type 1, type 2 以及 type 3 的 elementary matrix.

當 A 是一個 m× n matrix. 要對 A 做一個 type 1 的 elementary row operation 得到矩 陣 B, 我們可以先可慮 type 1 elementary matrix E₁, 其中 E1 是將 m× m 的 identity matrix Im 做同樣的 type 1 elementary row operation 所得的 elementary matrix. 將來當我們更深 入介紹矩陣乘法後可以驗證 B 就會是 E₁A. 同理對 A 做 type 2, type 3 的 elementary row operation 就是將 A 左邊乘上其所對應的 elementary matrix.

Example 1.1.2. 考慮 Example 1.1.1 的情形. A 是 3×4 matrix 且 B 是將 A 的第一個 row 和第二個 row 交換所得. 考慮將 I₃ 的第一個 row 和第二個 row 交換所得的 elementary matrix

E₁=



0 1 0 1 0 0 0 0 1



.

可得

E₁A =



0 1 0 1 0 0 0 0 1







1 2 3 4 2 1 −1 3 4 0 1 2



 =



2 1 −1 3 1 2 3 4 4 0 1 2



 = B.

同樣的 C 是由 B 的第二個 row 乘上 2 所得, 所以我們考慮將 I3 的第二個 row 乘上 2 所得 的 elementary matrix

E₂=



1 0 0 0 2 0 0 0 1



.

可得

E2B =



1 0 0 0 2 0 0 0 1







2 1 −1 3 1 2 3 4 4 0 1 2



 =



2 1 −1 3 2 4 6 8 4 0 1 2



 = C.

最後 D 是將 C 的第三個 row 乘上 −3 加到第一個 row, 所以我們考慮將 I3 的第三個 row 乘上−3 加到第一個 row 所得的 elementary matrix

E3=



1 0 −3 0 1 0 0 0 1



.

可得

E₃C =



1 0 −3 0 1 0 0 0 1







2 1 −1 3 2 4 6 8 4 0 1 2



 =



−10 1 −4 −3 2 4 6 8 4 0 1 2



 = D.

上面所提這種將一個矩陣做 elementary row operation 可視為將此矩陣左邊乘上其對應 的 elementary matrix 的看法, 將來對我們探討矩陣的性質是很有幫助的. 這種看法的互換, 也時能讓我們得到有趣的結果. 例如前面提過一個矩陣經由一個 elementary row operation 轉變成另一個矩陣後, 我們可以再用相同 type 的 elementary row operation 將其轉換回原 來的矩陣. 這個事實用 elementary matrices 的角度來看, 可以有以下的看法:

(1) 設 E₁ 是將 I_m 的 i-th row 和 j-th row 互換的 type 1 elementary matrix. 我們 將 E₁ 的 i-th row 和 j-th row 再互換就可轉換回 identity matrix I_m. 所以我們有 E₁E₁= I_m.

(2) 設 E₂ 是將 I_m的 i-th row 乘上非零實數 r 的 type 2 elementary matrix. 我們將 E₂ 的 i-th row 乘上 r⁻¹ 就可轉換回 I_m. 所以若令 E₂^′ 為將 I_m 的 i-th row 乘上 r⁻¹ 的 type 2 elementary matrix, 我們有 E₂^′E2= Im. 同理可得 E2E₂^′ = Im.

(3) 設 E₃是將 I_m的 i-th row 乘上實數 r 加到 j-th row 所得的矩陣的 type 3 elementary matrix. 我們將 E3 的 i-th row 乘上 −r 再加到 j-th row 就可轉換回 Im. 所以若令 E₃^′ 為將 I_m的 i-th row 乘上−r 的 type 3 elementary matrix, 我們有 E₃^′E₃= I_m. 同 理可得 E₃E₃^′ = I_m.

我們知道當一個 m× m 的矩陣 A 若可找到矩陣 B 使得 BA = AB = Im, 則稱 A 為一個 invertible matrix (可逆矩陣), 且 B 為 A 的 inverse (反矩陣). 從上面的探討我們有以下之結 論.

Proposition 1.1.3. 假設 E 是一個 elementary matrix, 則 E 為 invertible 且 E 的 inverse 是和 E 相同 type 的 elementary matrix.

在這一節的最後我們要說明一下, 既然有所謂的 elementary row operations 當然也會 有 elementary column operations. 它的概念只是將 row operation 對 row 的動作改為對 column 的動作. 我們將一個矩陣的 i-th column 和 j-th column 對調, 這一個動作及稱為 type 1 的 elementary column operation. 若將矩陣的 i-th column 上的數皆乘上非零實數 r, 則稱 type 2 的 elementary column operation. 至於 type 3 的 elementary column operation 就是把矩陣的 i-th column 乘上 r 後加到其 j-th column. 由於 column operations 並未用在 解聯立方乘組的問題, 所以這裡我們僅約略介紹其相關的概念, 不再像前面依樣詳述. 事實 上 column operations 的概念和 row operations 是相呼應的, 大家可以用前面探討的方式檢 驗.

將 identity matrix I_m做 elementary column operation 後會得到甚麼樣的矩陣呢? 結果 也會是前面提到的 elementary matrix (這也是 elementary matrix 沒有區分 row 和 column 的原因). 例如將 I_m 的 i-th column 和 j-th column 互換所得的矩陣就是將 I_m 的 i-th row 和 j-th row 互換的 type 1 elementary matrix. 而將 I_m 的 i-th column 乘上非零實數 r 的矩 陣, 就是將 I_m 的 i-th row 乘上 r 的 type 2 elementary matrix. 不過要注意, 將 I_m 的 i-th column 乘上實數 r 加到 j-column 所得的矩陣不是將 I_m 的 i-th row 乘上實數 r 加到 j-th row 所得的 elementary matrix, 而是將 Im 的 j-th row 乘上實數 r 加到 i-th row 所得的矩 陣的 type 3 elementary matrix. 這一部分請務必檢驗, 就能了解其中原因.

既 然 一 個 elementary matrix 同 時 可 對 應 到 elementary row operation 也 可 對 應 到 elementary column operation, 那要如何區分呢? 別忘了, 矩陣的乘法是沒有交換性的. 前面 我們知道, 當一個 elementary matrix E 乘在一個矩陣 A 的左邊時, 所得的矩陣 EA 會是對 A 做 E 所對應的 elementary row operation. 而若將 E 乘在矩陣 B 的右邊, 則所得的矩陣 BE 會是對 B 做 E 所對應的 elementary column operation. 這個部分, 等到以後介紹矩陣乘 法時, 我們會有更進一步的說明. 目前也請自行找例子驗證. 為了方便起見, 我們綜合成以 下的結論.

Theorem 1.1.4. 假設 A 是一個 m× n matrix. 若 E 是對 Im 做 elementary row operation 所得的 elementary matrix, 則 EA 就會是對 A 作相對應的 elementary row operation 所得 的矩陣. 若 E^′ 是對 I_n 做 elementary column operation 所得的 elementary matrix, 則 AE^′ 就會是對 A 作相對應的 elementary column operation 所得的矩陣.

這裡我們再說明一下, 當 A 是一個 m× n matrix, 因為 A 有 m 個 row, 所以乘在左邊 的 elementary matrix (對應到 elementary row operation) 必須是一個 m 階方陣. 同樣的, 因為 A 有 n 個 column, 所以乘在右邊的 elementary matrix (對應到 elementary column operation) 必須是一個 n 階方陣.

1.2. 解聯立方程組

大家應很容易看出一個 augmented matrix 經過上節所提的 elementary row operation 後所 得的 augmented matrix 所對應的聯立方程組就是大家熟悉的加減消去法的三種步驟所得 的方程組. 利用加減消去法最常遇到的問題就是 (尤其在處理未知數很多的方程組時), 常常 做了幾次後, 混亂到不知道那些式子是消過了以及那些式子還可以再進一步消減. 還有就是, 到底要將方程組的式子消到哪種地步時, 才可以解出方程組. 關於第一個問題, 我們可以理 解用矩陣的表示法就可以把這消去的過程記錄下來. 而接下來我們要探討的就是第二個問 題, 也就是將矩陣化成某種特定的形式就可以解出方程式來.

我們的目的就是要將 augmented matrix [A| b] 中的係數矩陣 A 利用這三種 elementary row operation 化成所謂的 echelon form.

我們先解釋一下何謂 echelon form. 首先我們將矩陣每一個 row 從左到右來看第一個不 為 0 的項稱為這個 row 的 leading entry. 因為係數矩陣中的每一個 entry 對應到聯立方程 組中某個 variable (未知數) 的係數, 所以 leading entry 若是 variable x_i 的係數, 我們就說 這個 leading entry 發生在 x_i 的位置. 要注意, 這也等同於這個 leading entry 是位於從左到 右算來第 i 個 column. 例如矩陣



 1 2 1 1 4 0 0 5 0 2 0 0 1 −1 1





第一個 row 的 leading entry 為 1 不過因為第一個 row 還有其他位置也是 1, 所以我們特 別要說明第一個 row 的 leading entry 發生在 x₁ 的位置, 而第二個 row 和第三個 row 的 leading entry 分別為 5 和 1 且發生的位置皆在 x3.

所謂一個矩陣是 echelon form 表示這個矩陣沒有 leading entry 的 row (即該 row 每一 項皆為 0) 必需在最下方, 而有 leading entry 的 row 其 leading entry 所在位置從上到下來 看是往右移的. 換言之, 若上一個 row 的 leading entry 所在的位置是 x_i, 而下一個 row 的 lading entry 是 xj, 則必需 i < j. 例如上一個矩陣並非 echelon form, 因為第 3 個 row 和第 2 個 row 的 leading entry 的位置皆為 x₃, 並未右移. 另外矩陣



 1 2 −1 0 0 0 0 0 0 0 3 0



,



 0 1 1 2 0 0 2 −1 3 0 0 0





都不是 echelon form, 因為前一個矩陣全為 0 的 row 並未置於最下方, 而後一個矩陣第 3 個 row 的 leading entry 在第 2 個 row 的 leading entry 的左方. 至於矩陣







0 2 1 1 4 0 0 3 0 2 0 0 0 −1 1 0 0 0 0 0







就是 echelon form. 當一個矩陣是 echelon form 時, 我們稱每一個 row 的 leading entry 為 pivot, 而 pivot 所在的位置我們稱為 pivot variable.

當我們將 augmented matrix [A| b] 利用 elementary row operation 將之化成 [A^′| b^′]且 A^′ 為 echelon form 後. A^′ 有兩種情形. 一種情形為 A^′ 每一個 row 皆不全為 0; 另一種為 A^′ 有些 row 全為 0. 我們分別依這兩種情形來討論聯立方程組的解.

(1) A^′ 每一個 row 皆不全為 0: 此時聯立方程組為 consistent, 即一定有解. 我們又可 細分成兩種情況.

(a) 第一種情況是每一個變數 (variable) x_i 皆為 pivot variable. 亦即 pivot 的個數 等於方程組未知數的個數 (即係數矩陣 A 的 column 個數). 例如



 2 1 1 4 0 3 1 2 0 0 −1 1





此時 echelon form 的 pivot variable 分別為 x₁, x₂, x₃ 恰就是聯立方程組的未知 數 x₁, x₂, x₃. 在這種情況之下此聯立方程組會有唯一解, 而且我們可利用從下 往上 “代回” 的方式求得解. 例如前面的 augmented matrix 所對應的聯立方 程組為

2x1 +x₂ +x₃ = 4 3x2 +x3 = 2

−x3 = 1

所以我們從最下面的 −x3= 1 可得 x₃=−1. 再將 x3=−1 代入其上一式 3x2+x3= 2, 得 3x2−1 = 2, 即 x2= 1. 最後將 x3=−1,x2= 1 代入 2x1+x2+x3= 4, 得 x₁= 2. 故得其解為 x₁= 2, x₂= 1, x₃=−1.

(b) 第二種情況是有些 variable xi 不是 pivot variable. 也就是方程組未知數的個 數多於 pivot 的個數. 例如



 2 1 3 1 4 0 3 3 1 2 0 0 0 −1 1





此時 echelon form 的 pivot variable 分別為 x₁, x₂, x₄ 少於立方程組的未知數 x1, x₂, x₃, x₄. 在此情形之下此聯立方程組會有無窮多解. 要得到這種方程組所 有的解, 首先我們要找到 free variables. 所謂 free variable 指的是方程組不 是 pivot variable 的 variable. 例如前面這個例子, x₃ 就是 free variable. Free variable 意指它可以任意取值, 所以找到 free variables 後你可以給它們任意 的參數, 然後再利用如上一情況中由下往上代回的方式找到聯立方程組所有的

解. 例如上一個 augmented matrix 所對應的聯立方程組為 2x₁ +x₂ +3x₃ +x₄ = 4

3x₂ +3x₃ +x₄ = 2

−x4 = 1

首先令 free variable x₃ 為一參數 t (表示它可以是任意實數 t ∈ R). 接著 我們從最下面的 −x4= 1 可得 x₄=−1. 再將 x3= t, x₄=−1 代入其上一式 3x₂+ 3x₃+ x₄= 2, 得 3x₂+ 3t− 1 = 2, 即 x2= 1− t. 最後將 x2= 1− t,x3= t, x4=−1 代入 2x1+ x2+ 3x3+ x4= 4, 得 x1= 2−t. 故得其解為 x1= 2−t,x2= 1−t,x3= t, x₄=−1, 其中 t 為任意實數. 因為 t 可以是任意實數, 由此我們也 知此方程組有無窮多解.

(2) A^′ 有些 row 全為 0: 此時聯立方程組可能無解, 我們分成兩種情況:

(a) A^′ 有一個 row 全為 0 但 b^′ 在該 row 不為 0. 例如 [A^′| b^′] =



 2 1 1 4 0 3 1 2 0 0 0 1





A^′ 最後一個 row 皆為 0, 但 b^′ 在該 row 的位置為 1. 在此情形之下聯立方程 組為 inconsistent, 即無解. 例如上一個 augmented matrix 其最後一個 row 所 對應的方程式為

0x₁+ 0x₂+ 0x₃= 1

但不管 x₁, x₂, x₃ 代任何的實數都無法滿足 0x₁+ 0x₂+ 0x₃= 1, 所以此方程組無 解.

(b) A^′ 全為 0 的 row, b^′ 在該 row 亦為 0. 例如



 2 1 4 0 3 2 0 0 0



,



 2 1 3 1 4 0 3 3 1 2 0 0 0 0 0





這兩個 augmented matrices 皆為這種情形. 在此情形之下聯立方程組一定 是 consistent. 事實上在此情形我們可以忽略全為 0 的 row, 例如前兩個 augmented matrices 所對應的方程組和

[ 2 1 4 0 3 2

] ,

[ 2 1 3 1 4 0 3 3 1 2

]

所對應的方程組一樣. 所以我們可依前面 (1) A^′ 每一個 row 皆不全為 0 的情 況找出聯立方程組所有的解.

———————————– 13 September, 2018