Systems of Linear Equations
這一章要探討的是多元一次的聯立方程組. 我們依然利用大家熟悉的加減消去法 (或高 斯消去法) 來處理這類方程組. 不過我們不再只關心如何解特定的聯立方程組, 而會更著重 於有系統地探討一般聯立方程組解的情況的理論. 我們會用矩陣來表示一個聯立方程組, 不 過這裡的矩陣僅是為了方便起見而使用, 不會涉及矩陣的性質. 至於真正矩陣的運算及性質, 我們留待下一章再詳述.
2.1. 解一次聯立方程組
所謂 n 元一次的方程式就是有 n 個未知數 (variable) 的一次方程式 (linear equation).
例如 2x1+ 5x2− x3+ x4= 1 就是一個 4 元一次的聯立方程組 (當然也可看成是 5 元或更高 元). n 元一次的方程式抽象的表示法就是
a1x2+··· + anxn= b,
其中這些 a1, . . . , an 和 b 都是實數, 而這些 xi 表未知數. 當我們有多個 n 元一次的方程式要 討論它們的共同解時, 就稱為解一次聯立方程組 (system of linear equations). 一般抽象的 表示法
a11x1 + a12x2 + ··· + a1nxn = b1
a21x1 + a22x2 + ··· + a2nxn = b2 ...
am1x1 + am2x2 + ··· + amnxn = bm
表示有 m 個 n 元一次方程式所成的方程組. 這裡 a11x1+ a12x2+··· + a1nxn = b1 表示 第一個方程式, a21x1+ a22x2+··· + a2nxn= b2 表示第二個方程式, 而當 1≤ i ≤ m 時, 第 i 個 方 程 式 就 是 ai1x1+ ai2x2+··· + ainxn= bi, 所 以 最 後 一 個 (即 第 m 個) 方 程 式 就 是 am1x1+ am2x2+··· + amnxn= bm. 這裡 ai j, bi 皆為實數, 這些實數才是真正影響到聯立方程組 23
的因素, 所以我們也可特別把它們標明出來, 令
A =
a11 a12 ··· a1n
a21 a22 ··· a2n
... ... ... ... am1 am2 ··· amn
, x =
x1 x2
... xn
, b =
b1 b2
... bm
,
然後將上面的聯立方程組用 Ax = b 來表示. 矩陣 A 中的每一個 ai j 稱為 A 的一個 entry.
因為 A 的每一個 entry 對應到聯立方程組中某個未知數的係數, 通常我們會稱矩陣 A 為 此聯立方程式的係數矩陣. 一個矩陣的一個橫排稱為一個 row (列), 而一個豎排稱為一個 column (行). 我們算 row 時是從上而下來數的, 也就是說最上面的一個 row 稱為第一個 row, 下一個 row 稱為第二個 row, 依此類推. 而算 column 是由左而右來數的, 也就是說最 左邊的一個 column 稱為第一個 column, 再往右一個 column 稱為第二個 column, 依此類 推. 大家可以看出矩陣 A 的 row 對應的就是此聯立方程組的方程式, 第一個 row 對應到第 一個方程式, 第二個 row 對應到第二個方程式, 依此類推. 而 column 對應到的是方程組的 未知數, 第一個 column 對應到的是未知數 x1 的係數, 第二個 column 對應到的是未知數 x2 的係數, 依此類推. 因為這裡是由 m 個方程式而且每個方程式有 n 個未知數所組成的聯立 方程組, 所以 A 共有 m 個 row 以及 n 個 column, 我們稱這樣的矩陣為 m× n matrix. 注意 這裡 x 表示是一個未知的向量而且我們將向量 x, b 都寫成 column vector (行向量) 是為了 配合將來矩陣乘法的寫法. 目前大家只要記住這也是聯立方程式的一種表示法即可.
例如解聯立方程組
3x1− 2x2+ 9x4 = 4
2x1+ 2x2− 4x4 = 6 (2.1) 我們就可以表成
[ 3 −2 0 9 2 2 0 −4
]
x1 x2
x3
x4
= [ 4
6 ]
注意這裡係數矩陣多出 [ 0
0 ]
這個 column 因為 x3 的係數為 0.
為何要探討解多元一次聯立方程組呢? 事實上解多元一次聯立方程式和線性代數的許多 問題息息相關. 例如在 1.3 節中我們提到 span 的概念. 若 u = (1,−1,2,2),v = (3,1,−1,2) 我 們要問 w = (1, 0, 1, 0) 是否在 Span(u, v) 中就等同於問是否存在 c1, c2∈ R 使得 w = c1u + c2v.
利用向量相等的定義, 這表示 (1, 0, 1, 0) = c1(1,−1,2,2) + c2(3, 1,−1,2). 亦即要解 x1 + 3 x2 = 1
−x1 + x2 = 0 2 x1 − x2 = 1 2 x1 + 2 x2 = 0
這一聯立方程組. 又如要問哪些向量 x = (x1, x2, x3, x4)會同時滿足 u· x = 0 且 v · x = 0, 就等 同於要解聯立方程組
x1 − x2 + 2 x3 + 2 x4 = 0 3 x1 + x2 − x3 + 2 x4 = 0.
將來我們還會碰到許多和解聯立方程組有關的問題, 這裡我們就不再多談而將重點放在如何 解一個多元一次聯立方程組.
過去學習解一次聯立方程組的方法不外加減消去法或高斯消去法, 它們的原理都是一樣 的, 即利用以下三種基本方法:
(1) 變換式子的順序
(2) 將某一式乘上一非零實數
(3) 將某一式乘上一實數後加到另一式上
利用這三種基本方法將方程式的某些變數消去, 最後求出解來. 當然這裡有些問題是要探討 的: 第一就是要消到甚麼地步才可確認可求出解來? 第二就是為什麼經過這些過程所得的 解就會是原方程組的解? 在本節中我們將先介紹一個較有系統的方法解聯立方程組的步驟, 讓大家知道何時就可確認此方程組有解或無解, 且有解時如何求解. 下一節我們再說明為何 每一個聯立方程組都可以利用這個方式找到其解集合.
當我們要解
a11x1 + a12x2 + ··· + a1nxn = b1
a21x1 + a22x2 + ··· + a2nxn = b2 ...
am1x1 + am2x2 + ··· + amnxn = bm
這一個聯立方程組時, 先寫出如下的 augmented matrix (增廣矩陣)
a11 a12 ··· a1n b1 a21 a22 ··· a2n b2
... ... . .. ... ... am1 am2 ··· amn bm
例如式子 (2.1) 中的聯立方程組所對應的 augmented matrix 為 [ 3 −2 0 9 4
2 2 0 −4 6 ]
換言之, 若我們要解 Ax = b 這一個聯立方程組, 就要寫下 [A| b] 這一個 matrix. 反之一個 augmented matrix [A| b] 就對應到一個聯立方程組 Ax = b.
接下來我們將如加減消去法的三種步驟, 利用所謂的 elementary row operation (基本列 運算) 處理這個 augmented matrix. 所謂 elementary row operation 即表示對矩陣進行如下 三種的列運算:
(1) 將矩陣的某兩個 row 對調
(2) 將矩陣的某一個 row 乘上一非零實數
(3) 將矩陣的某一個 row 乘上一實數後加到另一個 row.
大家應很容易看出一個 augmented matrix 經過以上這三種列運算後所得的 augmented matrix 所對應的聯立方程組就是前面所提加減消去法的三種步驟所得的方程組. 我們的目
的就是要將 augmented matrix [A| b] 中的係數矩陣 A 利用這三種 elementary row operation 化成所謂的 echelon form.
我們先解釋一下何謂 echelon form. 首先我們將矩陣每一個 row 從左到右來看第一個 不為 0 的項稱為這個 row 的 leading entry. 因為係數矩陣中的每一個 entry 對應到聯立 方程組中某個 variable 的係數, 所以 leading entry 若是 variable xi 的係數, 我們就說這個 leading entry 發生在 xi 的位置. 要注意, 這也等同於這個 leading entry 是位於從左到右算 來第 i 個 column. 例如矩陣
1 2 1 1 4 0 0 5 0 2 0 0 1 −1 1
第一個 row 的 leading entry 為 1 不過因為第一個 row 還有其他位置 1, 所以我們特別要說 明第一個 row 的 leading entry 發生在 x1 的位置, 而第二個 row 和第三個 row 的 leading entry 分別為 5 和 1 且發生的位置皆在 x3.
所謂一個矩陣是 echelon form 表示這個矩陣沒有 leading entry 的 row (即該 row 每一 項皆為 0) 必需在最下方, 而有 leading entry 的 row 其 leading entry 所在位置從上到下來 看是往右移的. 換言之, 若上一個 row 的 leading entry 所在的位置是 xi, 而下一個 row 的 lading entry 是 xj, 則必需 i < j. 例如上一個矩陣並非 echelon form, 因為第 3 個 row 和第 2 個 row 的 leading entry 的位置皆為 x3, 並未右移. 另外矩陣
1 2 −1 0 0 0 0 0 0 0 3 0
,
0 1 1 2 0 0 2 −1 3 0 0 0
都不是 echelon form, 因為前一個矩陣全為 0 的 row 並未置於最下方, 而後一個矩陣第 3 個 row 的 leading entry 在第 2 個 row 的 leading entry 的左方. 至於矩陣
0 2 1 1 4 0 0 3 0 2 0 0 0 −1 1 0 0 0 0 0
就是 echelon form. 當一個矩陣是 echelon form 時, 我們稱每一個 row 的 leading entry 為 pivot, 而 pivot 所在的位置我們稱為 pivot variable.
當我們將 augmented matrix [A| b] 利用 elementary row operation 將之化成 [A′| b′]且 A′ 為 echelon form 後. A′ 有兩種情形. 一種情形為 A′ 每一個 row 皆不全為 0; 另一種為 A′ 有些 row 全為 0. 我們分別依這兩種情形來討論聯立方程組的解.
(1) A′ 每一個 row 皆不全為 0: 此時聯立方程組為 consistent, 即一定有解. 我們又可 細分成兩種情況.
(a) 第一種情況是每一個變數 (variable) xi 皆為 pivot variable. 亦即 pivot 的個數 等於方程組未知數的個數 (即係數矩陣 A 的 column 個數). 例如
2 1 1 4 0 3 1 2 0 0 −1 1
此時 echelon form 的 pivot variable 分別為 x1, x2, x3 恰就是聯立方程組的未知 數 x1, x2, x3. 在這種情況之下此聯立方程組會有唯一解, 而且我們可利用從下 往上 “代回” 的方式求得解. 例如前面的 augmented matrix 所對應的聯立方 程組為
2x1 +x2 +x3 = 4 3x2 +x3 = 2
−x3 = 1
所以我們從最下面的 −x3= 1 可得 x3=−1. 再將 x3=−1 代入其上一式 3x2+x3= 2, 得 3x2−1 = 2, 即 x2= 1. 最後將 x3=−1,x2= 1 代入 2x1+x2+x3= 4, 得 x1= 2. 故得其解為 x1= 2, x2= 1, x3=−1.
(b) 第二種情況是有些 variable xi 不是 pivot variable. 也就是方程組未知數的個 數多於 pivot 的個數. 例如
2 1 3 1 4 0 3 3 1 2 0 0 0 −1 1
此時 echelon form 的 pivot variable 分別為 x1, x2, x4 少於立方程組的未知數 x1, x2, x3, x4. 在此情形之下此聯立方程組會有無窮多解. 要得到這種方程組所 有的解, 首先我們要找到 free variables. 所謂 free variable 指的是方程組不 是 pivot variable 的 variable. 例如前面這個例子, x3 就是 free variable. Free variable 意指它可以任意取值, 所以找到 free variables 後你可以給它們任意 的參數, 然後再利用如上一情況中由下往上代回的方式找到聯立方程組所有的 解. 例如上一個 augmented matrix 所對應的聯立方程組為
2x1 +x2 +3x3 +x4 = 4 3x2 +3x3 +x4 = 2
−x4 = 1
首先令 free variable x3 為一參數 t (表示它可以是任意實數 t ∈ R). 接著 我們從最下面的 −x4= 1 可得 x4=−1. 再將 x3= t, x4=−1 代入其上一式 3x2+ 3x3+ x4= 2, 得 3x2+ 3t− 1 = 2, 即 x2= 1− t. 最後將 x2= 1− t,x3= t, x4=−1 代入 2x1+ x2+ 3x3+ x4= 4, 得 x1= 2−t. 故得其解為 x1= 2−t,x2= 1−t,x3= t, x4=−1, 其中 t 為任意實數. 因為 t 可以是任意實數, 由此我們也 知此方程組有無窮多解.
(2) A′ 有些 row 全為 0: 此時聯立方程組可能無解, 我們分成兩種情況:
(a) A′ 有一個 row 全為 0 但 b′ 在該 row 不為 0. 例如
[A′| b′] =
2 1 1 4 0 3 1 2 0 0 0 1
A′ 最後一個 row 皆為 0, 但 b′ 在該 row 的位置為 1. 在此情形之下聯立方程 組為 inconsistent, 即無解. 例如上一個 augmented matrix 其最後一個 row 所 對應的方程式為
0x1+ 0x2+ 0x3= 1
但不管 x1, x2, x3 代任何的實數都無法滿足 0x1+ 0x2+ 0x3= 1, 所以此方程組無 解.
(b) A′ 全為 0 的 row, b′ 在該 row 亦為 0. 例如
2 1 4 0 3 2 0 0 0
,
2 1 3 1 4 0 3 3 1 2 0 0 0 0 0
這兩個 augmented matrices 皆為這種情形. 在此情形之下聯立方程組一定 是 consistent. 事實上在此情形我們可以忽略全為 0 的 row, 例如前兩個 augmented matrices 所對應的方程組和
[ 2 1 4 0 3 2
] ,
[ 2 1 3 1 4 0 3 3 1 2
]
所對應的方程組一樣. 所以我們可依前面 (1) A′ 每一個 row 皆不全為 0 的情 況找出聯立方程組所有的解.
我們要強調, 絕不會有 pivot 的個數多於方程組 variables (未知數) 的個數的情形發生.
這是因為當係數矩陣 A 是 echelon form 時, 每一個 column 最多僅能有一個 pivot (因為 不能有兩個 leading term 在同一個位置), 所以 pivot 的個數不能多於 column 的個數. 而 A 的 column 個數表示的就是此聯立方程組 variables 的個數, 因此 pivot 的個數不會多於 variables 的個數. 另一方面依定義每一個 row 最多僅能有一個 pivot, 所以 pivot 的個數也 不會多於該方程組的方程式個數 (即係數矩陣 row 的個數).
Question 2.1. 考慮一個由 n 個 variables 的 m 個方成式所組成的聯立方程組. 試說明前 面討論 (1)(a) 的情形只有在 m = n 的時候才有可能發生; 而 (1)(b) 的情形只有在 m < n 的 情形才有可能發生;
在這一節中我們介紹解一次聯立方程組 Ax = b 的步驟. 也就是先將 augmented matrix [A| b] 利用 elementary row operations 化成 [A′| b′]其中 A′ 為 echelon form 的情形. 再利 用上面談論的情況找出聯立方程組的解. 下一節中我們將說明為何可利用 elementary row operations 將 A 變成 echelon form A′, 且要說明為何這樣所得的解便是原方程組的解.
2.2. Elementary Row Operations
前一節中我們知道要解一個聯立方程組 Ax = b, 可以先將 augmented matrix [A| b] 經 由一系列的 elementary row operations 化成 [A′| b′]其中 A′ 為 echelon form 後再求解. 在 本節中我們要說明為何經由 elementary row operations 我們可以將一個矩陣化為 echelon form 且解釋為何經由 elementary row operations 後所對應的聯立方程組與原方程組會有相 同的解集合.
我們利用數學歸納法來說明為何一定可以將一個矩陣化為 echelon form. 或許有些人 會對這裡數學歸納法處理的方式覺得奇怪, 不過若能仔細體會其真意, 會發現這是最好的 處理方式. 我們是對矩陣的 row 的個數作數學歸納法. 先說明所有只有一個 row 的矩陣 一定是 echelon form, 然後利用這件事實證明所有有兩個 row 的矩陣皆可利用 elementary
row operations 化為 echelon form. 再利用兩個 row 的矩陣會成立的事實證明有 3 個 row 的矩陣也可利用 elementary row operations 化為 echelon form, 如此一直下去我們可證 有 4, 5, 6, . . . 個 row 的矩陣會成立. 不過這樣的方法我們可以證得有特定個數的 row 的 矩陣會成立 (例如 10 個 row), 但無法證得一般的情形 (即任意個數的 row). 此時數學歸 納法是最好的論證工具了. 若我們能知道有 k 個 row 的矩陣一定能利用 elementary row operations 化為 echelon form 這個事實且利用這個事實證得有 k + 1 個 row 的矩陣一定能 利用 elementary row operations 化為 echelon form, 這就表示當我們知道有一個 row 的矩 陣能利用 elementary row operations 化為 echelon form 就能推得有兩個 row 的矩陣能利用 elementary row operations 化為 echelon form, 也進而推得有 3 個 row 的矩陣亦成立, 再進 而推得有 4 個 row 的矩陣亦成立, 如此一直下去當然可知任意的矩陣皆能利用 elementary row operations 化為 echelon form.
由於這裡的論證不容易說明清楚, 我們先由一個例子來說明. 考慮一個有 3 個 row 的矩
陣
0 0 1 1 1 0 1 2 1 3 0 2 2 0 −1
要將之化為 echelon form 首先第一個 row 必需是 leading entry 的位置在最左邊, 所以我們 利用將第一, 二兩個 row 交換的 elementary row operation 將此矩陣變換為
0 1 2 1 3 0 0 1 1 1 0 2 2 0 −1
由於第三個 row 的 leading entry 位置與第一個 row 相同所以須將此位置的數消掉. 利用第 一個 row 乘上 −2 加到第三個 row 的 elementary row operation 將此矩陣變換為
0 1 2 1 3 0 0 1 1 1 0 0 −2 −2 −7
如此一來第一個 row 以下的各 row 的 leading entry 所在位置都在第一個 row 的 leading entry 所在位置的右方. 接下來我們可以不再管第一個 row 而處理第一個 row 以下的部份.
此部份是一個僅有兩個 row 的矩陣
[ 0 0 1 1 1 0 0 −2 −2 −7
]
若我們知道變換兩個 row 的矩陣成 echelon 的方法, 直接套用就可以完成了. 事實上我們就 是將上面的方法再處理一遍, 將第一個 row 乘以 2 加到第二個 row 即可得
[ 0 0 1 1 1 0 0 0 0 −5
]
這一個 echelon form. 要注意我們故意忽略原來矩陣的第一個 row 的原因就是為了能套用 數學歸納法的假設 (即將 row 的個數變少). 事實上若用原來的矩陣, 我們是將矩陣
0 1 2 1 3 0 0 1 1 1 0 0 −2 −2 −7
的第二個 row 乘以 2 加到第三個 row 得
0 1 2 1 3 0 0 1 1 1 0 0 0 0 −5
這一個 echelon form.
接下來我們處理一般的情形. 首先我們來看只有一個 row 的矩陣. 此時由於沒有任何 的 row 在其下方所以依定義自然是 echelon form. 接著看有兩個 row 的矩陣. 首先注意依 定義一個 echelon form 的第一個 row 其 leading entry (若有的話) 必在所有其他 row 的 leading entry 所在位置的左方. 所以我們在此有兩個 row 的矩陣挑出 leading entry 在最左 方的一個 row (若兩個 row 的 leading entry 所在位置相同就任取一個 row) 利用 row 交換 的 row operation 將之置於第一個 row. 接下來注意依定義下一個 row 的 leading entry 所 在位置需在第一個 row 的 leading entry 的右方. 現若第二個 row 的 leading entry 所在位置 和第一個 row 不同, 則因已知第一個 row 的 leading entry 所在位置在最左方, 第二個 row 的 leading entry 所在位置一定在第一個 row 的 leading entry 的右方, 故依定義此時已為 echelon form. 而若第二個 row 的 leading entry 所在位置和第一個 row 相同, 我們可將第 一個 row 乘以 −b/a, 其中 a 為第一個 row 的 leading entry 而 b 為第二個 row 的 leading entry, 再加到第二個 row 上. 如此一來第二個 row 原本的 leading entry 所在位置變為 0, 故 其 leading entry 所在位置往右移了, 依定義此時為 echelon form.
我們可以如法泡製處理有 3 個 row 的矩陣, 但由於要使用數學歸納法, 此時我們可直接 假設我們已處理到有 k 個 row 的矩陣了, 亦即有 k 個 row 的矩陣皆可利用 elementary row operation 化為 echelon form. 現在我們要處理有 k + 1 個 row 的矩陣. 如前面的方法, 首先 我們將 leading entry 的位置在最左邊的那個 row 利用兩 row 互換的 row operation 將之 置於第一個 row. 假設此時第一個 row 的 leading entry 為 a. 接下來我們將 leading entry 的位置與第一個 row 的 leading entry 位置一樣的 row 挑出, 若該 row 的 leading entry 為 b, 我們便將第一個 row 乘上 −b/a 後加到該 row 上. 如此一來該 row 的 leading entry 所 在位置便往右移了. 一直重複此步驟, 直到第一個 row 以外的 row 其 leading entry 所在位 置皆與第一個 row 的 leading entry 所在位置相異. 注意, 此時第一個 row 以下的各 row 其 leading entry 所在位置皆在第一個 row 的 leading entry 所在位置的右方. 若我們不看第一 個 row, 所剩下的是一個有 k 個 row 的矩陣, 所以利用前面已知有 k 個 row 的矩陣皆可利 用 elementary row operations 化為 echelon form, 我們可以利用 elementary row operations 將此矩陣第一個 row 以下的部份化為 echelon form. 但此時因各個 row 的 leading entry 所 在位置皆在第一個 row 的 leading entry 所在位置的右方, 所以整個矩陣亦為 echelon form.
故得證所有矩陣皆可利用 elementary row operations 化為 echelon form. 大家或許注意到 我們在化成 echelon form 的過程皆沒有用到將某個 row 乘上一非 0 實數這一個 elementary row operation. 事實上在化成 echelon form 的過程確實不需要這一種 row operation, 不過 它在以後要談的化為 “reduced” echelon form 的過程是需要的, 留待以後再談.
既然每一個矩陣都能用 elementary row operations 化為 echelon form, 接下來我們要說 明的是利用 elementary row operation 處理後的聯立方程組其解集合不會改變. 要注意這裡
指的是將 augmented matrix 用 elementary row operations 變換後的 augmented matrix 其 對應的聯立方程組其解集合不會改變. 亦即聯立方程組 Ax = b 所對應的 augmented matrix [A| b] 若經一些 elementary row operations 後變換成 [A′ | b′], 那麼其對應的聯立方程組 A′x = b′ 和原方程組 Ax = b 有相同的解集合. 不要誤以為是將係數矩陣 A 利用 elementary row operations 變換成 A′ 後聯立方程組 A′x = b 的解集合和原方程組 Ax = b 的解集合相同.
首先觀察若將一聯立方程組 Ax = b 的 augmented matrix [A| b] 利用三種 elementary row operation 的任一種變換成 [A′| b′] 表示將原方程組利用加減消去法的三個基本方法之 ㄧ將之變成方程組 A′x = b′. 然而方程組 Ax = b 若利用加減消去法的三種方法 (即將兩式子 對調順序或將某一式乘上某個非 0 實數或將一個式子乘上某個實數加到另一個式子) 變換 成方程組 A′x = b′, 原來滿足 Ax = b 的一組解仍會滿足 A′x = b′. 換句話說 Ax = b 的解集 合會包含於 A′x = b′ 的解集合. 不過加減消去法的三個基本方法是可以還原回去的, 也就是 說方程組 A′x = b′ 也可以用加減消去法的三種方法還原回原方程組 Ax = b. 因此 A′x = b′ 的解集合也會包含於 Ax = b 的解集合. 因此得證 Ax = b 和 A′x = b′ 會有相同的解集合. 我 們證得了 [A| b] 若經由一個 elementary row operation 後得 [A′| b′], 則它們所對應的聯立 方程組會有相同的解集合. 因此若 [A| b] 經由好幾次的 elementary row operation 變換成 [A′| b′], 它們所對應的聯立方程組當然也會有相同的解集合.
Example 2.2.1. Solve the linear system
x2 −3x3 = −5 2x1 +3x2 −1x3 = 7 4x1 +5x2 −2x3 = 10.
此聯立方程組的 augmented matrix 為
0 1 −3 −5 2 3 −1 7 4 5 −2 10
.
由於第二, 三 row 的 leading entry 在最左端. 但第二 row 的 leading entry 的值較小, 為了 計算方便, 我們將之置於第一個 row, 即將一, 二 row 交換得
2 3 −1 7 0 1 −3 −5 4 5 −2 10
.
接下來由於第三 row 的 leading entry 也在 x1 的位置需要消去, 所以將第一 row 乘上 −2
加到第三 row 得
2 3 −1 7 0 1 −3 −5 0 −1 0 −4
.
此時係數矩陣仍不是 echelon form, 需將第三 row 的 x2 位置的 entry 消去. 故將第二 row
加至第三 row 得
2 3 −1 7 0 1 −3 −5 0 0 −3 −9
.
這是 echelon form. 由於係數矩陣沒有全為 0 的 row, 我們知此 linear system 為 consistent.
而又 pivot 的個數等於 variable 的個數, 故知此 linear system 的解唯一. 事實上, 最下 面第三 row 表示 −3x3=−9, 得 x3= 3. 代入第二 row 表示的 x2− 3x3=−5, 得 x2= 4.
最後代入第一 row 表示的 2x1+ 3x2− x3 = 7, 得 x1 =−1. 故知此 linear system 的解為 (x1, x2, x3) = (−1,4,3).
Example 2.2.2. Solve the linear system
x1 −1x2 +2x3 +3x4 = 2 2x1 +1x2 +1x3 = 1 x1 +2x2 −1x3 −3x4 = 7.
此聯立方程組的 augmented matrix 為
1 −1 2 3 2 2 1 1 0 1 1 2 −1 −3 7
.
第二, 三 row 的 leading entry 需被消去. 故將第一 row 分別乘上−2,−1 加到第二, 三 row
得
1 −1 2 3 2 0 3 −3 −6 −3
0 3 −3 −6 5
.
接下來由於第三 row 的 leading entry 需要消去, 所以將第二 row 乘上−1 加到第三 row 得
1 −1 2 3 2 0 3 −3 −6 −3
0 0 0 0 8
.
這是 echelon form. 由於第三 row 表示 0x1+0x2+0x3= 8, 知此 linear system 為 inconsistent.
Example 2.2.3. Solve the linear system
x1 −2x2 +1x3 −1x4 = 4 2x1 −3x2 +4x3 −3x4 = −1 3x1 −5x2 +5x3 −4x4 = 3
−x1 +1x2 −3x3 +2x4 = 5.
此聯立方程組的 augmented matrix 為
1 −2 1 −1 4 2 −3 4 −3 −1 3 −5 5 −4 3
−1 1 −3 2 5
.
第二, 三, 四 row 的 leading entry 需被消去. 故將第一 row 分別乘上 −2,−3,1 加到第二, 三, 四 row 得
1 −2 1 −1 4
0 1 2 −1 −9
0 1 2 −1 −9
0 −1 −2 1 9
.
接下來第三, 四 row 的 leading entry 需要消去, 所以將第二 row 分別乘上−1,1 加到第三,
四 row 得
1 −2 1 −1 4 0 1 2 −1 −9 0 0 0 0 0 0 0 0 0 0
.
這是 echelon form. 由於係數矩陣全為 0 的第三, 四 row 全為 0, 知此 linear system 為 consistent.
事實上此 linear system 的 pivot variables 為 x1, x2, 而 free variables 為 x3, x4. 我們可以 令 x4= r, x3= s, 代入第二 row 表示的 x2+ 2x3− x4=−9, 得 x2=−9 + r − 2s. 再代入第一 row 表示的 x1− 2x2+ x3− x4= 4, 得 x1=−14 + 3r − 5s. 故知此 linear system 的解為
(x1, x2, x3, x4) = (−14 + 3r − 5s,−9 + r − 2s,s,r),r,s ∈ R.
通常我們習慣寫成 row vector 且將 r, s 提出. 故將解寫成
x1 x2 x3
x4
=
−14−9
0 0
+ r
3 1 0 1
+ s
−5−2
1 0
,r,s ∈ R.
在解 linear system 的過程中還可以進一步將 echelon form 化為所謂的 reduced echelon form. Reduced echelon form 事實上仍為 echelon form, 不過再加上兩個限制. 第一個限制 是每一個 pivot 需為 1. 另一個限制為 pivot 的位置上方全為 0. 要注意, 依定義 echelon form 的 pivot 位置下方已全為 0 所以 reduced echelon form 每一個 pivot 所在的 column, 除了自己需為 1 外其他部分皆為 0. 例如
A =
1 2 0 0 0 0 3 6 0 0 0 0
, B =
1 1 3 0 0 1 1 2 0 0 1 −1
都不是 reduced echelon form 但是 A′=
1 2 0 0 0 0 1 2 0 0 0 0
, B′=
1 0 0 0 0 1 0 3 0 0 1 −1
就是 reduced echelon form. 每一個 echelon form 皆可利用 elementary row operations 換為 reduced echelon form. 這是因為, 若有一個 row 的 pivot 為 a (注意依定義 a̸= 0), 我們只要 將該 row 乘上 1/a, 則該 row 的 pivot 便是 1 了. 例如上面 A 這一個 echelon form 若將第二 個 row 乘上 1/3, 就可得 A′ 這一個 reduced echelon form. 當我們將每個 pivot 都變為 1 後, 就可利用將該 row 乘上某一實數加到另一個 row 的方法將 pivot 所在的 column 的其他部 分化為 0. 例如上面 B 這一個 echelon form 若將第三個 row 分別乘上−3, −1 加到第一個 row 和第二個 row, 得
1 1 0 3 0 1 0 3 0 0 1 −1
. 再將第二個 row 乘上 −1 加到第一個 row, 就可 得 B′ 這一個 reduced echelon form. 注意一般我們都是從上而下將矩陣換成 echelon form, 不過得到 echelon form 後是從下而上將 echelon form 換成 reduced echelon form 較為方便.
既然每一個矩陣都可以經由 elementary row operations 化為 reduced echelon form, 所 以我們可以利用這個方法求出聯立方程組的解. 化成 reduced echelon form 後由於每一個 row 除了該 row 的 pivot 外, 只剩 free variables (其他的 pivot variable 所在的 entry 皆為 0), 所以可以很快地看出解的形式. 例如方程組 B′x = O 為
x1 = 0
x2 +3x4 = 0 x3 −x4 = 0
因僅 x4 為 free variable, 令 x4= t, 代入第三 row 得 x3= t. 代入第二 row 得 x2=−3t. 最後 由第一 row 得 x1= 0. 故知解為 (x1, x2, x3, x4) = (0,−3t,t,t) = t(0,−3,1,1),t ∈ R.
化成 reduced echelon form 雖然在最後可以很快地看出解的形式, 但一般來說化為 reduced echelon form 比僅化為 echelon form 所需的步驟多了許多, 所以利用 echelon form 來求解還是會比較快. 利用 echelon form 求解的方法一般稱為 Gauss method, 而用 reduced echelon form 求解一般稱為 Gauss-Jordan method.
Example 2.2.4. Example 2.2.1 的 linear system, 化成 echelon form 後為
2 3 −1 7 0 1 −3 −5 0 0 −3 −9
.
將第三 row 乘以−1/3 得
2 3 −1 7 0 1 −3 −5 0 0 1 3
.
再將第三 row 分別乘以 3, 1 加到第二, 第一 row 得
2 3 0 10 0 1 0 4 0 0 1 3
.
接著將第二 row 乘以 −3 加到第一 row 得
2 0 0 −2 0 1 0 4 0 0 1 3
.
最後將第一 row 乘以 1/2 得 reduced echelon form
1 0 0 −1 0 1 0 4 0 0 1 3
,
且馬上看出解為 (x1, x2, x3) = (−1,4,3).
Example 2.2.3 的 linear system, 化成 echelon form 後為
1 −2 1 −1 4 0 1 2 −1 −9 0 0 0 0 0 0 0 0 0 0
.
將第二 row 乘以 2 加到第一 row 得 reduced echelon form
1 0 5 −3 −14 0 1 2 −1 −9 0 0 0 0 0 0 0 0 0 0
.
因 x4, x3 為 free variables, 令 x4= r, x3= s, 代入第二 row 得 x2=−9 + r − 2s. 再代入第一 row 得 x1=−14 + 3r − 5s.
2.3. Echelon Form
我們已知要探討聯立方程組 Ax = b 的解, 僅要考慮 A 為 echelon form 的情形. 這一節 中我們就是要討論當 A 為 echelon form 時, 聯立方程組 Ax = b 解的特性. 事實上我們很 容易理解利用 2.1 節中所提求解的方法所得的結果皆為方程組的一組解. 這裡要探討的是 為何利用 2.1 節中所提求解的方法, 就可得所有的解. 接著我們將說明, 雖然一個矩陣利用 elementary row operations 化為 echelon form 的結果不唯一, 但是它們的 pivot variables 是 唯一的. 我們也因此可推得化為 reduced echelon form 的結果會唯一.
如果我們得到 2.1 節 (2)(a) 的情形 (即 A 有一個 row 全為 0 但 b 在該 row 不為 0), 在該節已說明此時方程組無解. 所以我們只要探討有解的情形. 首先回顧一下在 2.1 節所 提求解的方法: 首先我們要找到 free variables, 也就是是方程組除了 pivot variable 以外的 variable. 接著給這些 free variable 任意的參數值, 然後再利用由下往上代回的方式找到聯 立方程組所有的解. 若無 free variable, 就直接由下往上一步一步求值即可.
由於可以忽略 augmented matrix 全為 0 的 row, 所以我們可假設係數矩陣 A 沒有一 個 row 全為 0. 因為 A 為 echelon form, 這也表示 A 每一個 row 皆有 leading entry 且為 pivot. 現在我們回答當 A 是 echelon form 時, 2.1 節中所述解聯立方程組 Ax = b 的方法所 求得的解就是所有的解. 也就是說給定 x1= c1, . . . , xn= cn 為 Ax = b 的一組解, 我們要說明 這組解確實可由 2.1 節所提的方法得到. 為了方便起見我們令 2.1 節所提的方法所得的解 所成的集合為 S. 我們要說明 (x1, . . . , xn) = (c1, . . . , cn) 確實為 S 中的元素. 現若 xn 為 pivot variable, 則 xn 的值是被唯一確定的. 所以 S 的所有解中 xn 的取值一定也為 cn. 若 xn 為 free variable, 則因 S 的解中 xn 可為任意值, 故 S 中一定有一組解其 xn 的取值為 cn. 也就 是說不管 xn 是否為 pivot variable, S 中必有一組解其 xn 的取值為 cn. 現若 xn−1 為 pivot variable, 則由此 pivot 所在的 row 所對應的方程式可知 xn−1 的取值會被 xn 的取值所決定.
今已知 S 中必有一組解其 xn 的取值為 cn, 故此組解必滿足 xn−1= cn−1, xn= cn; 而若 xn−1
為 free variable, 則因 S 的解中 xn−1 可為任意值且其取值不影響到 xn 的取值, 故知 S 中必 有一組解其 xn−1, xn 的取值為 xn−1= cn−1, xn= cn. 如此一直下去我們知道 S 中必有一組解 其 x1, . . . , xn 的取值為 x1= c1, . . . , xn= cn.
我們可以利用上面的概念, 推導出當 A 為 echelon form 時, pivot variables 和 free variables 對聯立方程組 Ax = b 解的影響. 首先看 pivot variable 對聯立方程組的解之影響.
Lemma 2.3.1. 假設 A 為一有 n 個 column 的 echelon form 且 x1= c1, . . . , xn= cn 和 x1= d1, . . . , xn= dn 皆為方程組 Ax = b 的一組解.
(1) 假設 xn 為 A 的一個 pivot variable. 則 cn= dn.
(2) 假設 xk 為 A 的一個 pivot variable, 其中 1≤ k ≤ n − 1. 若 ck+1= dk+1, . . . , cn= dn, 則 ck= dk.
Proof. 假設聯立方程組為
a11x1 + ··· + a1nxn = b1
a21x1 + ··· + a2nxn = b2
...
am1x1 + ··· + amnxn = bm
其中
A =
a11 ··· a1n
a21 ··· a2n
... . .. ... am1 ··· amn
為 echelon form, 且不失一般性我們假設 A 的每一個 row, ai 1, . . . , ai n 皆不全為 0.
(1) 若 xn 為 A 的一個 pivot variable, 表示 A 的最後一個 row 的 leading entry 所在位 置為 xn. 也就是說 am 1= am 2=··· = am n−1= 0 且 am n̸= 0. 這表示此聯立方程組中 最後一個式子為 amnxn= bm. 故由 x1= c1, . . . , xn= cn 及 x1= d1, . . . , xn= dn 皆為此 聯立方程組的一組解知 xn= cn和 xn= dn皆需滿足 amnxn= bm, 亦即 amncn= bm且 amndn= bm. 故由 amn̸= 0 得知 cn= dn.
(2) 若 xk 為 A 的一個 pivot variable, 表示 A 有一個 row 的 leading entry 所在位置 為 xk. 也就是說若此 row 為 A 的第 i 個 row, 則 ai1 = ai2 =··· = ai k−1 = 0 且 aik̸= 0. 此 row 所對應的式子為 aikxk+··· + ainxn= bi.故由 x1= c1, . . . , xn= cn 及 x1= d1, . . . , xn= dn 皆為此聯立方程組的一組解知 xk= ck, xk+1= ck+1, . . . , xn= cn
和 xk= dk, xk+1= dk+1, . . . , xn= dn 皆需滿足 aikxk+··· + ainxn= bi. 因此由 ck+1= dk+1, . . . , cn= dn 的假設知
aikck= bi− (ai k+1ck+1+··· + aincn) = bi− (ai k+1dk+1+··· + aindn) = aikdk. 再由 aik̸= 0 得知 ck= dk.
相對於 pivot variable 我們知道對於 free variable 我們可以隨意取任何的實數而得到一 組解, 所以我們有以下 free variable 對解的影響.
Lemma 2.3.2. 假設 A 為一有 n 個 column 的 echelon form 且沒有一個 row 全為 0.
(1) 假設 xn 為 A 的一個 free variable. 則對任意的實數 r, 方程組 Ax = b 皆可找到一 組解其 xn= r.
(2) 假設 xk 為 A 的一個 free variable, 其中 1≤ k ≤ n − 1. 若 x1= c1, . . . , xn= cn 為方 程組 Ax = b 的一組解, 則對任意實數 r 方程組 Ax = b 皆可找到一組解其 xk= r 且 xk+1= ck+1, . . . , xn= cn.
Proof. 在前面所提的求解過程中我們知道可將 free variable 定為任意的實數, 再一步一步 由下往上代回得到一組解. 在這個過程中我們了解到若 xi 是 free variable, 則它的取值可能 會影響到的僅有 xj, 其中 j < i 這樣的變數, 而不會影響到其他變數 xl, 其中 i < l 的取值.
現若 xn 是 free variable, 這表示我們可以設定 xn 為任意實數, 再一步一步往上代求得聯 立方程組的一組解, 所以對任意的實數 r, 方程組 Ax = b 皆可找到一組解其 xn 為 r.
若 xk 為 A 的一個 free variable, 其中 1≤ k ≤ n − 1 且已知 x1= c1, . . . , xn= cn 為方程組 Ax = b 的一組解. 換言之, xk+1= ck+1, . . . , xn= cn 皆滿足方程組 pivot 的位置在 xk 右方的 那些 row 所對應的那些方程式. 由於 xk 可取任意的實數且不會影響 xk+1, . . . , xn 的取值, 所 以我們可令 xk= r 且 xk+1= ck+1, . . . , xn= cn 一步一步代回求得聯立方程組的一組解.
Lemma 2.3.1 和 Lemma 2.3.2 有許多應用. 例如當 A 是 echelon form 時若聯立方程 組 Ax = b 已知有一個解 x1= c1, . . . , xn= cn 且 x1, . . . , xn 每一個都是 pivot variable, 則由 Lemma 2.3.1 知聯立方程組 Ax = b 的解僅能是 x1= c1, . . . , xn= cn. 換句話說此方程組的解 唯一. 另一方面, 若聯立方程組 Ax = b 已知有解且 x1, . . . , xn中有 free variable, 則由 Lemma 2.3.2 知聯立方程組 Ax = b 會有無窮多解.
當我們給一個矩陣時, 有許多種方法將之化為 echelon form, 而且化成的 echelon form 很可能不一樣. 不過利用 Lemma 2.3.1 和 Lemma 2.3.2 我們可以得到這些 echelon form 雖然可能不一樣, 但他們 pivot 的所在位置都會一致. 由於我們只關心係數矩陣 A 化為 echelon form 後的情形, 所以我們可以考慮 Ax = O 這一種特殊形式的聯立方程組. 要注意 這樣的聯立方程組都會有解, 因為 x1= 0, . . . , xn= 0 就是一組解. 我們特別稱這樣的聯立方 程組為 homogeneous system.
Proposition 2.3.3. 給定一矩陣 A, 若 A1, A2 均為 A 利用 elementary row operations 化成 的 echelon forms. 則 A1 和 A2 的 pivot 個數相同, 事實上他們的 pivot variables 是一致的.
Proof. 我們考慮 Ax = O 這一組聯立方程組, 其中 A 有 n 個 column (即此方程組有 n 個 變數). 因為 A 可利用 elementary row operation 化為 A1 及 A2, 這表示 augmented matrix [A| O] 可以利用 elementary row operation 化為 [A1| O] 及 [A2| O]. 換句話說聯立方程組 A1x = O 和 A2x = O 皆與聯立方程組 Ax = O 有同樣的解. 再次強調這些聯立方程組都會有 x1= 0, . . . , xn= 0 這樣的一組解.
我們要用反證法處理. 假設 A1 和 A2 有 pivot variable 不一致, 不失一般性我們就假設 對 A1 來說 xi 是 pivot variable 但對 A2 來說 xi 不是 pivot variable (即 free variable). 假 設 i = n, 這表示方程組 A1x = O 的解中 xn 的取值是唯一的 (Lemma 2.3.1), 事實上 xn 一 定為 0; 但 A2x = O 的解中 xn 的取值卻可以是任意的實數 (Lemma 2.3.2). 這和此二方程 組有相同的解相矛盾. 現若 1≤ i ≤ n − 1. 利用 x1= 0, . . . , xn= 0 已是這兩聯立方程組的解, 我們知道方程組 A1x = O 的解中一定找不到一組解其 xi+1, . . . , xn 的取值皆為 0 但 xi 的取 值不是 0 (Lemma 2.3.1); 另一方面 Lemma 2.3.2 告訴我們 A2x = O 的解中一定可找到一 組解其 xi+1, . . . , xn 的取值皆為 0 但 xi 的取值不是 0 (事實上 xi 可以是任意實數). 這又和
A1x = O, A2x = O 此二方程組有相同的解相矛盾. 故由反證法知 A1 和 A2 的 pivot variables
是一致的.
由於一個矩陣化為 echelon form 其 pivot 的個數是固定的, 我們特別有以下的定義.
Definition 2.3.4. 假設 A 為一矩陣. 若 A 利用 elementary row operations 化為 echelon form 後其 pivot 的個數為 r, 我們稱 r 為 A 的 rank. 用 rank(A) = r 來表示.
Question 2.2. 假設矩陣 A 有 m 個 row 以及 n 個 column. 若 rank(A) = r, 試說明 r 小於 等於 m, n 的最小值.
我們可以利用 Proposition 2.3.3 證明一個矩陣利用 elementary row operations 化為 reduced echelon form 其結果是唯一的.
Proposition 2.3.5. 給定一矩陣 A, 若 A1, A2 均為 A 利用 elementary row operations 化成 的 reduced echelon forms, 則 A1= A2.
Proof. 我們考慮 Ax = O 這一組聯立方程組, 依假設聯立方程組 A1x = O 和 A2x = O 皆與 聯立方程組 Ax = O 有同樣的解.
利用反證法. 假設 A1̸= A2 且假設從下往上, A1, A2 第一個發生相異的 row 其 pivot variable 為 xk (注意由 Proposition 2.3.3, 我們知道 A1, A2 的 pivot variables 是一致的). 現 假設 A1, A2 在此 row 所對應的方程式分別為
xk+ ak+1xk+1+··· + anxn= 0 與 xk+ bk+1xk+1+··· + bnxn= 0,
其中存在 l 滿足 k + 1≤ l ≤ n 且 al ̸= bl. 由於 A1, A2 皆為 reduced echelon form, 若 j > k 且 xj 為 pivot variable, 則 aj= bj= 0. 因此若 xl 為 pivot variable, 則會導致 al = bl = 0 之矛盾, 故知 xl 必為 free variable. 我們知給定一組 free variables 的值, 可以用由下往 上代回的方式得到聯立方程組的解. 現考慮除了 xl 這一個 free variable 代 1, 其他 free variables 代 0 所得的解. 設依此所得 A1x = O 與 A2x = O 的解分別為 x1= c1, . . . , xn= cn與 x1= d1, . . . , xn= dn. 注意, 若 j > k 且 xj 為 pivot variable, 則 aj= bj= 0, 所以此時 xj 的取 值不會影響到 xk 的取值, 也就是說依此假設我們有 cl = dl= 1 以及 ck=−al, dk=−bl. 又 由於依假設 A1, A2在 xk 為 pivot 這一 row 以下的各 row 都一致, 我們知對所有 k + 1≤ i ≤ n 皆有 ci= di. 然而 x1= c1, . . . , xn= cn 與 x1= d1, . . . , xn= dn 皆為 Ax = O 的解且 xk 為 pivot variable, 故由 Lemma 2.3.1 知 ck= dk. 可得 al=−ck=−dk= bl. 此與 al̸= bl 的假設相矛
盾, 故知 A1= A2.
一般來說, 若矩陣 A 可經由 elementary row operations 化為矩陣 B, 我們就說 A is row equivalent to B, 用 A∼ B 來表示. 若 A,B,C 為矩陣, 我們有以下的性質.
(1) A∼ A
(2) 若 A∼ B, 則 B ∼ A.
(3) 若 A∼ B 且 B ∼ C, 則 A ∼ C.
(1) 說的是 A 可由 elementary row operations 化為 A. 事實上只要先兩 row 互換再換回 來即可. (3) 說的是若 A 可由 elementary row operations 化為 B 且 B 可由 elementary row operations 化為 C, 那麼我們可以把這兩組 row operations 連結一起, 直接將 A 化為 C. (2) 說的是前面提過每個 elementary raw operation 是可以還原回去的, 所以若 A 可 由 elementary row operations 化為 B, 我們可以將每個步驟逆轉還原. 也就是說 B 也可由 elementary row operation 還原回 A.
假設 A, B 經由 elementary row operations 可化為 A′, B′ 其中 A′, B′ 皆為 echelon form.
若 A′= B′, 可由 A∼ A′ 且 B∼ B′ 利用前面所提 row equivalent 的性質推得 A∼ B. 但這不是 有效的方法來判斷 A, B 是否為 row equivalent, 因為我們知道即使同一個矩陣, 化成 echelon form 並不唯一. 但若化成 reduced echelon form 問題便解決了 (這說明了唯一性的重要).
我們有以下的性質.
Proposition 2.3.6. 設 A, B 為矩陣且分別可由 elementary row operations 化為 reduced echelon forms A′, B′. 則 A∼ B 若且唯若 A′= B′.
Proof. (⇐) 若 A′= B′, 則 A∼ A′= B′, 故由 row equivalent 的性質 A∼ B′ 以及 B′∼ B 得 A∼ B.
(⇒) 若 A ∼ B, 則由 B ∼ B′ 得 A∼ B′. 亦即 A 可由 elementary row operations 化為 reduced echelon form B′. 然而 Proposition 2.3.5 A 化為 reduced echelon form 是唯一的, 故
得證 A′= B′.
由 Proposition 2.3.6, 我們只要將兩個矩陣化為 reduced echelon form, 就可以明確的知 道它們是否為 row equivalent.
Question 2.3. 假設矩陣 A 的 row 和 column 的個數皆為 n. 試證明 rank(A) = n 若且 唯若 A 和 n× n 的 identity matrix (單位矩陣) (即對角線位置為 1 其他位置為 0 形如
1 O
. ..
O 1
的矩陣) 為 row equivalent.
Question 2.4. 若矩陣 A, B 有相同個數的 row 與相同個數的 column. 已知聯立方程組 Ax = b 和 Bx = b, 皆有唯一解. 是否可得 A∼ B? 是否 Ax = b 和 Bx = b 會有同樣的解?
2.4. The Rank of a Matrix
在前一節中我們知道一個矩陣經由 elementary row operations 化為 echelon form 之後, 其中不全為 0 的 row 的個數 (即 pivot 的個數) 是固定的, 我們稱之為此矩陣的 rank. 其實 一個一次聯立方程組其係數矩陣的 rank 可以提供我們有關此聯立方程組是否有解以及解是 否唯一等訊息. 在本節中我們便是要探討這個課題.
考慮一次聯立方程組 Ax = b, 其中 A 為 m× n matrix 且 rank(A) = r. 現若 r = m, 表示 將 A 利用 elementary row operations 化為 echelon form 後每一個 row 皆不全為 0, 此即 2.1 節 (1) 的情形. 因此此時不管 b 為何, Ax = b 為 consistent, 亦即聯立方程組必有解. 但若
