Invertible Matrix 所 謂 invertible matrix 就 是 “可 逆 矩 陣”

3.5. Invertible Matrix

所 謂 invertible matrix 就 是 “可 逆 矩 陣”. 我 們 會 發 現 只 有 square matrix 才 有 可 能 是 invertible matrix, 但並不是所有的 square matrix 都是 invertible matrix. 這一節中我們會 探討有關 invertible matrix 的相關性質, 並介紹判斷一個方陣是否為 invertible 且找出其反 矩陣的方法.

當初我們將聯立方程組用矩陣乘法的方式 Ax = b 來表示, 其中有一個很大的目的就是 希望將解聯立方程式的問題此簡化成類似實數上解 ax = b 的情形. 在實數情況, 當 a̸= 0 時, ax = b 的解就是很簡單的 x = ba⁻¹. 但在矩陣的情形, 我們沒有除法, 所以只能借助乘法 來幫忙. 由於實數中 a⁻¹ 有 a⁻¹a = aa⁻¹= 1 的性質, 所以推廣這個概念至矩陣, 我們便希 望找到矩陣 B 滿足 BA 以及 AB 為 identity. 不過當 A∈ Mm×n(F) 且 m ̸= n 時, 由 Corollary 3.4.3 以及 Corollary 3.4.6, 我們知道不可能存在 B 同時滿足 BA 和 AB 皆為 identity matrix (因為 rank(A) 不可能同時為 m 和 n). 所以我們僅對 m = n, 即 A 為 square matrix 時有以 下的定義.

Definition 3.5.1. 假設 A∈ Mn×n(F) 為 n 階 square matrix, 若存在 B ∈ Mn×n(F) 使得 AB = BA = I_n, 則稱 A 為 invertible. 反之, 我們稱 A 為 non-invertible

再一次強調當 A 不是方陣時, 我們知 A 絕對不是 invertible. 因此當我們不知矩陣 A 的階數時, 絕對不能用存在 B 滿足 BA 為 identity 來說 A 為 invertible, 必須檢查另一邊 AB 亦為 identity 才可. 不過當 A 為 n× n square matrix, 確實檢查單邊就可以確定 A 為 invertible. 我們有以下的性質.

Theorem 3.5.2. 假設 A∈ Mn×n(F) 為 n 階 square matrix. 則下列是等價的.

(1) A 為 invertible matrix.

(2) 存在 B∈ Mn×n(F) 使得 BA = In. (3) rank(A) = n.

(4) 存在 C∈ Mn×n(F) 使得 AC = In.

Proof. 依 A 為 invertible 的定義, 我們知若 A 為 invertible, 則存在 B∈ Mn×n(F) 使得 BA = In. 故 (1)⇒ (2).

由 A 為 n× n matrix 以及 Theorem 3.4.5 知存在 B ∈ Mn×n(F) 使得 BA = In 若且唯若 A 化為 echelon form 後 pivot 的個數為 n. 故 (2)⇔ (3).

同理, 由 A 為 n× n matrix 以及 Theorem 3.4.2 知存在 C ∈ Mn×n(F) 使得 AC = In 若且 唯若 A 化為 echelon form 後 pivot 的個數為 n. 故 (3)⇔ (4).

最後, 由 A 化為 echelon form 後 pivot 的個數為 n 知存在 B,C∈ Mn×n(F) 使得 BA = In

以及 AC = I_n. 若能證得 C = B, 則由 BA = AB = In 得證 A 為 invertible. 然而由 BA = I_n, 得 (BA)C = I_nC = C. 又由 (BA)C = B(AC) = BI_n= B, 得證 B = C. 故 (3)⇒ (1). 得證本定理. 

當一個 n× n matrix 的 rank 為 n 時, 有的書為了強調這個 rank 和階數相等的特殊情 況, 特別稱之為 nonsingular matrix. 所以由 Theorem 3.5.2 我們知 invertible matrix 就是 nonsingular matrix. 反之, non-invertible matrix 就是 singular matrix. 不過為了讓大家不 被這麼多名詞弄混. 以後我們一律採用 invertible 和 non-invertible 這樣的說法, 而不用 nonsingular 和 singular 這樣的說法.

由 Theorem 3.5.2 的證明我們知若 A∈ Mn×n(F) 且存在 B,C ∈ Mn×n(F) 使得 BA = In 且 AC = I_n, 則 B = C. 我們自然會問有沒有可能存在不同的 B, B^′∈ Mn×n(F) 皆滿足 BA = In 以 及 B^′A = In. 下一個定理告訴我們這樣的方陣其實是唯一的.

Corollary 3.5.3. 假設 A∈ Mn×n(F) 且 B,B^′ ∈ Mn×n(F) 滿足 BA = In 以及 B^′A = In. 則 B = B^′.

Proof. 由 Theorem 3.5.2 我們知 A 為 invertible 且由其證明知 BA = AB = I_n 以及 B^′A = AB^′= In. 故

B = I_nB = (B^′A)B = B^′(AB) = B^′I_n= B^′.

 由 Corollary 3.5.3, 我們知道若 A 為 n× n invertible matrix, 則僅會存在唯一的一個 n× n matrix B 滿足 BA = AB = In. 它和 A 的關係如同在實數上非零實數的乘法的 inverse (乘法反元素), 所以我們給以下的定義.

Definition 3.5.4. 假設 A∈ Mn×n(F) 為 invertible matrix. 我們稱唯一滿足 BA = AB = In

的 n× n matrix B 為 A 的 inverse (反矩陣), 且用 A⁻¹ 表示.

給定一 n× n invertible matrix A 由於其反矩陣是唯一的, 所以若要確定 B = A⁻¹ 我們僅 要檢查是否 BA = I_n 或 AB = I_n 即可. 我們有以下之性質

Proposition 3.5.5. 假設 A, B∈ Mn×n(F). 我們有以下之性質 (1) 若 A 為 invertible, 則 A⁻¹ 亦為 invertible 且

(A⁻¹)⁻¹= A.

(2) A 為 invertible 若且唯若 A^T 為 invertible 且此時 (A^T)⁻¹= (A⁻¹)^T.

(3) A, B 皆為 invertible 若且唯若 AB 為 invertible. 且此時 (AB)⁻¹= B⁻¹A⁻¹.

Proof. 由 Theorem 3.5.2, 我們要說一個 n× n matrix 為 invertible, 只要找到 B ∈ Mn×n(F) 使得 BA = I_n 或 AB = I_n 且此時由唯一性 (Corollary 3.5.3) 知 B = A⁻¹.

(1) 依定義 A⁻¹ 亦為 n× n matrix 故 Theorem 3.5.2 適用. 利用 A⁻¹A = In, 得知 A⁻¹ 亦 為 invertible 且 (A⁻¹)⁻¹= A.

(2) 依定義 A^T 亦為 n×n matrix 故 Theorem 3.5.2 適用. 由 A⁻¹A = I_n 利用 Proposition 3.2.4 得

In= (A⁻¹A)^T= A^T(A⁻¹)^T

故知 A^T為 invertible 且 (A^T)⁻¹= (A⁻¹)^T. 反之若 A^T為 invertible, 由前知 (A^T)^T為 invertible, 故由利用 Proposition 3.2.4 (A^T)^T= A 得證 A 為 invertible.

(3) 依定義 AB 為 n× n matrix 故 Theorem 3.5.2 適用. 現若 A,B 皆為 invertible, 則由 (AB)B⁻¹A⁻¹= A(BB⁻¹)A⁻¹= AI_nA⁻¹= AA⁻¹= I_n,

得證 AB 為 invertible 且 (AB)⁻¹= B⁻¹A⁻¹. 反之, 若 AB 為 invertible, 且令 C = (AB)⁻¹. 此 時由 (AB)C = I_n 得 A(BC) = I_n, 故由假設 A 為 n× n matrix 以及 Theorem 3.5.2 得證 A 為 invertible. 同理, 由 C(AB) = I_n, 得 (CA)B = I_n, 得證 B 為 invertible.  要注意 Proposition 3.5.5 (3) 中由 AB invertible 推得 A, B 皆為 invertible 是需要用 到 A, B 皆為 n× n matrix. 否則當 m ̸= n 時, 在 Theorem 3.4.2 中我們知道有可能 A ∈ M_m×n(F),C ∈ Mn×m(F) 滿足 AC = Im. 此時 I_m 為 invertible, 但 A,C 皆為 non-invertible. 同 樣的, 當 A, B 為方陣時, 因為由 AB 為 invertible 可推得 A, B 皆為 invertible, 故知 BA 亦為 invertible. 也就是說當 A, B 為方陣時 AB 為 invertible 和 BA 為 invertible 是等價的. 但在 A, B 不為方陣時, 若 AB 為 invertible 會導致 BA 不為 invertible.

Question 3.10. 試舉例 A, B 不為 invertible 但 AB 為 invertible. 同時也驗證此時 BA 為 non-invertible.

接下來我們探討如何判別一個具體的 n× n matrix 是否為 invertible, 且若為 invertible 如何找出其 inverse. 這個問題可藉由將方陣利用 elementary row operations 化為 reduced echelon form 來處理. 事實上, 當 A 為 n× n matrix, 由 Theorem 3.5.2 我們知道 A 為 invertible 若且唯若 A 化為 echelon form 後其 pivot 的個數等於 n. 因此我們只要將 A 化為 echelon form 後計算其 pivot 的個數, 便可以知道 A 是否為 invertible. 若 A 為 invertible, 即 pivot 的個數為 n, 此時由於 A 的 reduced echelon form 為 n× n matrix, 故得 A 的 reduced echelon form 為 In. 也就是說我們可以用 elementary row operations 將 A 化為 In. 故由 Lemma 3.3.1 我們知存在 E∈ Mn×n(F) 為一些 elementary matrix 的乘積使得 EA = In. 事 實上若將 augmented matrix [A|In]利用 elementary row operations 化為 [I_n|E], 則 EA = In, 故此時 E 就是 A⁻¹. 我們看以下的例子.

Example 3.5.6. 考慮矩陣

A =







1 0 1 −1 0 −1 −3 4 1 0 −1 2

−3 0 0 −1







我們要決定是否 A 是否為 invertible. 若為 invertible, 要找出 A⁻¹.

我們直接考慮 augmented matrix [A|I4], 利用 elementary row operation 將 A 的部分轉 換成 echelon form. 首先將 1-st row 分別乘上−1, 3 加至 3-rd, 4-th row, 即







1 0 1 −1 1 0 0 0 0 −1 −3 4 0 1 0 0 1 0 −1 2 0 0 1 0

−3 0 0 −1 0 0 0 1













1 0 1 −1 1 0 0 0 0 −1 −3 4 0 1 0 0 0 0 −2 3 −1 0 1 0 0 0 3 −4 3 0 0 1





.

接著將 3-rd row 乘上 3/2 加至 4-th row 得







1 0 1 −1 1 0 0 0 0 −1 −3 4 0 1 0 0 0 0 −2 3 −1 0 1 0 0 0 0 ¹₂ ³₂ 0 ³₂ 1





.

此時 augmented matrix 左半部為 echelon form, 其 pivot 的個數為 4, 故知 A 為 invertible.

我們繼續將左半部化為 reduced echelon form 便可得到 A⁻¹.

先將 4-th row 乘以 2, 然後將所得的 augmented matrix 的 4-th row 分別乘上−3, −4, 1 加至 3-rd, 2-nd 和 1-st row, 即







1 0 1 −1 1 0 0 0 0 −1 −3 4 0 1 0 0 0 0 −2 3 −1 0 1 0 0 0 0 1 3 0 3 2













1 0 1 0 4 0 3 2

0 −1 −3 0 −12 1 −12 −8 0 0 −2 0 −10 0 −8 −6

0 0 0 1 3 0 3 2





.

接著將 3-rd row 乘以 −1/2, 然後將所得的 augmented matrix 的 3-rd row 分別乘上 3, −1 加至 2-nd 和 1-st row, 即







1 0 1 0 4 0 3 2

0 −1 −3 0 −12 1 −12 −8

0 0 1 0 5 0 4 3

0 0 0 1 3 0 3 2













1 0 0 0 −1 0 −1 −1 0 −1 0 0 3 1 0 1 0 0 1 0 5 0 4 3 0 0 0 1 3 0 3 2





.

最後將 augmented matrix 的 2-nd row 乘上 −1. 此時所得 augmented matrix 左半部為 reduced echelon form (即 I₄), 故其右半部為 A⁻¹, 即

A⁻¹=







−1 0 −1 −1

−3 −1 0 −1

5 0 4 3

3 0 3 2





.

由前面討論我們知當 A∈ Mn×n(F) 為 invertible, 則存在 elementary matrices E1, . . . , E_k 使得 (E_k···E1)A = I_n. 亦即 A⁻¹= E_k···E1, 由 Proposition 3.5.5 (3), 我們知 E1, . . . , E_k 皆 為 invertible, 且由 (A⁻¹)⁻¹= A, 得 A = E₁⁻¹···E_k⁻¹. 事實上這些 elementary matrix E_i 的 inverse 就是將 E_i 還原成 I_n 的 elementary row operation 所對應的 elementary matrix. 也 就是說 E_i⁻¹ 亦為 elementary matrix. 因此我們有以下的定理.

Proposition 3.5.7. A 為 invertible matrix 若且唯若 A 為一些 elementary matrices 的乘 積.

Example 3.5.8. 考慮矩陣

A =



 0 2 0 1 −1 0 0 2 1



.

在求 A 的 inverse 的過程中, 首先我們將 1-st row 和 2-nd row 交換. 令此 elementary row operation 所對應的 elementary matrix 為 E₁. 因用相同的 elementary row operation 可將 E1 還原成 I₃, 故 E1= E₁⁻¹, 即



 0 2 0 1 0 0 1 −1 0 0 1 0 0 2 1 0 0 1







 1 −1 0 0 1 0 0 2 0 1 0 0 0 2 1 0 0 1



, E₁= E₁⁻¹=



 0 1 0 1 0 0 0 0 1



.

接 著 將 augmented matrix 的 2-nd row 乘 上 −1 加至 3-rd row. 令此 elementary row operation 所對應的 elementary matrix 為 E₂. 因將 2-nd row 乘上 1 加至 3-rd row 的 elementary row operation 可將 E2 還原成 I₃, 故所得的 augmented matrix 及 E2, E₂⁻¹ 分別

為 

 1 −1 0 0 1 0 0 2 0 1 0 0 0 0 1 −1 0 1



, E₂=



 1 0 0 0 1 0 0 −1 1



, E₂⁻¹=



 1 0 0 0 1 0 0 1 1



.

然後將 augmented matrix 的 2-nd row 乘上 1/2. 令此 elementary row operation 所對應的 elementary matrix 為 E3. 因將 2-nd row 乘上 2 的 elementary row operation 可將 E3 還原 成 I₃, 故所得的 augmented matrix 及 E₃, E₃⁻¹ 分別為



 1 −1 0 0 1 0 0 1 0 ¹₂ 0 0 0 0 1 −1 0 1



, E₃=



 1 0 0 0 ¹₂ 0 0 0 1



, E₃⁻¹=



 1 0 0 0 2 0 0 0 1



.

最後將 augmented matrix 的 2-nd row 乘上 1 加至 1-st row. 令此 elementary row operation 所對應的 elementary matrix 為 E₄. 因將 2-nd row 乘上 −1 加至 3-rd row 的 elementary row operation 可將 E4 還原成 I₃, 故所得的 augmented matrix 及 E4, E₄⁻¹ 分別為



 1 0 0 ¹₂ 1 0 0 1 0 ¹₂ 0 0 0 0 1 −1 0 1



, E₄=



 1 1 0 0 1 0 0 0 1



, E₄⁻¹=



 1 −1 0 0 1 0 0 0 1



.

我們檢查可得

A⁻¹= E₄E₃E₂E₁=





1

2 1 0

1

2 0 0

−1 0 1



, A = E₁⁻¹E₂⁻¹E₃⁻¹E₄⁻¹=



 0 2 0 1 −1 0 0 2 1



.

最後讓我們回到解聯立方程組的問題. 怎樣的 A∈ Mm×n(F) 會使得對任意 b ∈ F^m, 聯立 方程組 Ax = b 皆有解且解唯一呢? 由 Theorem 3.4.2 和 Theorem 3.4.5 知此時 rank(A) = m 且 rank(A) = n, 即 m = n. 也就是說 A 必須是 n×n 且 rank(A) = n. 因此由 Theorem 3.5.2 知 A 為 n× n invertible matrix. 事實上我們有以下的等價關係. 由於它們直接套用 Theorem 3.4.2 和 Theorem 3.4.5 就可推得, 我們就不再證明了.

Theorem 3.5.9. 假設 A∈ Mn×n(F), 令 a1, . . . , an∈ Fⁿ 為 A 的 column vectors. 則下列是等 價的.

(1) A 為 invertible matrix.

(2) Span(a₁, . . . , a_n) =Fⁿ.

(3) 對於任意 b∈ Fⁿ, 聯立方程組 Ax = b 皆有解.

(4) 聯立方程組 Ax = 0 沒有 nontrivial solution.

(5) 對於任意 b∈ Fⁿ, 聯立方程組 Ax = b 皆有解且解唯一.

設 A∈ Mn×n(F) 為 invertible matrix, 則對任意 b ∈ Fⁿ, 我們可以利用 A 的反矩陣 A⁻¹得 到聯立方程組 Ax = b 的唯一解. 事實上若令 x = A⁻¹b, 此時 Ax = A(A⁻¹b) = (AA⁻¹)b = b.

又由 Theorem 3.5.9 知此時 Ax = b 的解唯一. 故 x = A⁻¹b 為聯立方程組 Ax = b 唯一的一 組解.

Example 3.5.10. 考慮聯立方程組

x1 +x₃ −x4 = b1

−x2 −3x3 +4x4 = b2

x1 −x3 +2x4 = b3

−3x1 −x4 = b₄

其中 b₁, b2, b3, b4 為任意實數. 由於此時聯立方程組為 Ax = b, 其中 A 為 Example 3.5.6 中 的 4× 4 matrix A 且 b = [b1 b₂ b₃ b₄]^T. 因 A 為 invertible, 故由 Theorem 3.5.9 知, 對任意 實數 b₁, b₂, b₃, b₄, 聯立方程組 Ax = b 必有解且其解唯一. 事實上此唯一解為





 x1

x2

x3

x₄





 = A⁻¹b =







−1 0 −1 −1

−3 −1 0 −1

5 0 4 3

3 0 3 2











 b1

b2

b3

b₄





 =







−b1− b3− b4

−3b1− b2− b4

5b1+ 4b3+ 3b4

3b₁+ 3b₃+ 2b₄





.

———————————– 15 November, 2018