當 A∈ Mm×n(R), 我們都知道聯立方程組 Ax = b 有解, 若且 唯若 b∈ Col(A)

4.5. 聯立方程組和內積的連結

在這一節中我們將利用內積的概念處理聯立方程組無解的情況. 我們要探討一個 linear system 無解時或是有解但解不唯一時, 如何可找到最佳的可能解. 我們也將利用這樣的概念 處理大家高中所學有關統計二維資料的最適合直線.

當 A∈ Mm×n(R), b ∈ R^m 我們知道 Col(A) 可以幫助我們判斷聯立方程組 Ax = b 是否 有解, 而 N(A) 可幫助我們判斷 Ax = b 若有解其解是否唯一. 又 Theorem 4.4.2 告訴我們 Col(A)^⊥= N(A^t), 我們將利用這個關係來探討聯立方程組無解或解不唯一時如何處理問題.

首先我們探討無解的情形. 當 A∈ Mm×n(R), 我們都知道聯立方程組 Ax = b 有解, 若且 唯若 b∈ Col(A). 因此, 一般在日常應用中, 當我們要處理的聯立方程組 Ax = b 無解時, 我 們認為很有可能是 b 發生誤差所導致, 所以會去找 b₀ 為所有使得聯立方程組 Ax = b^′ 有 解的 b^′ 中與 b 的距離最近的一個. 這樣的 b₀ 所得的聯立方程組 Ax = b₀ 的解, 我們認為 是最佳的可能解. 然而符合 Ax = b^′ 有解的 b^′ 所成的集合就是 Col(A) 這一個 subspace, 所以依 Proposition 4.3.15 我們知道所有的 b^′ 中距離 b 最近的 b₀ 應該就是 b 在 Col(A) 的 orthogonal projection. 也因此由 orthogonal projection 的定義以及 Theorem 4.4.2 知, b− b0∈ Col(A)^⊥= N(A^t). 此即表示 A^t(b− b0) = 0, 也就是

A^tb₀= A^tb. (4.4)

由於我們是要解 Ax = b₀ 所以代入上式推得要解

A^tAx = A^tb. (4.5)

注意式子 (4.5) 和式子 (4.4) 的不同點在於, 我們不必求出 b₀ 再解 Ax = b₀, 而是直接解 A^tAx = A^tb. 不過我們必須說明式子 (4.5) 的解確實是我們希望得到的最佳的可能解.

假設 x = x₀ 是 A^tAx = A^tb 的一解, 令 b₀= Ax0 此即表示 b₀∈ Col(A) 且 b−b0∈ N(A^t) = Col(A)^⊥. 因此得證 b₀就是 b 在 Col(A) 的 orthogonal projection, 故由 Proposition 4.3.15 知 b₀ 確實是所有使得聯立方程組 Ax = b^′ 有解的 b^′ 中距離 b 最近的一個. 因此若 A^tAx = A^tb 有解, 則此解的確會是我們所期望的一個最佳的可能解. 現在我們面臨的問題是式子 (4.5) 一定有解嗎?

Proposition 4.5.1. 假設 A∈ Mm×n(R) 且 b ∈ R^m. 聯立方程組 A^tAx = A^tb 一定有解. 特別 地, 若 rank(A) = n, 則聯立方程組有解且解唯一.

Proof. 令 b0 為 b 在 Col(A) 的 orthogonal projection, 亦即 b0∈ Col(A) 且 b−b0∈ Col(A)^⊥ . 因 b₀∈ Col(A) 故存在 x0∈ Rⁿ 使得 Ax₀= b₀. 又 b− b0∈ Col(A)^⊥ 而 Col(A)^⊥= N(A^t) 故 得

0 = A^t(b− b0) = A^tb− A^tb₀= A^tb− A^t(Ax₀), 故知 x₀ 確實滿足 A^tAx0= A^tb, 因此聯立方程組 A^tAx = A^tb 一定有解.

當 rank(A) = n, 由 Corollary 4.4.4 我們知 A^tA 為 invertible, 所以聯立方程組 A^tAx = A^tb

有解且解唯一. 

注意當 rank(A) < n 時, 聯立方程組 A^tAx = A^tb 雖然有解不過其解因等同於聯立方程 Ax = Proj_Col(A)(b) 的解, 故由 A 為 m× n matrix 以及 Theorem 2.4.5 知其解不唯一 (會有無 窮多解). 有關於解不唯一的情形, 我們等一下再談.

由 Proposition 4.5.1, 我們特別有以下的定義.

Definition 4.5.2. 假設 A∈ Mm×n(R) 且 b ∈ R^m. 考慮聯立方程組 Ax = b. 我們稱聯立方程 組 A^tAx = A^tb 為 Ax = b 的 normal equations.

這裡要強調的是, 當求 Ax = b 無解時, 我們是求 normal equations 的解, 而不是要求 b 在 Col(A) 的 projection. 所以在解出 normal equation 的後, 是不必再在解的左邊乘上 A 的.

另外即使聯立方程組 Ax = b 有解, 即 b∈ Col(A), 此時 b 在 Col(A) 的 projection 就是 b 本 身. 所以此時 Ax = b 的解和其 normal equations A^tAx = A^tb 的解是一致的. 因此我們可以 不必擔心原方程組 Ax = b 是否有解, 直接求其 normal equations A^tAx = A^tb 的解即可.

Example 4.5.3. 考慮聯立方程組 Ax = b 其中 A =





 1 3 2 4 2 2 1 3





 且 b =





 2 0 1 4





, 此時 A^tA = [ 10 18

18 38 ]

以及 A^tb = [8

20 ]

, 故得 Ax = b 的 normal equations 為 10x₁+ 18x₂ = 8

18x₁+ 38x₂ = 20 . 解得

[x₁ x₂ ]

= [−1

1 ]

為其解. 我們也可由 rank(A) = 2, 得 A^tA 為 invertible 且其 inverse 為 (A^tA)⁻¹= (1/28)

[ 19 −9

−9 5 ]

.解得 [x₁

x₂ ]

= (A^tA)⁻¹A^tb = 1 28

[ 19 −9

−9 5 ][8

20 ]

= [−1

1 ]

.

我們可以檢查





 1 3 2 4 2 2 1 3





 [−1

1 ]

=





 2 2 0 2





 確為 b 在 Col(A) 的 projection (參見 Example 4.4.7).

有關 normal equation 的應用, 最常見的就是二維資料的最適合直線. 也就是說當我們 有一組二維的資料 (x₁, y₁), . . . , (x_n, y_n),我們希望找到一條直線 y = mx + c, 希望這些點 (x_i, y_i) 盡可能地靠近這條直線. 注意這裡 x₁, . . . , x_n 以及 y₁, . . . , y_n 都是給定的數, 而我們要解的不 是 x, y 而是這個直線的斜率 m 以及 y 截距 c. 依聯立方程組的觀點來看, 我們希望找到 m, c 使之符合

mx₁+ c = y₁ mx₂+ c = y₂

... mx_n+ c = y_n.

換句話說我們要解聯立方程組 Ax = b, 其中 A =





 x₁ 1 x2 1 ... ... x_n 1





, x = [m

c ]

, b =





 y₁ y2

... y_n





. 當然了, 這

些給定的資料 (x₁, y₁), . . . , (x_n, y_n) 不一定會使得 Ax = b 有解, 所以我們要求的是 Ax = b 的 normal equation 的解, 也就是解 A^tAx = A^tb. 注意, 因為一般要分析的二維資料是要探討 x_i, y_i 之間的關係, 所以這些資料中 x₁, . . . , x_n 是不會全相同的 (否則 (x₁, y₁), . . . , (x_n, y_n) 會同 時落在一鉛直線上, 也沒甚麼好探討的了), 所以這裡 rank(A) = 2, 因此由 Proposition 4.5.1 知 normal equations A^tAx = A^tb 一定有解且解唯一. 接下來我們要說明的是, 這樣所得的直 線其意義為何?

給定 m, c∈ R, 對於 i = 1,...,n, 令 y^′_i= mx_i+ c. 也就是說 (x_i, y^′_i)會在直線 y = mx + c 上.

為方便起見令 b^′=



 y^′₁

... y^′_n



, 此時 b^′=



 x₁ 1

... ... x_n 1



 [m

c ]

∈ Col(A). 又令 εi= y^′_i− yi, 此即將直線 y = mx + c 代 x_i 所得的 y^′_i 與實際資料中的 y_i 之誤差. 我們知道代這些 x_i 後所得的誤差越 小越好, 不過由於 εi 會有正有負, 怕正負抵銷了影響誤差的判定, 所以我們取平方, 也就是 說希望 ε1²+··· +εn² 的值越小越好. 然而依定義 ε1²+··· +εn² 就是 b^′ 和 b 距離的平方, 即

∥b − b^′∥². 另一方面, 我們利用 Ax = b 求出其 normal equation A^tAx = A^tb 的解 x = [m

c ]

, 這裡的 m, c 就是讓直線 y = mx + c 所估計得的 b^′ 會是 b 在 Col(A) 的投影, 也就是說會讓

∥b − b^′∥ 的值最小. 所以符合我們希望誤差ε₁²+··· +εn² 最小的要求. 也因此這樣所得的直 線, 我們稱之為 least squares line (最適合直線, 或最小平方直線), 在統計學中稱之為 line of regression (迴歸直線).

Example 4.5.4. 考慮二維資料 (−1,0),(1,1),(2,3) 我們要找出此資料的 least square line y = mx + c.

原先要解的方程組是

−1m + c = 0 1m + c = 1 2m + c = 3, 其矩陣表示法為



 −1 1 1 1 2 1



[ a b ]

=



0 1 3



. 故其 normal equations 為

[ −1 1 2 1 1 1

] −1 1 1 1 2 1



[ a b ]

=

[ −1 1 2 1 1 1

]0 1 3



,

即

6m + 2c = 7 2m + 3c = 4,

解得 least squares solution 為 m = 13/14, c = 5/7 故此組資料的 least squares line 為 y =13

14x +5 7.

接著我們探討幾個和 least squares line 有關的性質.

Proposition 4.5.5. 考慮二維資料 (x₁, y₁), . . . , (x_n, y_n). 令 y = mx + c 為其 least squares line 且對於 i = 1, . . . , n 令 y^′_i= mxi+ c. 則有以下知性質:

(1) y₁+··· + yn= y^′₁+··· + y^′n.

(2) x₁y₁+··· + xny_n= x₁y^′₁+··· + xny^′_n.

(3) 令 x 和 y 分別為 x₁, . . . , x_n 以及 y₁, . . . , y_n 的平均數, 即 x = (x₁+··· + xn)/n, y = (y1+··· + yn)/n. 則點 (x, y) 在直線 y = mx + c 上, 即 y = mx + c.

Proof. 為方便起見令 b =





 y1

y₂ ... yn





, b^′=





 y^′₁ y^′₂ ... y^′_n





又令 A =





 x1 1 x₂ 1 ... ... xn 1





, 則依 x = [m

c ]

是 Ax = b 的

least squares solution 得 b^′= A [m

c ]

為 b 在 Col(A) 的 projection. 即 b−b^′∈ Col(A)^⊥= N(A^t), 故得

A^t(b− b^′) =

[ x₁ ··· xn

1 ··· 1 ]





 y1− y^′₁ y2− y^′₂

... yn− y^′_n





=

[x₁(y₁− y^′₁) +··· + xn(y_n− y^′n) (y₁− y^′₁) +··· + (yn− y^′n)

]

= [0

0 ]

.

得證 (1), (2).

令 y^′= (y^′₁+··· + y^′n)/n, 由 (1) 知 y = y^′. 又由於對所有 i = 1, . . . , n, 皆有 y^′_i= mx_i+ c, 故

知 y^′= mx + c. 得證 (3), 即 y = mx + c. 

最後我們說明一下, 對於二維資料我們不只能談論這資料的最適合直線, 也能談論其他 的最適合曲線. 例如有些二維資料我們覺得和拋物線有關, 我們就可以試圖找一條最適合的 拋物線 y = ax²+ bx + c, 然後代入這些二維資料得到以 a, b, c 為變數的聯立方程組, 再找出 此方程組的 least squares solution. 這樣所得的拋物線就會是誤差平方和最小的最適合拋物 線了. 至於更高次的多項式也可如法炮製, 我們就不詳述了.

上 一 節 提 過 QR decomposition 可 以 幫 忙 處 理 這 類 的 問 題. 假 設 A∈ Mm×n(R) 且 rank(A) = n, 對於聯立方程組 Ax = b 要其解 normal equations A^tAx = A^tb. 我們可以將 A 寫成 QR decomposition A = QR 來處理. 此時我們要解 (QR)^tQRx = (QR)^tb, 利用 trans- pose 和矩陣乘法性質得 R^tQ^tQRx = R^tQ^tb. 然而 Q 的 column vectors 是 C(Q) 的 orthonormal basis, 前面提過 Q^tQ 會是 identity matrix I_n. 因此我們可以將 normal equations 化簡成 R^tRx = R^tQ^tb. 再利用 R 為 invertible, 所以 R^t 也是 invertible, 兩邊乘上 R^t 的 inverse, 我們 再將 normal equations 化簡為 Rx = Q^tb. 這個聯立方程組就很好解了, 這是因為 R 為 upper triangular matrix 且對角線位置皆不為 0, 所以 R 本身就是 echelon form, 因此我們可以很 快求出解.

接下來我們探討 linear system Ax = b 有解, 但解不唯一的情形. 在很多情況當 Ax = b 解不唯一時, 我們希望能找到長度最小的解. 我們有以下的定義.

Definition 4.5.6. 假設 A∈ Mm×n(R) 且 b ∈ R^m. 考慮聯立方程組 Ax = b. 若 v∈ Rⁿ 滿足 Av = b 且對任意 Ax = b 的一組解 w 皆滿足∥v∥ ≤ ∥w∥, 則稱 v 為 linear system Ax = b 的 minimal solution (或稱 least square solution).

如何找到 Ax = b 的 minimal solution 呢? 假設 v, w 皆為 Ax = b 的一組解, 則由 Av = b 以及 Aw = b 可得 A(v−w) = 0. 因此若令 u = v−w, 則得 u ∈ N(A) 且 w = v−u. 反之, 當我 們已找到 v 為 Ax = b 的一組解時, 對任意 u∈ N(A), 皆有 A(v−u) = Av−Au = b−0 = b, 亦 即 v−u 也是 Ax = b 的一組解. 因此聯立方程組 Ax = b 的解集合可以寫成 {v−u | u ∈ N(A)}, 其中 v 為 Ax = b 的一組解. 也就是說當我們已找到 Ax = b 的一組解 v, 我們要找到 u∈ N(A) 使得 ∥v − u∥ ≤ ∥v − u^′∥, ∀u^′∈ N(A), 此時 v − u 就會是 Ax = b 的 minimal solution. 如何 在 N(A) 中找到 u 呢? 由於 N(A) 是Rⁿ 的 subspace, Proposition 4.3.15 告訴我們 u 就是 v 在 N(A) 的 orthogonal projection. 也因此可得 v− u ∈ N(A)^⊥. 再由 Theorem 4.4.2, 知 N(A)^⊥= Col(A^t), 故知此 minimal solution v− u ∈ Col(A^t). 這表示 v− u 會在 n × m 矩陣 A^t 的 column space, 因此存在 x^′∈ R^m 使得 v− u = A^tx^′. 此時由 A(v− u) = Av − Au = b, 得 (AA^t)x^′= A(A^tx^′) = A(v− u) = b. 所以我們只要解聯立方程組 (AA^t)x^′= b, 找出的解 x^′∈ R^m 由於會使得 A^tx^′∈ Col(A^t) 且符合方程組 A(A^tx^′) = b, 因此令 x = A^tx^′ 就會是 linear system Ax = b 的 minimal solution. 現在問題是 linear system (AA^t)x^′= b 會有解嗎?

Proposition 4.5.7. 假設 A∈ Mm×n(R) 且 b ∈ R^m. 假設聯立方程組 Ax = b 有解, 則聯立方 程組 (AA^t)x^′= b 必有解, 且若 x^′= w∈ R^m 為其一組解, 則 x = A^tw 會是聯立方程組 Ax = b 的 minimal solution.

Proof. 我們知道聯立方程組 Ax = b 有解表示 b∈ Col(A), 現要證明聯立方程組 (AA^t)x^′= b 有解, 我們只要證明 b∈ Col(AA^t) 即可. 回顧在 Proposition 3.7.16 (1) 當 A∈ Mm×n(R), B ∈ M_n×l(R), 則 Col(AB) ⊆ Col(A). 因此由 Col(AA^t)⊆ Col(A) 以及 rank(AA^t) = rank(A^t) = rank(A) (Corollary 4.4.4) 知 Col(AA^t) = Col(A). 因此 v∈ Col(AA^t),得證聯立方程組 (AA^t)x^′= b 有 解. 現若 w∈ R^m 是 (AA^t)x^′= b 的一解, 即 (AA^t)w = b, 則由 (AA^t)w = A(A^tw) 知 A^tw 為 Ax = b 的一解. 由前面的討論我們知道既然 A^tw 為 Ax = b 的一解, 則聯立方程組 Ax = b 所有的解應為 A^tw + u, 其中 u∈ N(A) 這樣的形式. 此時

∥A^tw + u∥²=⟨A^tw + u, A^tw + u⟩ = ⟨A^tw, A^tw⟩ + 2⟨A^tw, u⟩ + ⟨u,u⟩ = ∥A^tw∥²+∥u∥². 這裡⟨A^tw, u⟩ = 0, 因為 A^tw∈ Col(A^t) = N(A)^⊥. 由此可知當 u∈ N(A) 且 u ̸= 0 時 ∥A^tw + u∥ >

∥A^tw∥, 故 x = A^tw 會是聯立方程組 Ax = b 的 minimal solution.  在 Proposition 4.5.7 中因為 A 為 m× n matrix, 所以聯立方程組 Ax = b 的解是在 Rⁿ 中, 而要求其 minimal solution 我們要解的聯立方程組為 AA^tx^′= b 其解是在R^m 中, 而要得 到 minimal solution 必須將 AA^tx^′= b 的解左邊再乘上 A^t, 因此知 minimal solution 會在 A^t 的 column space, 也就是 A 的 row space.

Corollary 4.5.8. 假設 A∈ Mm×n(R), b ∈ R^m 且聯立方程組 Ax = b 有解. 則在 A 的 row space 中存在唯一的向量 v 滿足 Av = b, 且 v 為 Ax = b 的 minimal solution.

Proof. 我們已知 Ax = b 的 minimal solution 在 Col(A^t) 中, 亦即在 A 的 row space 中. 因 此僅剩下要證明唯一性, 亦即假設 v, v^′ ∈ Col(A^t) 且 Av = b, Av^′ = b, 我們要證明 v = v^′. 由 Av = Av^′= b 可得 A(v− v^′) = 0, 亦即 v− v^′∈ N(A). 又 Col(A^t) 為 Rⁿ 的 subspace, 故 v−v^′∈ Col(A^t). 因此得 v−v^′∈ N(A)∩Col(A^t). 然而 Col(A^t) = N(A)^⊥ (Theorem 4.4.2) 故得 N(A)∩ Col(A^t) = N(A)∩ N(A)^⊥={0} (Lemma 4.3.4), 因此得證 v = v^′.  Example 4.5.9. 我們用一個簡單的例子說明 Proposition 4.5.7 以及 Corollary 4.5.8. 考 慮 A =



1 0 1 1 1 2 0 1 1



, b =



2 2 0



. 很容易看出此 linear system Ax = b 有一組解 v₁=



2 0 0



 由

於 rank(A) = 2, 我們知到此方程組有無窮多解. 事實上此 linear system Ax = b 有另一組 解 v₂=



 1

−1 1



. 我們有 ∥v2∥ =√

3 <∥v1∥ = 2, 還有沒有長度更小的解呢? 我們要找到其

minimal solution. 由於 AA^t=



2 3 1 3 6 3 1 3 2



, 我們解 (AA^t)x^′= b, 即



2 3 1 3 6 3 1 3 2







x1

x₂ x₃



 =



2 2 0



 得

x^′=



 2

−2/3 0



 為其一組解, 故知 x = A^tx^′=



1 1 0 0 1 1 1 2 1







 2

−2/3 0



 =



 4/3

−2/3 2/3



 為原方程組 Ax = b

的 minimal solution. 事實上 N(A) = Span(



 1 1

−1



). 所以 Ax = b 所有的解為 v + ru 的形式,

其中 v =



 4/3

−2/3 2/3



,u =



 1 1

−1



, r ∈ R. 由於 ⟨v,u⟩ = 0, 我們有 ∥v + ru∥²=⟨v + ru,v + ru⟩ =

∥v∥²+ r²∥u∥²= (24/9) + 3r². 知 v 確為 linear system Ax = b 之 minimal solution.

—————— 春節愉快 —————— 07 January, 2022