數學模型與最小平方分析

W 的正交補集 (orthogonal complement) 令 W 是內積空間 V 的一個子空間

(a) 在 V 中的一個向量 u 被稱正交於 W (orthogonal to W) ，

若 u 正交 W 中的每一個向量

(b) 在 V 中與 W 上每一個向量正交的所有向量所構成的 集合被稱為 W 的正交補集 (orthogonal complement)

( 讀 “ perp”)



 注意：

線性代數 : 5.4 節 p.399

} W ,

0 ,

| V {

W^  v v w   w 

W W

 

 

 

⁰

V (2)

V 0

(1)









 注意：

 直和 (direct sum)

令 與 為 上的子空間。若每個向量 可被唯一寫成為 中向量 與 中向量 的和，

則 為 與 的直和而且我們可以寫成

 定理 5.13 ：正交子空間的性質

令 W 為 Rⁿ 的子空間，則下列性質為真 (1)

(2) (3)

線性代數 : 5.4 節 p.401

W1 W₂ Rⁿ xRⁿ

W1 w₁ W2 w₂

2

1 w

w x  

Rn W₁ W₂

2

1 W

W 

 Rn

 n

 dim(W^) )

W dim(

 

 W W

Rn

W )

W

( ^{ } 

 定理 5.14 ：在子空間的投影 (projection onto a subspac e)

若 為內積空間上子空 間 W 的一組單範正交基底且 ，則

線性代數 : 5.4 節 p.403

} ,

, ,

{u₁ u₂  u_t

V v

v v  proj_W

||

t

t u

u v u

u v u

u v

v , , ,

proj_W  _{1 1}  _{2 2}   

i 0 i

,

proj_W   

  v v



 範例 5 ：在子空間上的投影

求向量 v 在子空間 上的投 解：影

W 之正交基底

單範正交基底

線性代數 : 5.4 節 p.403



^{0 ,3 ,1}



^, ₂ ^



^{2 ,0 ,0}



^{, }



^{1 ,1 ,3}



 w v

w₁



^w₁^,w₂



^:

 

^),



^1,0,0



^:

10 , 1

10 , 3

0 ( ,

,

2 2 1

1







 











 

 w

w w

u w u_{1 2}

}) ,

({

W  span w₁ w₂

 可用後面之方法求：

 定理 5.15 ：正交投影與距離

令 W 為 V 上的子空間且 ，則對所有 且 ，下式成立

( 在 W 的所有向量中， 是最逼近於 v 的向量 )

線性代數 : 5.4 節 pp.404-405

V

v w W

v w  proj_W

||

||

||

proj

||v  _Wv  v  w

||

||

min

||

proj

||v  _Wv  v  w

或 wW

Wv proj

 證明：

利用畢氏定理

線性代數 : 5.4 節 pp.404-405

) proj

( ) proj

(v _Wv _Wv w

w

v     

) proj

( )

proj

(v  _Wv  _Wv  w

2 W

2 W

2 || proj || ||proj ||

||

||v  w  v  v  v  w



0 proj

proj_W  _W  

 v v w

w

2 W

2 || proj ||

||

|| v  w  v  v



||

||

||

proj

||v  _Wv  v  w



 注意：

(1) 在所有向量 u 的純量倍數中， v 正交投影到 u 是 最逼近 v 的一個向量

(2) 在子空間 W 的所有向量中，向量 是

最逼近 v 的向量

線性代數 : 5.4 節 pp.404-405

wv proj

 定理 5.16 ：矩陣的基本子空間 (fundamental subspaces)

 範例 6 ：基本子空間

求下列矩陣的四個基本子空間

( 列簡梯形形式 )

 解：

線性代數 : 5.4 節 p.405



















0 0 0

0 0 0

1 0 0

0 2 1 A

   

 



1,0,0,0 0,1,0,0



⁴的子空間 span

)

(A R

CS 

 

span

  

1,2,0

 

0,0,1

  

³的子空間 )

(A RS A R

CS ^  

 檢查：

 範例 3 ：

W 的基底

 最小平方問題 (least squares problem) 為線性方程式系統

(1) 如果此系統為一致性，我們可以使用高斯消去法 與反代法來解 x

(2) 當系統為不一致性時，如何找出“最可能的”解，也 就是 x 的值使得 Ax 與 b 的差相當 的小。有一個方

法可以定義出“最可能的”，此法需要最小化 Ax-b 的範數。這個定義即是最小平方問題 的核心。

線性代數 : 5.4 節 p.407

b x  An n1 m1 m

 最小平方解 (least squares solution)

考慮一個有 m 個線性方程式和 n 個未知數的系統

Ax=b ，最小平方問題是在 Rⁿ 中找出使得 為最小的向量 x ，此向量稱為 Ax=b 的最小平方解

線性代數 : 5.4 節 p.407

b x  A

(Ax=b 的一般方程式 (normal

 注意：

解 的最小平方問題相當於是在解其所 相對的一般方程式 的明確解

 定理：

對於任一線性系統 ，這其所相對的一般方程 式

為一致性系統，且一般方程式的所有解是 Ax=b 的最 小平方解。此外，假如 W 是 A 的行空間，且 x 是

Ax=b 的任一最小平方解，則 b 正交投影到 W 是

線性代數 : 5.4 節 p.407

b x  A

b x ^

A  A A ˆ

b x  A

b x ^

A  A A ˆ

x b A pwoj_W 

 定理：

若 A 為一具有線性獨立行向量之 mxn 的矩陣，則對於 每一個 mx1 的矩陣 b ，線性系統 Ax=b 有一唯一最 小平方解。這解為

此外，假如 W 是 A 的行空間，則 b 正交投影到 W 是

線性代數 : 5.4 節 p.407

 

^b

x  A^A ^1 A^

 

^b

x

b  A  A A^A ^ A^

proj_W ¹

 範例 7 ：求解一般方程式

求下列系統的最小平方解

和求 b 正交投影到 A 的行空間

線性代數 : 5.4 節 p.408

















 



 























3 1 0

3 1

2 1

1 1

1 0

c c

Ax b

 解：

這個系統 Ax=b 的最小平方解為

在文檔中 第五章 內積空間 (頁 59-82)