第五章 內積空間

第五章 內積空間

5.1 R

上之長度與點積 5.2 內積空間

5.3 單範正交基底： Gram-Schmidt 過 程

5.4 數學模型與最小平方分析 5.5 內積空間的應用

Elementary Linear Algebra 投影片設計製作者

R. Larsen et al. (6 Edition) 淡江大學 電機系 翁慶昌 教授

5.1 R

上之長度與點積

 長度 (length)

在 Rⁿ 上向量 的長度 可能表示為

 注意：長度的性質 ( 向量的長度不能為負數 )

為單位向量 (unit vector)

 注意：向量的長度也可以稱為範數 (norm)

線性代數 : 5.1 節 pp.344-345

2 2

2 2

|| 1

||

v

v

v

v

 

 

 

  ^{v v}

v v

v v

v

c c 











4

0

iff 0

3

1

2

0

1

) , , ,

(

v

v

v



v

 範例 1 ：

(a) 在 R⁵ 上， 的長度

(b) 在 R³ 上， 的長度

( 因為長度為 1 ，所以 v 是單位向量 )

線性代數 : 5.1 節 p.345

) 2 ,

4 , 1 , 2 ,

0

(  



v

5 25 )

2 ( 4

1 )

2 ( 0

||

|| v 

 





 

 

17 1 17 17

3 17

2 17

|| 2

||

2 2

2



 



 







 



  



 



 

v

) ,

,

(



v

 Rⁿ 的標準單位向量 (standard unit vector)

和 同方向 (same direction) 和 反方向 (opposite direction)

 注意：兩非零向量互相平行 (parallel)

 範例：

R² 上的標準單位向量：

R³ 上的標準單位向量：

線性代數 : 5.1 節 p.346

    ^{u u v v}

v u

0

2

0

1











c

c

c

 ^e

^{, e}

^, _ ^{, e}

  ^  ^{1 , 0 ,} _ ^{, 0}   ^{, 0 , 1 ,} _ ^{, 0}   ^{, 0 , 0 ,} _ ^{, 1}  

      ⁱ

^j





 ⁱ

^j

^k  



 

 

 

 定理 5.1 ：純量乘積的長度

令 v 為 Rⁿ 上的向量，而 c 是一純量，則

證明：

線性代數 : 5.1 節 pp.346-347

||

||

|

|

||

|| c v  c v

||

||

|

|

|

|

) (

) (

) (

) (

||

) ,

, ,

(

||

||

||

2 2

2 2

1

2 2

2 2

1 2

2 2

2 2

1

2 1

v v

c

v v

v c

v v

v c

cv cv

cv

cv cv

cv c

n n

n n





































) ,

, ,

( v

v

 v

 v

) ,

, ,

( cv

cv

cv

c  

 v

 定理 5.2 ：在 v 方向上的單位向量

若 v 是 Rⁿ 中一個非零的向量，則下列向量

表示長度為 1 且與 v 同方向。向量 u 可稱為在 v 方向 上的單位向量 (unit vector in the direction of v)

證明：

v 不為零向量

( 與 v 為同方 向 )

(u 的長度為 1)

線性代數 : 5.1 節 p.347

||

|| v

u

v

1 0

0  



 v v

v v u  1



1

||

|| ||

||

1

||

|| ||

||   v 

v v

u v

 注意：

(1) 向量 可稱為在 v 方向上的單位向量 (u nit vector in the direction of v)

(2) 這個在 v 方向上找單位向量的過程稱為單範化 (normalizing) 向量 v

線性代數 : 5.1 節 p.347

||

|| v

v

 範例 2 ：求單位向量

求在 方向上的單位向量，並證明其長度為 1

為單位向量 解：

線性代數 : 5.1 節 pp.347-348

 

 



 





 





 

 14

, 2 14 , 1

14 ) 3

2 , 1 , 3 14 ( 1 2

) 1 ( 3

) 2 , 1 , 3 (

||

|| v

v

14 1 14 14

2 14

1 14

3

2 2

2



 



 







 



 



 



 

v

v



) 2 , 1 , 3 ( 



v ^{ v  3}

^   ^{ 1}

^{ 2}

^{ 14}

) 2 , 1 , 3 ( 



v

 兩個向量間的距離 (distance)

在 Rⁿ 上 u 與 v 兩個向量間的距離為

 注意：距離的性質 (1)

(2) 若且唯若 (3)

線性代數 : 5.1 節 p.349

||

||

) ,

(

u v

u

v d

0 )

,

(

u v

d

0 )

,

(

u v

d ^{u  v}

) , ( )

,

(

u v d v u

d

 範例 3 ：求兩向量間的距離

兩向量 與 間的距離為

線性代數 : 5.1 節 p.350

) 2 , 2 , 0

 (

u v

3 1

2 )

2 (

||

) 1 2 , 0 2 , 2 0 (

||

||

||

) , (

2 2

2

  















 u v v

u

d

 Rⁿ 的點積 (dot product)

在 Rⁿ 上 與 的點積為

 範例 4 ：求兩向量間的點積

兩向量 與 間點積是

線性代數 : 5.1 節 pp.350-351

) 3 ,

0 , 2 , 1

( 



u v

2 )(

3 ( ) 4 )(

0 ( ) 2 )(

2 ( ) 3 )(

1

(       



 v

u

n n

v u v

u v

u





v

u

) ,

, ,

(

u

u

u



u v  ( v

, v

,  , v

)

 定理 5.3 ：向量點積的性質

若 u, v 與 w 為 Rⁿ 上的向量且 c 為一純量，

則以下的性質成立 (1)

(2) (3) (4)

(5) ， 此外 若且唯若

線性代數 : 5.1 節 p.351

u v v

u   

w u v

u w

v

u

) ( )

( )

(

u v c u v u c v c

||

|| v v

v  

 0

 v

v v

v  0

 歐基里德 n 維空間 (Euclidean n-space)

Rⁿ 被定義為所有有序 n 項實數對的集合。當 Rⁿ 結 合了

向量加法、純量乘積、向量長度與點積這些標準運 算後所構成的向量空間，我們稱為歐基里德 n 維空 間

線性代數 : 5.1 節 p.352

解：

 範例 5 ：求點積

求解下列問題 (a) ； (b) ； (c) ；

(d) ； (e)

線性代數 : 5.1 節 p.352

6 )

8 )(

2 ( ) 5 )(

2 ( )

( a u  v     

) 18 ,

24 ( )

3 , 4 ( 6 6

) (

)

( b u  v w   w      12

) 6 ( 2 )

( 2 )

2 ( )

( c u  v  u  v    

25 )

3 )(

3 ( ) 4 )(

4 (

||

||

)

( d w

 w  w      ) 2 , 13 ( )

6 8

, ) 8 ( 5 ( 2

)

( e v  w     

22 4

26 )

2 )(

2 ( ) 13 )(

2 ( )

2

(       

 v w u

) 3 , 4 ( ),

8 , 5 ( ,

) 2 ,

2

(    

 v w

u

v

u  ( u  v ) w u

||

|| w u

v

w

 範例 6 ：使用點積的性質 已知

解：

求解

線性代數 : 5.1 節 p.353

 39

 u

u u

v

) 3

( ) 2

( u  v  u  v

) 3

( 2

) 3

( )

3 ( ) 2

( u  v  u  v  u  u  v  v  u  v

254 )

79 ( 2 )

3 ( 7 )

39 (

3    



v v

u v

v u u

u       

 ( 3 ) ( 2 ) ( 3 ) ( 2 ) ) (

2 )

( 6 )

(

3 u  u  u  v  v  u  v  v



) (

2 )

( 7 )

(

3 u  u  u  v  v  v



 定理 5.4 ：科西 - 舒瓦茲不等式 (Cauchy - Schwarz inequality)

若 u 與 v 為 Rⁿ 上的向量，

則 ( 代表 的絕對值 )

線性代數 : 5.1 節 pp.353-354

||

||

||

||

|

|

u

v

u v

u

v

^{u  v}

 範例 7 ：科西 - 舒瓦茲不等式的例子

用 與 來驗證科西 - 舒瓦茲

不等式 解：

線性代數 : 5.1 節 pp.353-354

v u v

u

v v u

u v

u v u































55 5

11 1

1

5

, 11

,

1    





 v u u v v

u

3) 1, - , 1

 (

u v  ( 2 , 0, - 1)

 注意：

零向量與其他向量的夾角並沒有被定義

 Rⁿ 上兩個非零向量的夾角 (angle)

線性代數 : 5.1 節 p.355







 , 0

||

||

||

cos ||

v u

v u

1 cos  

 



1 cos

0



  0

cos 2





  



0 cos

2



 



0 cos 0 2





  

   

反方向 ^{u  v  0 u  v  0 u  v  0} 同方向

 範例 8 ：求兩向量間的夾角

解：

u

線性代數 : 5.1 節 p.355 的

) 2 ,

2 , 0 , 4

( 



u v

 

 







u u u

144 1 12 6

24 12

||

||

||

cos ||     

 





u v

v

 u

   

2²  ²   ²  ² 







v v v

12 )

1 )(

2 ( ) 1 )(

2 ( ) 0 )(

0 ( ) 2 )(

4

(        



 v u







  ( u   2 v )

 正交 (orthogonal)

Rⁿ 上的兩個向量 u 與 v 為正交 若

 注意：

零向量 0 與任何向量都成正交

線性代數 : 5.1 節 p.355

 0

 v

u

 範例 10 ：求正交向量

求 R² 中與 成正交的所有向量

令 解：

線性代數 : 5.1 節 p.356

0

2 4

) ,

( ) 2 , 4 (

2 1

2 1













v v

v v

v

 u

  ^ _ ^{ 0} _ ^

2 1 1

0 2

4

t t v

v  



1

,

 2 t ,t  t  R



 



  

 ,

v 2 )

2 , 4

 (

u v  ( v

, v

) )

2 , 4

 (

u

 定理 5.5 ：三角不等式 (triangle inequality) 若 u 與 v 為 Rⁿ 上的兩個向量，則

證明：

 注意：

三角不等式的等號成立若且唯若 u 與 v 為同方向

線性代數 : 5.1 節 p.357

||

||

||

||

||

||

u

v

u

v

) (

) (

||

|| u  v

 u  v  u  v

2 2

2

2 2( ) || || || || 2| | || ||

||

||

) (

2 )

( )

(

v v

u u

v v

u u

v v v

u u

u v

u v

v u

u









































2

2 2

||)

||

||

(||

||

||

||

||

||

||

2

||

||

v u

v v

u u











||

||

||

||

||

||

u

v

u

v



 定理 5.6 ：畢氏定理 (Pythagorean theorem)

若 u 與 v 為 Rⁿ 上的兩個向量，則 u 與 v 為正交若且唯 若

線性代數 : 5.1 節 p.358

2 2

2

|| || || ||

||

|| u  v  u  v

 點積與矩陣乘積

用一個 nx1 的行矩陣來表示 在 Rⁿ 上向量

線性代數 : 5.1 節 pp.358-359

 

 





 

 







u

u u



2 1

u

 

 





 

 







v

v v



2 1

v

] [

]

[

1

2

1 n n

n n

T

u v u v u v

v v v u

u

u    

 

 





 

 









 

  v

u v

u

) , ,

,

( u

u

 u



u

摘要與復習 (5.1 節之關鍵詞 )

 length: 長度

 norm: 範數

 unit vector: 單位向量

 standard unit vector : 標準單位向量

 normalizing: 單範化

 distance: 距離

 dot product: 點積

 Euclidean n-space: 歐基里德 n 維空間

 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式

 angle: 夾角

 triangle inequality: 三角不等式

 Pythagorean theorem: 畢氏定理

5.2 內積空間

(1) (2) (3)

(4) 且 若且唯若

 內積 (inner product)

令 u, v 與 w 為向量空間 V 的向量且 c 是任何純量。 V 上的內積是一個函數 <u, v> ，其將每一向量對 u 與 v 對應到一個實數並且滿足下列公理

線性代數 : 5.2 節 p.363

〉

〈

〉

〈

u

v

v

u

〉

〈

〉

〈

〉

〈 u , v  w  u , v  u , w

〉

〈

〉

〈

u

v c u

v

c

0 , 〉 

〈 v v 〈 v v , 〉  0 v  0

 注意：

具有內積的向量空間 V 稱為內積空間 (inner product space)

 注意：

向量空間：

內積空間：

線性代數 : 5.2 節，補充

上的一般內積 在向量空間

〉

〈

上的歐基里德內積 點積

V R







v u

v u

,

) (

 

 

, ,

, , ,

 

    V

V

 範例 1 ： Rⁿ 上的歐基里德內積

說明 Rⁿ 上的點積符合內積的四個公理 解：

由定理 5.3 可知點積符合內積的四個公理 因此為 Rⁿ 上的內積

線性代數 : 5.2 節 p.364

n n

v u v

u v

u   









, v u v u 〉

〈

) ,

, ,

( ,

) ,

, ,

( u

u

 u

 v

v

 v

 v

u

 範例 2 ： R² 上的另一種內積

證明下列式子符合 R² 的內積定義 解：

線性代數 : 5.2 節 pp.364-365

2 2 1

1

2

, 〉  u v  u v

〈 u v

) ,

( )

,

( u

u

 v

v

 v

u

〉

〈

〉

〈 u , v 2 2 v , u

)

( a  u

v

 u

v

 v

u

 v

u



〉

〈

〉

〈

〉

〈

w u v

u w

v u

, ,

) 2

( ) 2

(

2 2

) (

2 ) (

,

2 2 1

1 2

2 1

1

2 2 2

2 1

1 1

1

2 2

2 1

1 1































w u w

u v

u v

u

w u v

u w

u v

u

w v

u w

v



u

) ,

( )

( b w  w

w

 注意：

Rⁿ 上的一個內積型式

線性代數 : 5.2 節 pp.364-365

0 ,

, 〉  c

u

v

 c

u

v

   c

u

v

c



〉 u v

〉

〈

〉

〈

v u v

u

,

) (

2 )

( ) 2

( ,

)

( _{1 1 2 1 1 2 2}

c

v cu v

cu v

u v

u c c

c











0 2

, )

(

d

v

v

v

) 0 (

0 0

2 0

,

v

v

v

v v v v

〈

 範例 3 ：一個非內積的函數

證明下列式子不是 R³ 的一個內積

解：

令

不符合第 4 個公理

所以此式子不是 R³ 的一個內積

線性代數 : 5.2 節 p.365

1 1 2 2 3 3

, 

u v

u v

u v

〈

u v

) 1 , 2 , 1

 ( v

0 6

) 1 )(

1 ( ) 2 )(

2 ( 2 )

1 )(

1 (

, 〉     

〈

則

v v

 定理 5.7 ：內積的性質

令 u, v 與 w 為內積空間 V 的向量且 c 是任何實數 (1)

(2) (3)



u

 注意：

線性代數 : 5.2 節 p.367

0 ,

, 〉  〈 〉 

〈 0 v v 0

〉

〈

〉

〈

〉

〈

u

v

w

u

w

v

w

〉

〈

〉

〈 u , c v  c u , v

〉

〈 u u u || ,

|| 

〉

〈 u u u || ,

||



 u 與 v 的距離 (distance)

 兩個非零向量 u 與 v 的夾角 (angle)

 正交 (orthogonal)

若 　　，則稱 u 與 v 為正 交

線性代數 : 5.2 節 p.367













 u v u v u v v

u , ) || || , (

d







 , 0  

||

||

||

||

cos ,

v u

v

u 〉

〈

0 , 〉 

〈 u v

)

( u  v

 注意：

(1) 若 則稱其為單位向量 (unit vector)

(2) ( 在 v 方向的單位向

非單位向量 量 )

線性代數 : 5.2 節 p.367

1

||

||

v

0

1



 v

v 

  

v

v

 範例 6 ：求內積

為一內積函數

解：

線性代數 : 5.2 節 p.368

上的向量 為

令 p ( x )  1  2 x

, q ( x )  4  2 x  x

P

( x )

n n

b a b

a b

a q

p , 〉 



  

〈

? ,

)

( a 〈 q p 〉  ( b ) || q ||  ? ( c ) d ( p , q )  ? 2

) 1 )(

2 ( ) 2 )(

0 ( ) 4 )(

1 ( ,

)

( a 〈 q p 〉      

21 1

) 2 ( 4

,

||

||

)

( b q  〈 q q 〉 

 





22 )

3 ( 2

) 3 (

,

||

||

) , (

3 2

3 )

(

2 2

2

2







































q p

q p

q p

q p d

x x

q

c  p

 範數的性質 (1)

(2) 若且唯若 (3)

 距離的性質 (1)

(2) 若且唯若 (3)

線性代數 : 5.2 節 p.370

0

||

||

u

||

||

u

u  0

||

||

|

|

||

||

c u

c u

0 )

,

(

u v

d

0 )

,

(

u v

d u  v

) , ( )

,

(

u v d v u

d

 定理 5.8 ：

若 u 與 v 為內積空間 V 的向量 (1) 科西 - 舒瓦茲不等式：

(2) 三角不等式：

(3) 畢氏定理： u 與 v 成正交若且唯若 定理 5.5 定理 5.6

定理 5.4

線性代數 : 5.2 節 pp.370-371

||

||

||

||

||

||

u

v

u

v

2 2

2

|| || || ||

||

|| u  v  u  v

||

||

||

||

| ,

| u v 〉  u v

〈

 正交投影 (orthogonal-projection)

令 u 與 v 為內積空間 V 上的兩個向量且 ， 則 u 正交投影到 v 可表示為

 注意：

若 (v 為單位向量 ) ， 則 u 正交投影到 v 的式子可簡寫成

線性代數 : 5.2 節 p.372

0 v 

v v v

v u u

v 〈 , 〉

〉

〈 , proj 

1

||

||

, v  v



v 〉

〈

v v

u

v

u 〈 , 〉

proj 

 範例 10 ：求 R³ 上的正交投影 用 R³ 上的歐氏內積求

的正交投影 解：

線性代數 : 5.2 節 p.373

) 0 , 2 , 1 ( )

4 , 2 , 6

( 

 v

u 到

v

u proj

10 )

0 )(

4 ( ) 2 )(

2 ( ) 1 )(

6 (

,     

 u v



5 0

2 1

,  







 v v

) 0 , 4 , 2 ( )

0 , 2 , 1 (

proj 





 

 v

v v

v u u

v

 定理 5.9 ：正交投影與距離

令 u 與 v 為內積空間 V 上的兩個向量且 ，則

線性代數 : 5.2 節 p.374

0 v 

〉

〈 ,

〉

〈 ,

, ) ,

( )

proj ,

( v v

v v u

u u

u

 d c c 

d

摘要與復習 (5.2 節之關鍵詞 )

 inner product: 內積

 inner product space: 內積空間

 norm: 範數

 distance: 距離

 angle: 夾角

 orthogonal: 正交

 unit vector: 單位向量

 normalizing: 單範化

 Cauchy – Schwarz inequality: 科西 - 舒瓦茲不等式

 triangle inequality: 三角不等式

 Pythagorean theorem: 畢氏定理

 orthogonal projection: 正交投影

5.3 單範正交基底： Gram-Schmidt 過程

 正交 (orthogonal)

在內積空間 V 上的集合 S 稱為正交，若在 S 上每對向 量均為正交

 單範正交 (orthonormal)

若在 S 上每對向量均為正交且每個向量均為單位向量 則稱 S 為單範正交

 注意：

若 S 為基底，則分別稱為正交基底 (orthogonal basis) 或單範正交基底 (orthonormal basis)

線性代數 : 5.3 節 p.380

 







 











j i

j i

i i

n

0 , 1

, ,

, ₂

1

v v

V v

v v

S





, 0

n

i j

 



S v v v V

v v



j

i 

 範例 1 ：

R

證明 S 為單範正交基底 解：

證明三個向量彼此為正交

線性代數 : 5.3 節 pp.380-381

 

 



 



 

 



 

 

 

 



 



 

3 , 1 3 , 2 3 , 2

3 2 , 2

6 , 2 6 , 2

0 2 , , 1 2 1

3 2

1

S

v v

v

9 0 2 2 9

2 9

2

0 2 0

3 2 2

3 2

0 0

3 2

3 1

61 61 2

1



































v v

v v

v

v

證明三個向量的長度均為 1

因此 S 是一個單範正交集合

線性代數 : 5.3 節 pp.380-381

1

||

||

1

||

||

1 0

||

||

91 94 94 3

3 3

9 8 362 362

2 2

2

2 1 2 1 1

1 1





































v v

v

v v

v

v v

v

證明：

 範例 2 ： 的單範正交基底 在 上，使用下列的內積定義

此組標準基底 為單範正交

線性代數 : 5.3 節 p.382

, 0 0

1 ²

1  

x

x

v v

x

x

v

x

x

)

2

( x P

)

2

( x P

2 2 1

1 0

, q a

b a b a b

p   

} , , 1

{

x x

B

0 )

1 )(

0 ( ) 0 )(

1 ( ) 0 )(

0 ( ,

, 0 )

1 )(

0 ( ) 0 )(

0 ( ) 0 )(

1 ( ,

, 0 )

0 )(

0 ( ) 1 )(

0 ( ) 0 )(

1 ( ,

3 2

3 1

2 1

























v v

v v

v

v

線性代數 : 5.3 節 p.382

        

        

        

, 1 0

0 1

1 0

0

, 1 0

0 0

0 1

1

2 1











































3 3 3

2 2

1 1

v , v v

v , v v

v

,

v

v