Inner Product Space

(1)

Inner Product Space

在 R² 和 R³ 中大家熟悉內積 (dot product) 的定義可以推廣到一般的 Rⁿ. 甚至可推廣到 更一般的 vector space. 在一般的 vector space, 我們就不再用 dot product 而用所謂 inner product 來稱之. Inner product 可以幫助我們定義出 vector space 中許多重要的 subspaces.

具有 inner product 的 vector space 就稱為 inner product space. 在這一章中我們將介紹 inner product space 的性質.

4.1. Dot Product

在本節我們僅論及大家熟悉的內積性質在Rⁿ 的情況.

首先我們回顧在R² 和 R³ 中內積的定義. 若在R² 中 u = (a₁, a₂), v = (b₁, b₂), 則 u, v 的 內積 u· v 定義成 u · v = a1b1+ a2b2. 而在 R³ 中若 u = (a₁, a2, a3), v = (b1, b2, b3), 則 u, v 的 內積 u· v 定義成 u · v = a1b₁+ a₂b₂+ a₃b₃.由這定義我們很自然地可推廣到 Rⁿ 中向量的內積如下:

Definition 4.1.1. 假設 u = (a1, . . . , a_n), v = (b₁, . . . , b_n)∈ Rⁿ. 則定義 u, v 的 dot product (inner product) 為

u· v = a1b₁+··· + anb_n=

∑

n i=1

a_ib_i.

向量的內積和向量的運算有一定的關係, 以下就是它們之間的關係 Proposition 4.1.2. 對任意 u, v, w∈ Rⁿ, 我們有以下的性質:

(1) u· v = v · u.

(2) u· u ≥ 0 且 u · u = 0 若且唯若 u = 0.

(3) 對任意 r∈ R 皆有 (ru) · v = u · (rv) = r(u · v).

(4) u· (v + w) = u · v + u · w.

89

(2)

90 4. Inner Product Space

Proof. 這些性質在 R² 和 R³ 大家應都了解, 在 Rⁿ 上的證明其實也一樣. 我們假設 u = (a₁, . . . , a_n), v = (b₁, . . . , b_n), w = (c₁, . . . , c_n).

(1) 依定義 u· v = ∑ⁿi=1a_ib_i 由於每一項 a_ib_i 皆等於 b_ia_i (實數乘法交換率) 所以我們知道它們的和也相等, 也就是說∑ⁿi=1aibi=∑ⁿi=1biai= v· u. 所以我們得 u · v = v · u.

(2) 依定義 u· u = ∑ⁿi=1aiai=∑ⁿi=1a²_i.由於任一實數的平方皆大於等於 0, 即 a²_i ≥ 0, 故有

∑ⁿi=1a²_i ≥ 0, 而得證 u · u ≥ 0. 又上式中若 ∑ⁿi=1a²_i = 0, 表示每一項 a²_i 皆需等於 0, 故知對任意 1≤ i ≤ n 皆需有 ai= 0, 而得知 u = (a₁, . . . , a_n) = (0, . . . , 0) = 0. 反之若 u = (a₁, . . . , a_n) = 0 表示對任意 1≤ i ≤ n 皆有 ai= 0, 故得 u· u = ∑ⁿi=1aiai= 0.

(3) (ru)· v 這個符號表示 ru 這個向量與 v 的內積, 因 ru = (ra1, . . . , ran) 故由定義知 (ru)· v = ∑ⁿi=1(ra_i)b_i. 又對所有的 1≤ i ≤ n 皆有 (rai)b_i = r(a_ib_i) (實數乘法結合律) 故知

∑ⁿi=1(rai)bi=∑ⁿi=1r(aibi) 再加上 ∑ⁿi=1r(aibi) 中每一項皆有 r 可提出, 故由實數加法與乘法 的分配律可知∑ⁿi=1r(a_ib_i) = r∑ⁿi=1a_ib_i= r(u·v), 而得證 (ru)·v = r(u·v). 我們也可用同樣方 法證得 u· (rv) = r(u · v), 不過我們這裡可利用 (1) 知 u · (rv) = (rv) · u 再利用剛才的結果得 (rv)· u = r(v · u), 再利用一次 (1) 得到 r(v · u) = r(u · v) 而得證 u · (rv) = r(u · v).

(4) u· (v + w) 這個符號表示 u 這個向量與 v + w 的內積, 因 v + w = (b1+ c1, . . . , bn+ cn) 故由定義知 u· (v + w) = ∑ⁿi=1a_i(b_i+ c_i). 由實數加法與乘法的分配律知每一項 a_i(b_i+ c_i) 可 表為 a_ibi+ a_ici, 也就是說∑ⁿi=1ai(b_i+ c_i) =∑ⁿi=1(a_ibi+ a_ici). 因為實數加法有交換率, 我們可 以先將 a_ibi 的部份先加在一起, 再將 a_ici 的部份加在一起, 再求它們之和, 故知

∑

n i=1

(a_ib_i+ a_ic_i) =

∑

n i=1

a_ib_i+

∑

n i=1

a_ic_i= u· v + u · w,

依此得證 u· (v + w) = u · v + u · w.

Proposition 4.1.2 (2) 告訴我們除了零向量 0 以外, 其餘向量 v 皆需符合 v· v > 0, 所以很自然地我們可依此定義向量的長度.

Definition 4.1.3. 令 v = (a₁, . . . , a_n)∈ Rⁿ, 我們定義 v 的 norm (or length) 為

∥v∥ =√

v· v =√

a²₁+ a²₂+··· + a²n.

我們可以利用 Proposition 4.1.2 的處理一些有關於內積的性質, 而不必涉及內積的定義.

Lemma 4.1.4. 假設 u, v∈ Rⁿ, 則 ∥u + v∥²=∥u∥²+ 2u· v + ∥v∥².

Proof. 依定義 ∥u + v∥²= (u + v)· (u + v), 再依 Proposition 4.1.2 (4) 可得 (u + v)· (u + v) = (u + v) · u + (u + v) · v = u · u + v · u + u · v + v · v.

最後再依 Proposition 4.1.2 (1) 的交換律知 v· u + u · v = 2u · v 而得證本定理. Question 4.1. 試證明平行四邊形定理 (parallelogram relation): 平行四邊形兩對角線長的 平方和等於四邊長的平方和, 即對任意 u, v∈ Rⁿ 皆有

∥u + v∥²+∥u − v∥²= 2∥u∥²+ 2∥v∥².

(3)

再次強調一次 Lemma 4.1.4 僅用到內積的性質, 所以在一般的情形若我們不是利用 Definition 4.1.1 的方法定義內積 (當然此時長度的定義也跟著改變) 但所定義的內積仍保有 Proposition 4.1.2 中的性質, 我們依然可得到 Lemma 4.1.4 中的性質. Lemma 4.1.4 最常見的就是可以幫助我們推得所謂的「柯希、舒瓦茲」不等式.

Proposition 4.1.5 (Cauchy-Schwarz inequality). 若 u, v∈ Rⁿ, 則 |u · v| ≤ ∥u∥∥v∥. 特別地 當 u, v 皆不為零向量時, 等號成立若且唯若存在λ ∈ R 使得 v = λu.

Proof. 假設 u 和 v 中有一個為零向量, 即 u· v = 0 且 ∥u∥∥v∥ = 0, 故此不等式成立.

若 u, v 皆不為零向量, 考慮 u₀= u/∥u∥ 且 v0= v/∥v∥. 此時

∥u0∥²= u₀· u0= 1

∥u∥u· 1

∥u∥u = 1

∥u∥²u· u = 1.

同理得∥v0∥²= 1, 故由 Lemma 4.1.4 得知

∥u0+ v0∥²= 2 + 2u0· v0, (4.1)

∥u0− v0∥²= 2− 2u0· v0.

因為∥u0+ v₀∥²≥ 0 且 ∥u0− v0∥²≥ 0, 故由式子 (4.1) 得 −1 ≤ u0· v0≤ 1. 換回 u,v 得

−∥u∥∥v∥ ≤ u · v ≤ ∥u∥∥v∥.

亦即|u · v| ≤ ∥u∥∥v∥.

從上可知當 u, v 皆不為零向量時, 此不等式之等式會成立等同於 u₀· v0= 1 或 u₀· v0=

−1. 此時由式子 (4.1) 分別得 ∥u0−v0∥²= 0 或∥u0+ v₀∥²= 0, 也就是說 u₀= v₀或 u₀=−v0. 換回 u, v 我們得

v =∥v∥

∥u∥u 或v =−∥v∥

∥u∥u.

故此時只要令λ 分別為 ∥v∥/∥u∥ 或 −∥v∥/∥u∥, 即可得 v = λu.

反之若 v =λu, 則由 Proposition 4.1.2 可得

|u · v| = |λ||u · u| = |λ|∥u∥²=∥u∥∥λu∥ = ∥u∥∥v∥.

在證明 Proposition 4.1.5 時, 我們用了一個很特殊的技巧, 就是將 u 化成長度為 1 的向量 u₀= u/∥u∥. 一般來說一個長度為 1 的向量, 我們稱之為 unit vector. 任意的非零向量 u 都可以化成 unit vector, 即取 u₀= u/∥u∥. 這種化成 unit vector 的方法不只讓我們確定向 量的長度且又保有原向量的方向性, 是線性代數處理內積有關的問題很好用的技巧.

利用 Proposition 4.1.5, 我們可以得到所謂的三角不等式.

Corollary 4.1.6 (Triangle inequality). 若 u, v∈ Rⁿ, 則 ∥u + v∥ ≤ ∥u∥ + ∥v∥.

Proof. 由 Lemma 4.1.4 以及 Proposition 4.1.5, 我們有

∥u + v∥²=∥u∥²+ 2u· v + ∥v∥²≤ ∥u∥²+ 2∥u∥∥v∥ + ∥v∥²= (∥u∥ + ∥v∥)².

不等式兩邊開根號得證∥u + v∥ ≤ ∥u∥ + ∥v∥.

(4)

Question 4.2. 試找到充分必要條件使得 ∥u + v∥ = ∥u∥ + ∥v∥.

利用內積我們可以知道坐標平面或空間中向量之間的一些幾何關係. 例如若兩非零向量 u, v 的夾角為θ, 因為 u · v = ∥u∥∥v∥cosθ, 所以我們可以利用內積得知此二非零向量所夾角 度. 特別地當 u· v = 0 即表示 u 和 v 垂直. 我們也可將此幾何意義推廣到更一般的 Rⁿ. 雖 然當 n≥ 4 時, 我們無法 “看到” Rⁿ 中的向量 (無法用幾何的方式來定義夾角), 此時我們可以沿習R²,R³ 上的結果定義兩非零向量 u, v∈ Rⁿ 的夾角為 θ, 其中 0 ≤ θ ≤ π 使得

cosθ = u· v

∥u∥∥v∥.

當我們定義一個東西時要注意這個定義是否 “well-defined”. 也就是說要確認這樣定義出來的夾角 θ 是否可以找得到, 這是所謂「存在性」的問題. 我們都知道當 0 ≤ θ ≤ π 時,

|cosθ| ≤ 1. 所以這裡夾角 θ 的存在性就關係到 Rⁿ 中兩個非零向量 u, v 是否會滿足 u· v

∥u∥∥v∥

≤ 1.

然而 Proposition 4.1.5 告訴我們這是一定對的, 所以這裡θ 的存在性沒問題. 另一個要確認的問題是, 這樣定出來的夾角會不會有兩個或更多呢? 這是所謂「唯一性」的問題. 就是因為會有θ^′̸=θ 但 cosθ = cosθ^′ 的情形發生, 所以這裡我們要求θ 要滿足 0 ≤ θ ≤ π, 如此才 能確保所得的夾角會是唯一的. 也就是說用這種方法定義兩非零向量的夾角是沒有問題的, 我們就稱這樣的定義是 well-defined.

Example 4.1.7. 在 R⁴ 中設 u = (1, 1, 1, 1), v = (1, 0,−2,−2) 的夾角為 θ, 則由 cosθ = u· v

∥u∥∥v∥= −3 2× 3=−1

2, 得知θ = 120^◦.

利用夾角的定義我們進而定義出何謂「垂直」.

Definition 4.1.8. 令 u, v∈ Rⁿ 為非零向量, 我們說 u 和 v 為 orthogonal 若且唯若 u·v = 0.

注意這裡因在 Rⁿ 空間, 習慣上垂直我們稱為 orthogonal 而較少用一般幾何上的 perpendicular. 有了垂直概念後, 我們也可以將 R² 或 R³ 上的向量在另一向量上的投影 (projection) 之概念推廣至Rⁿ.

我們先看 R² 的情況, 給定一非零向量 u∈ R², 對任意 v∈ R², 若 u^′ 為 v 在 u 上的投影, 表示向量 v− u^′ (參考下圖虛線表示的向量) 會和 u 垂直, 即 (v− u^′)· u = 0, 也就是說 v· u = u^′· u.

-

* 6

-

u v

u^′

(5)

因為 u^′ 會落在 Span(u), 也就是說要找到 r∈ R 使得 u^′= ru, 且符合 (v− u^′)· u = 0. 將 u^′= ru 代入得 v· u = ru · u = r∥u∥², 亦即 r = (v· u)/∥u∥². 也就是說, 若 v 在 u 的投影是存在的, 那們它的投影一定就是 _∥u∥^v·u₂u (這說明了投影的唯一性). 然而若令 r = (v· u)/∥u∥² (注意 u 為非零向量的假設), 則 u^′= ru 確實符合 (v− u^′)· u = 0 (這說明了投影的存在性). 我 們可以將以上的概念推廣到 Rⁿ 的情形.

Proposition 4.1.9. 給定一非零向量 u∈ Rⁿ, 對任意 v∈ Rⁿ, 皆可寫成 v = u^′+ v^′, 其中 u^′, v^′∈ Rⁿ 滿足 v^′· u = 0 且 u^′= ru, r∈ R. 事實上這樣的寫法是唯一的, 即

r = v· u

∥u∥².

Proof. 前面的論述在Rⁿ 亦成立, 亦即 r = (v·u)/∥u∥² 是唯一的實數會使得 (v−ru)·u = 0.

換言之,

u^′= v· u

∥u∥²u.

是唯一的向量會滿足 u^′= ru 且 (v−u^′)·u = 0. 既然 u^′ 是唯一的, 故而 v^′ 要滿足 v^′+ u^′= v,

即 v^′= v− u^′, 自然也就唯一確定了.

Question 4.3. 能否不用找到 r 的方法得到 Proposition 4.1.9 的唯一性?

Proposition 4.1.9, 大致上是說給定一 Rⁿ 中的非零向量 u 後, 我們都可以將 Rⁿ 中任一向量 v 分解成兩個向量之和, 其中一個向量會落在 Span(u) (即定理中的 u^′) 而另一個與 u 垂直 (即定理中的 v^′), 且這個表法是唯一的. 我們稱落在 Span(u) 的那個向量

v· u

∥u∥²u 為 v 在 u 的 projection (投影).

Example 4.1.10. 在 R⁴ 中考慮 u = (1, 1, 1, 1), v = (1, 0,−2,−2). 因 ∥u∥ = 2 且 v · u = −3, 得 v 在 u 的 projection 為

−3

4u =−3

4(1, 1, 1, 1).

又我們有

v = (1, 0,−2,−2) = −3

4(1, 1, 1, 1) + (7 4,3

4,−5 4,−5

4), 其中

−3

4(1, 1, 1, 1)∈ Span((1,1,1,1)) and (7 4,3

4,−5 4,−5

4)· (1,1,1,1) = 0.

4.2. Inner Product

在 R^m 中有關於 dot product 的性質, 可以推廣到一般 over R 的 vector space. 在一般的 vector space, 我們就不再用 dot product 而用所謂 inner product 來稱之. 由於我們要談的 是一班的 inner product, 為了和原本 Rⁿ 的 dot product 區分, 對於 v, w∈ V, 原來我們用

⟨v,w⟩ 來表示 v,w 的 inner product.

考慮 overR 的 vector space V. 若對於任意 v,w ∈ V 皆有 ⟨v,w⟩ ∈ R 滿足 Proposition 4.1.2 有關內積的四個性質, 即

(6)

(1) ⟨v,w⟩ = ⟨w,v⟩, ∀v,w ∈ V.

(2) 對任意 r∈ R 皆有 ⟨rv,v⟩ = ⟨v,rw⟩ = r⟨v,w⟩.

(3) ⟨u,v + w⟩ = ⟨u,v⟩ + ⟨u,w⟩, ∀u,v,w ∈ V.

(4) ⟨v,v⟩ ≥ 0 且 ⟨v,v⟩ = 0 若且唯若 v = 0.

我們便稱 ⟨ , ⟩ 為 V 上的一個 inner product 而稱 V 為 inner product space.

簡單的來說, 當我們稱 V 是一個 inner product space 時, 表示我們已給定 V 中的一 個 inner product ⟨ , ⟩. 例如在 Rⁿ 上, 若我們定義 ⟨v,w⟩ = v · w, ∀v,w ∈ Rⁿ (原先的 dot product), 那麼我們就說Rⁿ 是一個以 ⟨ , ⟩ 為內積的 inner product space. 另外要注意的是, 依我們的定義, 我們考慮的 inner product 是實數, 所以只有在 V 是 vector space overR 時, 才會談論是否為 inner product space. 事實上還有定義在複數C 上的 inner product, 不過由於本課程並不需要用到這種情況, 我們就略過不談.

接下來我們介紹一個定義在 M_m×n(R) 這一個 vector space 的 inner product. 其實當 M∈ Mm×n(R), 我們可以將 M 視為一個在 R^mn 上的向量, 也就是說先寫第一個 column 再接著串接第二個 column, 這樣一直下去將 n 個 column 寫成一個長長的 column. 所 以我們可以將兩個 M_m_×n(R) 上的矩陣看成是兩個 R^mn 的向量, 因此再利用 R^mn 上的 dot product 就可以定義 M_m_×n(R) 上的 inner product 了. 也就是說若 A,B ∈ Mm×n 其中 v₁, . . . , v_n 依序為 A 的 column vectors 而 w₁, . . . , w_n 依序為 B 的 column vectors, 則可定義

⟨A,B⟩ = v1·w1+···+vn·wn. 由於 dot product 符合 inner product 的性質, 所以我們知道這個方法確實給了 M_m×n(R) 上的一個 inner product. 事實上若從矩陣的乘法來看, 我們可以將Rⁿ上的 column vector 看成 n×1 matrix, 所以當 v,w ∈ Rⁿ, 將 v, w 視為 M_n_×1(R) 中的矩陣, 則 v·w = w^tv. 從這個角度來看若 A, B∈ Mm×n其中 v₁, . . . , vn依序為 A 的 column vectors 而 w₁, . . . , w_n 依序為 B 的 column vectors, 則 v_i· wi 就是 B^tA 這個矩陣對角線上 (i, i)-th entry. 我們曾定義過一個方陣 M 其對角線上的 entries 之和稱為 M 的 trace, 記為 tr(M).

因此上面定義的⟨A,B⟩ = v1·w1+···+vn·wn 也等於 tr(B^tA). 也就是說對於 A, B∈ Mm×n(R), 定義 ⟨A,B⟩ = tr(B^tA) 就給了 M_m_×n(R) 上的一個 inner product, 在此 inner product 之下 Mm×n(R) 就形成一個 inner product space. 有些同學或許會疑惑為何不定義 ⟨A,B⟩ = tr(A^tB) 呢? 事實上對於任意方陣 M, 皆有 tr(M) = tr(M^t), 所以 tr(A^tB) = tr((A^tB)^t) = tr(B^tA). 不過 以後當我們介紹更多 inner product 和矩陣關係時, B^tA 有其方便性, 所以一般來說我們會用

⟨A,B⟩ = B^tA 來表示這一個 inner product.

Question 4.4. 對任意 A, B∈ Mm×n(R), 證明 tr(AB) = tr(BA). 並利用此證明 ⟨A,B⟩ = tr(B^tA),∀A.B ∈ Mm×n(R) 是 Mm×n(R) 上的 inner product.

Question 4.5. 試說明 ⟨A,B⟩ = det(B^tA), ∀A,B ∈ Mm×n(R) 是否為 Mm×n(R) 的 inner prod- uct? 又若對任意 M, M^′∈ Mn×n(R), 定義 ⟨M,M^′⟩ = tr(MM^′), 是否為 M_n_×n(R) 上的 inner product?

對於次數小於等於 n 的實係數多項式所形成的向量空間 P_n(R), 也有一個有趣的 inner product, 我們看以下的例子.

(7)

Example 4.2.1. 選取 n + 1 個相異的實數 c₁, . . . , c_n+1, 定義

⟨ f ,g⟩ = f (c1)g(c₁) +··· + f (cn+1)g(c_n+1) =

n+1

∑

i=1

f (c_i)g(c_i), ∀ f ,g ∈ Pn(R).

我們說明在此定義之下⟨, ⟩ 是 Pn(R) 的 inner product.

考慮 f , g, h∈ Pn(R) 以及 r ∈ R, 關於 ⟨ f ,g⟩ = ⟨g, f ⟩, ⟨ f ,g + h⟩ = ⟨ f ,g⟩ + ⟨ f ,h⟩ 以及

⟨ f ,rg⟩ = r⟨ f ,g⟩ 等性質很容易由實數的乘法加法性質推得, 這裡就不再證明. 我們僅證明

⟨ f , f ⟩ ≥ 0 以及 ⟨ f , f ⟩ = 0 若且唯若 f = 0 這個性質. 依定義 ⟨ f , f ⟩ = f (c1)²+··· + f (cn+1)². 由於 f (c_i)是實數, 故知 f (c_i)²≥ 0, ∀i = 1,...,n+1. 由此得證 ⟨ f , f ⟩ ≥ 0. 又若 ⟨ f , f ⟩ = 0, 表 示 f (c_i)²= 0, ∀i = 1,...,n + 1. 亦即 c1, . . . , c_n+1 是 f (x) = 0 的 n + 1 個相異實根. 因此由 f 是次數小於等於 n 的多項式知, 唯一的可能就是 f 是零多項式, 即 f = 0.

Question 4.6. 在 Example 4.2.1 中, 若僅選 n 個相異實數, 是否可定出 Pn(R) 的 inner product? 而若選 n + 2 個相異實數, 是否可定出 Pn(R) 的 inner product?

依照 inner product 的定義可以推導出一些 inner product 性質, 以下我們列出幾個常用的性質以利以後操作. 要注意以下的性質是可由 inner product 定義推得的, 它們並不屬於 inner product 的定義. 也就是說以後當我們要說明一個定義出來的是否為 inner product, 我們僅要驗證它是否符合 inner product 的四個要求. 若符合, 自然地它便會符合以下的性質.

Proposition 4.2.2. 假設 V 是以 ⟨, ⟩ 為 inner product 的 inner product space. 則有以下 的性質.

(1) ⟨v,0⟩ = 0, ∀v ∈ V.

(2) 若 v, w∈ V 且 ⟨v,u⟩ = ⟨w,u⟩, ∀u ∈ V, 則 v = w.

Proof. (1) 任取 v∈ V, 由 ⟨v,0⟩ = ⟨v,0 + 0⟩ = ⟨v,0⟩ + ⟨v,0⟩, 得 ⟨v,0⟩ = 0.

(2) 由⟨v,u⟩ = ⟨w,u⟩ 得 ⟨v−w,u⟩ = 0. 由於此等式依假設是對所有的 u ∈ V 皆成立, 故令 u = v−w, 可得 ⟨v−w,v−w⟩ = 0. 故依 innner product 的定義知 v−w = 0, 得證 v = w. 從 Proposition 4.2.2 (2) 的證明中, 我們了解到 inner product 的定義中⟨v,v⟩ = 0 若且 唯若 v = 0 是相當重要的性質. 再加上⟨v,v⟩ ≥ 0, 相當符合我們對長度的要求. 因此我們很 自然地可以定義一個 inner product space 中的長度概念.

Definition 4.2.3. 假設 V 是以⟨, ⟩ 為 inner product 的 inner product space. 對任意 v ∈ V, 定義 v 的 norm (or length) 為

∥v∥ =√

⟨v,v⟩.

稱之為 norm 自然會是符合長度定義的要求, 即三角不等式. 在介紹 dot product 時, 我們完整的推導出 norm 的性質, 當初證明這些性質因為僅用到 inner product 定義的基本性質, 這裡我們就不再證明, 僅列出其結果.

(8)

Proposition 4.2.4. 假設 V 是以 ⟨, ⟩ 為 inner product 的 inner product space 且 ∥∥ 為以

⟨, ⟩ 定義的 norm, 則對任意 r ∈ R, v,w ∈ V 皆有以下的性質.

(1) ∥rv∥ = |r| ∥v∥.

(2) ∥v∥ ≥ 0 且 ∥v∥ = 0 若且唯若 v = 0.

(3) ∥v + w∥²=∥v∥²+ 2⟨v,w⟩ + ∥w∥². (4) ∥v + w∥²+∥v − w∥²= 2∥v∥²+ 2∥w∥².

(5) |⟨v,w⟩| ≤ ∥v∥∥w∥. 特別地當 v,w 皆不為零向量時, |⟨v,w⟩| = ∥v∥∥w∥ 若且唯若存 在 λ ∈ R 使得 w = λv.

(6) ∥v + w∥ ≤ ∥v∥ + ∥w∥.

將來用到 norm 的時候, 我們都會用到 Proposition 4.2.4 上的性質. 例如當 v̸= 0 時, 令 u = (1/∥v∥)v, 則由 (1) 知

∥u∥ = ∥ 1

∥v∥v∥ = 1

∥v∥

∥v∥ = 1.

這種符合 ∥u∥ = 1 的 u, 就稱為在此 norm 之下的 unit vector. Proposition 4.2.4 的性 質 (4) 稱為 parallelogram relation; (5) 就是 Cauchy-Schwarz inequality; (6) 就是 triangle inequality.

Question 4.7. 考慮 P₂(R) 上利用 −1,0,1 三相異實數所訂出的 inner product (參見 Example 4.2.1). 試利用此 inner product 求 ∥x∥ 並找到 f ∈ Span(x) 滿足 ∥ f ∥ = 1.

4.3. Projection and Gram-Schmidt Process

我們曾經介紹 Rⁿ 上的 projection. 簡單來說, 給定非零向量 w∈ Rⁿ, 我們定義 v∈ Rⁿ 在 w 上的投影向量 w^′ 必須是在 w 所展成的空間中 (即 w^′∈ Span(w)), 而且 v − w^′ 必須與 w 垂直, 也因此需與 Span(w) 上所有向量垂直. 依此, 我們將投影的定義推廣到一般對 inner product space V 的一個 subspace W 上的投影. 也就是說, 當 W 為 V 的 subspace, 對於 v∈ V, 我們定義 v 在 W 的 projection 為 W 上的一個向量 w^′ (即 w^′∈ W), 滿足 v − w 和 W 上所有向量垂直. 首先我們給以下的定義.

Definition 4.3.1. 假設 V 為 inner product space. 給定 W 為 V 的 subspace. 令 W^⊥={v ∈ V | ⟨v,w⟩ = 0, ∀w ∈ W}.

也就是說 W^⊥ 為 V 中和所有 W 中的向量垂直的向量所成的集合. 一般稱 W^⊥ 為 orthogonal complement of W .

有了 orthogonal complement 的定義我們就可以對上述的 projection 給了以下的定義.

Definition 4.3.2. 假設 V 為 inner product space. 給定 W 為 V 的 subspace. 對於 v∈ V, 若 w∈ W 滿足 v − w ∈ W^⊥, 則稱 w 為 the orthogonal projection of v on W .

(9)

等一下我們將說明對於任意 v∈ V, the projection of v on W 一定存在, 而且唯一. 因此為了方便起見我們將此向量用 Proj_W(v) 表示. 我們將先證明唯一性, 有了唯一性, 將來我們要說明 w 就是 Proj_W(v), 就僅要檢查 w∈ W 且滿足 v − w ∈ W^⊥ 就可以了.

我們先了解以下一些有關於 orthogonal complement 的性質. 假設 W 為 V 的 subspace, 並令 v, v^′ ∈ W^⊥ 以及 r, s∈ R. 利用內積的性質, 對於任意 w ∈ W, 我們有 ⟨rv + sv^′, w⟩ = r⟨v,w⟩ + s⟨v^′, w⟩. 再利用 v,v^′∈ W^⊥, 即⟨v,w⟩ = ⟨v^′, w⟩ = 0, 得知 ⟨rv + sv^′, w⟩ = 0. 此即表示 對於任意 v, v^′∈ W^⊥ 以及 r, s∈ R, 皆有 rv + sv^′∈ W^⊥, 得證 W^⊥ 為 V 的 subspace.

依定義要說明 v∈ W^⊥ 就得說明 ⟨v.w⟩ = 0, ∀w ∈ W. 這個過程看似複雜, 因為要對所有 W 檢查. 不過由於 W 是 vector space, 我們僅要找到 W 的一組 basis, 然後對這組 basis 檢 查即可, 因為我們有以下之結果.

Lemma 4.3.3. 假設 V 為 inner product space 且 W 為 V 的 subspace. 假設 w₁, . . . , w_n 是 W 的一組 basis, 則 v∈ W^⊥ 若且唯若 ⟨v,wi⟩ = 0, ∀i = 1,...,n.

Proof. 依定義若 v∈ W^⊥則對任意 w∈ W 皆有 ⟨v,w⟩ = 0, 所以當然 ⟨v,wi⟩ = 0, ∀i = 1,...,n 成立. 我們僅要證明若 ⟨v,wi⟩ = 0, ∀i = 1,...,n 則對任意 w ∈ W 皆有 ⟨v,w⟩ = 0. 對任意 w∈ W, 因為 w1, . . . , wn 是 W 的一組 basis, 故存在 c₁, . . . , cn∈ R 使得 w = c1w₁+··· + cnw_n, 故得

⟨v,w⟩ = ⟨v,c1w₁+··· + cnw_n⟩ = c1⟨v,w1⟩ + ··· + cn⟨v,wn⟩ = 0.

要注意 orthogonal complement 的 complement 不是指集合的補集. W 的 orthogonal complement W^⊥ 並不是 W 的補集. 甚至 W∩W^⊥ 並不會是空集合. 這是因為 W∩W^⊥ 也會是一個 subspace, 所以 0 一定在其中. 事實上我們有以下的結果.

Lemma 4.3.4. 假設 V 為 inner product space 且 W 為 V 的 subspace. 則 W∩W^⊥={0}.

Proof. 因 W∩W^⊥ 為 subspace, 故知 0∈ W ∩W^⊥. 現假設 w∈ W ∩W^⊥. 由於 w∈ W^⊥, 對任意 w^′∈ W 皆有 ⟨w,w^′⟩ = 0. 而又 w ∈ W, 故得 ⟨w,w⟩ = 0. 因此由內積的性質知 w = 0, 得

證 W∩W^⊥={0}.

現在我們可以證明 projection 的唯一性.

Proposition 4.3.5. 假設 V 為 inner product space. 給定 W 為 V 的 subspace. 對於 v∈ V, v 對於 W 的 projection 是唯一的.

Proof. 假設 w, w^′∈ W 皆為 v 在 W 的 projection. 也就是說 w,w^′ 皆滿足 v−w ∈ W^⊥ 以及 v− w^′∈ W^⊥. 由於 W^⊥ 為 subspace, 我們有 (v− w) − (v − w^′)∈ W^⊥, 亦即 w− w^′∈ W^⊥. 又 因 W 為 subspace, 我們也知 w− w^′∈ W. 故由 Lemma 4.3.4 知 w − w^′= 0, 即 w = w^′, 證得

唯一性.

(10)

有了 Proposition 4.3.5 的唯一性, 以後我們要說明 w 是 v 在 W 的 projection, 就僅要檢 查 w∈ W 且滿足 v − w ∈ W^⊥ 就可以了.

接下來我們探討 projection 的存在性. 要考慮 v 對 W 的 projection, 我們必須找到 W 的一組 basis, 然後再看看這組 basis 所有可能的線性組合, 哪一個可以符合 projection 的要求. 這裡較麻煩的地方就是, 我們不知道要選取哪一個線性組合. 是否有可能找到一組特殊的 basis, 可以讓上述找到線性組合變簡單呢? 我們便是要回答這一個問題, 並探討如何找到這種特殊的 basis.

假設 W 為 V 的 subspace 且 w₁, . . . , wn 為其一組 basis 滿足⟨wi, wj⟩ = 0,∀i ̸= j. 對於任 意 w∈ W, 因為 w1, . . . , w_n 為 W 的一組 basis, 存在 c₁, . . . , c_n∈ R 使得 w = c1w₁+···+cnw_n. 一般來說我們都是利用解聯立方程組的方法找到 c₁, . . . , cn, 不過這裡由於這些 wi 之間兩兩 互相垂直, 我們可以利用內積求出 c_i. 事實上對於任意 i = 1, . . . , n, 考慮⟨w,wi⟩. 我們有

⟨w,wi⟩ = ⟨c1w₁+··· + cnw_n, w_i⟩ = c1⟨w1, w_i⟩ + ··· + cn⟨wn, w_i⟩ = ci⟨wi, w_i⟩.

因為 w_i̸= 0, 我們有 ⟨wi, w_i⟩ = ∥wi∥²̸= 0, 故得 ci=⟨w,wi⟩/⟨wi, w_i⟩ = ⟨w,wi⟩/∥wi∥².特別的, 若 ∥wi∥ = 1, 則 ci=⟨w,wi⟩. 我們有以下的定理.

Proposition 4.3.6. 假設 V 為 inner product space, W 為 V 的 subspace 且 w1, . . . , w_n 為 W 的一組 basis 滿足⟨wi, w_j⟩ = 0,∀i ̸= j. 則對於任意 w ∈ W, 我們有

w = ⟨w,w1⟩

∥w1∥² w₁+··· +⟨w,wi⟩

∥wi∥² w_i+··· +⟨w,wn⟩

∥wn∥² w_n.

由於這種兩兩互相垂直的 basis, 對於寫下一個向量的 linear combination 相當的方便, 我們有以下的定義.

Definition 4.3.7. 假設 V 為 inner product space 且 v₁, . . . , v_n 為 V 的一組 basis 滿足對於 任意 i̸= j 皆有 ⟨vi, vj⟩ = 0. 則稱 v1, . . . , vn為 V 的一組 orthogonal basis. 若又要求⟨vi, vi⟩ = 1 (即∥vi∥ = 1), ∀i = 1,...,n, 則稱 v1, . . . , v_n 為 V 的一組 orthonormal basis.

要注意, 若 v₁, . . . , vn 是 V 的一組 orthogonal basis, 對於所有 i = 1, . . . , n, 令 ui= vi/∥vi∥, 則 u₁, . . . , u_n 就會是 V 的一組 orthonormal basis. 這是因為

⟨ui, uj⟩ = ⟨ 1

∥vi∥v_i, 1

∥vj∥v_j⟩ = 1

∥vi∥ 1

∥vj∥⟨vi, vj⟩.

因此當 i̸= j, 我們有 ⟨ui, u_j⟩ = ⟨vi, v_j⟩ = 0; 而當 i = j, 我們有 ⟨ui, u_i⟩ = ⟨vi, v_i⟩/∥vi∥²= 1.

———————————– 17 December, 2021