理論與計算的結合 一 一 迭代法
林琦焜
謹將此文獻給李育嘉教授 70 歲生日
1. 前言
『真正有效率的高速計算, 不論在非線性偏微分方程領域或是其他很多困難尚無法探 索的領域, 都提供了推動數學各方面進步所需要的啟發。』
『計算可以提示我們到底真相是甚麼。』
— John von Neumann (1903∼1957) — 逐步逼近法 (method of successive approximation) 或疊 (迭) 代法 (method of iteration1) 是數學中重要的組成部分。 古希臘人 (阿基米德) 用它來逼近圓面積, 牛頓根據它 來找函數的零點 (就是一般熟悉的牛頓法 )。 Cauchy, Liouville 與 Picard 運用它來構造微分 方程的解, 而計算數學則是天天都在用。 迭代法的意義在於提供了一個系統步驟的演算法2, 藉 此得到一個確定的答案。 歷史上最著名 (也是最悠久) 的演算法就屬歐幾里得輾轉相除法 (Eu- clidean algorithm) 以求得兩個自然數的最大公約數。 儘管這個特殊的演算法已經有悠久的歷 史但一般的演算法卻是等到 20 世紀 30 年代由於計算機的發明才有明確的定義與記載。
所謂迭代, 簡單而言就是對某個初始值 x0 反復地將函數 (算子或變換) T 作用上去從而 得出一串數列 (將 T 視為公比就可以想像成等比數列!)
x0, x1 = T (x0), · · · xn = T (xn−1) = Tn(x0), · · · (1) 對數學家而言他們關心的是這一串數列是否收斂到一固定值, 也就是定點或不動點 (fixed point) 是否存在的問題, 而這正是數學分析最核心的主題。 如果 T 略為複雜我們很快就發現傳統的分 析方法不敷使用。這也是為什麼 John von Neumann 提倡要讓電子計算機變得更加有效率、
快速且更有彈性, 如此使用這些新的電子計算機的關鍵技術便是有可能, 而且最終可以促進數
1疊 (迭) 代 (iteration), 字源是拉丁文 iterare 意思是 《再造》。
2演算法或算法 (algorithm) 這個字源於第九世紀波斯數學家兼天文學家花拉子模 (Muhammad ibn Musa al-Khwarizmi, 780
∼850), 這個字是從同一個 al-Khwarizmi 的名字而來。 他在公元 825 年左右寫了一本影響深遠的 《代數對話錄》。 這個字現在被拼寫 為“algorithm” 而不是更精確的“algorism”, 可能是由於和“算術 (arithmetic)”相關而來的。 另外值得一提的是“代數 (algebra)”
這個字就是源自這本書的書名 (阿拉伯文, al jabr)。
32
學分析的重要進展。 高速計算機可以出色地完成大量的重複運算, 這使得原先那些由於太過複 雜而難以處理的問題現在都可以由計算機直接給出其數值解。 計算機的這一用途幫助所有的應 用數學取得了引人注目的成就, 並且還意義深遠地改變了我們對甚麼是 (令人滿意的) 數學的 解之概念。 我個人深刻體會一個進步的數學系 (特別是應用數學系) 應該將計算的能力之培養 引入到我們的教學。 例如, 微積分搭配 (0 學分) 微積分軟體、 其他的基礎課 (線性代數、 微分方 程, · · · ) 也是如此, 訓練我們數學系的學生熟悉 Maple, Mathematica, Wolfram Alpha · · · 等套裝軟體。
逐步逼近法可追朔到 Liouville (1938) 處理二階線性微分方程, 而後有 J. Caqu’e (1864)、
L. Fuchs (1870)、 G. Peano (1888)。 但最成功的則是 Emile Picard (1890) 將之推廣至非 線性微分方程, 因此特別將之稱為 Picard 方法。 爾後將 Picard 的方法加以一般化將逐次逼 近抽象化為算子的迭代則是波蘭數學家 Stefan Banach (1892∼1945) 之貢獻, 我們稱之為 Banach 定點定理 (Banach Fixed Point Theorem)。 這個定理是數學美的典型代表; 假設條 件簡潔、 結論重要、 證明直接不拐彎抹角而且有廣泛的應用。 愛因斯坦曾經提出 : 『一切科學的 偉大目標是要從盡可能少的假設或公理出發, 通過邏輯的演繹, 涵蓋盡可能多的經驗事實。』 一 個有品味的數學家會感覺一個領域比另一個領域更具吸引力, 那是因為他們發現它更美, 並且 會尋求漂亮的方法而竭力避免那些笨拙或醜陋的論證方式。
一戰期間 (1916) 還在服役中的 Hugo Steinhaus (1887∼1972) 有一天在去大學取郵件 的路上, 碰巧 (實際上是刻意的) 聽到兩個數學系的學生談論 《Lebesgue 測度》 於是 Steinhaus 主動向前自我介紹, 而這兩個學生正是 Stefan Banach 與 Otto Nikodym (1887∼1974)。 之 後他們就有固定的聚會並決定成立數學社, 最終在 1920 年成為波蘭數學會。 在首次見面之後 沒多久 Steinhaus 將他正在思索卻無法克服的問題告訴 Banach, 過幾日 Banach 就把如何 找到反例 (counterexample) 的想法解釋給 Steinhaus, 雖然戰爭延緩了這篇文章的發表但卻 開啟了兩人長期合作與友誼。 而見證他們的友誼就是泛函分析 (Functional Analysis) 四大定 理中的 Banach-Steinhaus 定理或一致有界定理 (Uniform Boundedness Theorem) 另外 著名的期刊 Studia Mathematica 就是他們兩人創辦的, 這是泛函分析草創時期最重要的期 刊之一。 除了學術研究之外, 事實上也是 Steinhaus 的緣故, Banach 才遇見他生命中的另一 半。
Stefan Banach 是二十世紀上半葉波蘭數學輝煌歷史的創始人之一, 他同時也是泛函分析 的開拓者, 這可由 Banach 空間、 Hahn-Banach 定理、 Banach-Alaoglu 定理, 還有 Banach 定點定理 · · · 等視出一些端倪。 1930∼1940年間 Stefan Banach 大部分的工作都是在咖啡廳 完成的, 隨著 Banach、 Steinhaus、 Nikodym 等人在數學上的貢獻, 也使得他們聚會的地點 蘇格蘭人咖啡廳 (Scottish Coffee) 成為數學史上最著名的咖啡廳, 而他們討論之後所記錄下 來的筆記本就是 The Scottish Book [6]。
圖1: Stefan Banach (1892∼1945).
2. 從牛頓法談起
談迭代法當然要從牛頓法 (Newton’s method) 或 Newton-Raphson’s method 開始, 這可說是逐步逼近法之濫觴, 幾乎所有的計算數學與數值方法都是從這個例子出發。 既然要求 解首先必須確定解的存在性。
定理2.1 (勘根定理): 若 f : [a, b] 7→ R 為一連續函數且滿足 f(a)f(b) < 0, 則由連通性知必 存在 c 介於 a、 b 之間使得 f (c) = 0, 也就是說 c 為函數f (x) 的一個零根。
將 x-軸上下平移, 很容易看出勘根定理相當於以下的中間值定理 (Intermediate value theorem) 也稱為 Bolzano3 中間值定理。
定理 2.2 (Bolzano 中間值定理): 若 f : [a, b] 7→ R 為一連續函數且 f(a) 6= f(b), k 為介於 f (a) 與 f (b) 之間的任意數, 則存在 c ∈ (a, b) 使得 f(c) = k。
Bolzano 中間值定理與微積分基本定理一樣其內在本質是連通性 (connectedness), 這是 一個拓樸性質 : 一個連通集經過連續變換之後仍然是一個連通集。
勘根定理只告訴我們存在性 (existence)。 但到底解是什麼呢? 是否有具體的表現式呢?4 這就是牛頓法所要談的。 我們從任一點 x0 開始, 則通過 (x0, f (x0)) 之切線方程式為
y = f′(x0)(x − x0) + f (x0) ,
3Bernard Bolzano(1781∼1848) 的故事很有趣, 他出生於奧匈帝國相當於現在的捷克 (波希米亞省), 是一個接受經院哲學教育的天 主教神父, 他是最早將嚴格的概念引進數學分析的拓荒者之一。 雖然 Bolzano 的觀點已明確指出數學分析(特別是微積分) 嚴格化的 方向, 但由於與主流數學界的隔離, 他的著作基本上無人注意, 直到半個世紀之後才被 Hermann Hankel (1839∼1873) 發現。 其 中主要原因是他在世時是以神學家與哲學家的身分為人所知。
4例如; 圓周率 π, 它只是一個符號代表圓周與直徑的比率。 雖然我們將之視為精確值, 對純數學家而言這已經是完美了, 但在實用上必 須表示為可操作的範圍之內。 這個差異也正是純數學與應用數學 (或工程) 的差別。
此切線與 x-軸之交點為 (令 y = 0)
x1 = T (x0) = x0− f (x0)
f′(x0). (2.1) 同理再由 x1 開始仿前步驟; 可得
x2 = T (x1) = x1− f (x1) f′(x1), 如此下去得
xn+1 = T (xn) = xn− f (xn)
f′(xn), n = 0, 1, 2, · · · (2.2) 如果數列 {xn} 收斂到 x∗ (這裡需默認實數 R 是完備的!) 則由連續性知
x∗ = x∗− f (x∗)
f′(x∗) =⇒ f (x∗) = 0 . 由 (2.2) 式可定義新的函數
T (xn) = xn− f (xn)
f′(xn). (2.3) 因此牛頓法可視為函數 T 之迭代, 而原函數 f 之根 (root) 則成為新函數 T 之定點 (fixed point)。
f (x) = 0 ⇐⇒ x = T (x) ≡ x − f (x)
f′(x). (2.4) 方程式求解的問題等價於函數) 是否有定點 (或不動點) 的問題, 而且由 (2.4) 也可猜出來定點 的存在與曲線 f (x) 的斜率 f′(x) 有關, 這現象會一再出現例如 : 反 (隱) 函數定理。
例題 2.3: 試利用牛頓法計算無理數√
2 之值至小數點第九位。
[解]: 令 x =√
2, 因此√
2 相當於是 f (x) = x2− 2 之根。 此時 f′(x) = 2x, 由牛頓法 (2.2) 或 (2.3) 可定義數列 xn 如下
xn+1 = xn− x2n− 2 2xn
= 1 2
xn+ 2 xn
. (2.5)
取 x0 = 1 則經計算可知
x5 = 1 2
x4 + 2 x4
≈ 1.41421135562.
圖2: 牛頓法。
這個數列的收斂值得在此談一談。 根據遞迴關係 (2.5) 得 xn+1− xn = −x2n− 2
2xn
< 0, xn ≥√ 2 . 如果不計 x0 = 1 則 {xn}∞n=1 是一遞減數列, 另外
xn+1− xn = 1
2+ 1 xnxn−1
(xn− xn−1) , 迭代得
|xn+1− xn| ≤ 1
2|xn− xn−1| =⇒ |xn+1− xn| ≤ 1
2n|x1− x0| = 1 2n+1. 因為 {xn}∞n=1 是一遞減數列, 級數 P∞
n=1(xn+1− xn) 每一項都是負數而且可以被等比級數 P∞
n=1 1
2n+1 所控制 (dominate) 因此級數收斂 (我們已默認實數的完備性)
∞
X
n=1
xn+1− xn= lim
n→∞xn− x1 = x∞− x1, 且極限 x∗ 滿足
x∗ = 1 2
x∗+ 1 x∗
=⇒ x∗ =√ 2.
另外也可以這麼看, 根據 (2.4) 定義 T (x) = 1
2
x + 1
x
=⇒ |T′(x)| = 1 2 1 − 1
x2 ≤ 1
2 < 1 , 則利用第三節的 Banach 定點定理也可結論極限 x∗ ∈ R 的存在。
如此得到的近似解序列 x1, x2, x3, . . . 好到超乎想像 : 它們收斂到 『真』 解的速度出奇地 快, 只需要四、 五步就可以得到精確度很高的近似解。 據說巴比倫人在四千年前就用這個方法計 算平方根, 但除了平方根之外牛頓的方法可以用來計算任意 (適當) 函數的根。
牛頓法之所以可用是在於函數 f 本身之性質 (如連續性、 可微性) 相當好, 此時 T′(x) = f (x)f′′(x)
(f′(x))2 , (2.6)
因此由均值定理 (Mean Value Theorem) 可知存在 ξ ∈ (x, y)
|T (x) − T (y)| =
x − f (x)
f′(x) − y + f (y) f′(y)
=
(x − y) −
1 + f (ξ)f′′(ξ) (f′(ξ))2
(x − y)
=
f (ξ)f′′(ξ) (f′(ξ))2
|x − y| .
(2.7)
如果能要求 f(ξ)f
′′(ξ) (f′(ξ))2
≤ α < 1則
|T (x) − T (y)| ≤ α|x − y| ,
這就是縮像 (contraction mapping) 之雛形。 其實牛頓法提供了定點定理 (fixed point the- orem) 之靈感與第一個例子。 爾後也幫助我們明白隱函數定理、 反函數定理, 甚至是解微分方 程 (線性或非線性) 的內涵。 關於牛頓法我們並不詳細在此討論, 有興趣之讀者可參閱相關材 料。 我們是以此例子做為我們整個思考的依據, 到目前為止可確定的是
f(ξ)f′′(ξ) (f′(ξ))2
之大小直接 影響到解之存在與否? 我們看個例子
圖3: y = f (x) = x13.
例題 2.4: 試以牛頓法探討 f (x) = x13 = 0 之根。
[解]: f (x) = x13 = 0 之根為 x = 0, 由牛頓法知
xn+1 = xn− 3x
1
n3
x−
2
n3
= xn− 3xn= −2xn.
若取 x0 = 1 則
x1 = −2, x2 = 4, . . . 顯然數列 {xn}n 並不收斂, 而其原因就在於
f(ξ)f′′(ξ) f′(ξ)2
這個值不夠小, 直觀而言就是函數 y = f (x) = x13 不夠陡。
[註解]:
(i) 牛頓法或一般的迭代法在本質上是非常符合牛頓的機械論 : 即 『宇宙像時鐘那樣運行, 某 一時刻宇宙的完整信息能夠決定它在未來和任意時刻的狀態。』 只要給定了法則 (這裡的 T ) 然後就讓它機械地運轉得到下一刻的狀態。
(ii) 由 (2.2) 看的出來整個迭代行為除了 f′ 的大小有影響之外也與 f′ 的正負符號有關。 以圖 4, 5 為例, 若 f (x) > 0, 0 < f′(x) < 1, 則迭代數列 {xn}∞n=0 形成一遞減數列往定點 即 y = f (x) 與 y = x 交點之 x∗ 逼近。 若 f > 0, −1 < f′(x) < 0, 則由於 f′(x) < 0 的緣故, 迭代數列 {xn}∞n=0 形成以定點 x∗ 為中心交錯形成一遞減與一遞增數列往定點,
圖4: 0 < f′(x) < 1 之迭代。
圖5: −1 < f′(x) < 0之迭代。
即 y = f (x) 與 y = x 交點之 x∗ 逼近
x0 ≤ x2 ≤ x4 ≤ · · · ≤ x2n ≤ · · · → x∗, x1 ≥ x3 ≥ x5 ≥ · · · ≥ x2n+1 ≥ · · · → x∗.
3. Banach 定點定理
『A mathematician is a person who can find analogies between theorems; a better mathematician is one who can see analogies between proofs and the best mathematician can notice analogies between theories. One can imag- ine that the ultimate mathematician is one who can see analogies between analogies.』
— Stefan Banach (1892∼1945) — 要談 Banach 定點定理, 我們先定義何謂縮像 (contraction map)5。
定義 3.1: T 為從度量空間 (X, d) 映射到它自身的算子;
T : (X, d) 7→ (X, d) .
5縮像有時也稱為壓縮函數, 但是我個人比較偏愛縮像這個翻譯。
若存在常數 α, 0 ≤ α < 1, 使得任意 x, y ∈ X 都滿足
d(T (x), T (y)) ≤ αd(x, y) , (3.1) 則稱 T 是 X 之縮像而 α 則稱為縮像常數。
直觀而言, 縮像是將距離縮短至少 α 倍, 顯然一個縮像必定是連續函數。
定理 3.2 (Banach 定點定理): (X, d) 為完備度量空間 (complete metric space) 而 T : (X, d) 7→ (X, d)
為一縮像常數為 α 之縮像, 則必存在唯一 x∗ ∈ X 滿足 T (x∗) = x∗, 即 x∗ 為 T 之唯一定 點。
[證明]: 我們從任意點 x0 ∈ X 開始, 根據迭代法定義
xn+1 = T (xn), n = 0, 1, 2, . . . (3.2) 我們希望所得數列 {xn}∞n=0 是一 Cauchy 數列。 先看相鄰兩點 xn, xn+1 之關係
d(xn+1, xn) = d(T (xn), T (xn−1)) ≤ αd(xn, xn−1), n = 1, 2, . . . . 利用此式可得
d(xn+1, xn) ≤ αd(xn, xn−1) ≤ α2d(xn−1, xn−2) ≤ αnd(x1, x0), n = 1, 2, . . . , (3.3) 再由三角不等式與 (3.3) 可得
d(xm, xn) ≤ d(xm, xm−1) + · · · + d(xn+1, xn)
≤ (αm−1+ · · · + αn)d(x1, x0)
= αn− αm
1 − α d(x1, x0)
≤ αn
1 − αd(x1, x0) .
因此 {xn}n 為一 Cauchy 數列。 由 X 之完備性知存在 x∗ ∈ X 使得 d(xn, x∗) −→ 0, 當 xn −→ x∗ 這個極限點 x∗ 就是所要的定點
d(x∗, T (x∗)) ≤ d(x∗, xn) + d(xn, T (x∗))
= d(x∗, xn) + d(T (xn−1), T (x∗))
≤ d(x∗, xn) + αd(xn−1, x∗) −→ 0.
因此 T (x∗) = x∗。 現在證明唯一性, 假設有兩個定點 x∗、 y∗ T (x∗) = x∗, T (y∗) = y∗ 則 d(x∗, y∗) = d(T (x∗), T (y∗)) ≤ αd(x∗, y∗).
但 0 ≤ α < 1 故 x∗ = y∗。
圖6: 縮像。
這個定理不難想像 (參考圖 6)。 當壓縮產生時原來平面上任意的點 P0 會變換到 P1, 而 P1 則跑到 P2、 P2 則占據了原來 P3 的位置; · · · 等等。 因為我們考慮的是一個縮像, P1 與 P2 之間的距離必定小於 P0 與 P1 之間的距離, 同理 P2 與 P3 之間的距離必定小於 P1 與 P2 之 間的距離 · · · 等等。 於是我們就得到一串的點 P0, P1, P2, . . . 彼此間越來越近, 它蘊涵著這個 序列必定有一個極限, 而這極限點就是這個變換的定點 (不動點)。
[註解]: :
(i) 由證明過程中可知空間 X 之完備性 (completeness) 保證了定點 x∗ 之存在性 (exis- tence), 而縮像則保證所取的數列 {xn} 是一個 Cauchy 數列與定點的唯一性。 此一定理 不但指出這個迭代法是收斂的充分條件, 而且也給出所需迭代的次數, 也就是說 n 到底要 多大使得 xn 逼近 x∗ 到期待的精度。 由不等式
d(xm, xn) ≤ αn
1 − αd(x1, x0) , 取 n = 0 可知定點 x∗ 之範圍為
d(x∗, x0) ≤ 1
1 − αd(x1, x0) .
(ii) 除了存在、 唯一性之外, Banach 定點定理還給出實際的方法來構造 方程式 T (x) = x 的 解, 也就是迭代法 (3.2)。 在證明的過程中由 (2.2) 所定義 (構造) 的 {xn} 也確實收斂 到 T (x) = x 的解, 這也是為什麼通常稱 Banach 定點定理為逐步逼近法 (method of successive approximation)。
(iii) 在應用 Banach 定點定理時除了要考慮一個適當的空間 X (完備度量空間) 之外, 還得 構造出縮像 T , 而且兩者必須巧妙地結合。 X 不能太小以至於 T (X) 不落在 X 之內, 但 X 也不能太大以至於算子 T 無法成為一個縮像。 這都是 Banach 定點定理在應用上的 困難。 另一個著名的定點定理是由荷蘭數學家 L. E. Brouwer (1881∼1966) 提出; 它不 曾指出那個點保持不動, 而只是保證必然存在至少有一點是不動的。 Banach 定點定理雖 然限制較大, 但如果可用時我們可以同時得到存在性與唯一性, 而 Brouwer 定點定理則 只有存在性而已。
(iv) 由迭代法所構造出來的數列本質上是等比數列, 只是公比推廣為一個算子 T , xn = T (xn−1) = Tn(x0), n = 1, 2, 3, . . . .
雖然 {xn} 不見得是等比數列, 但可以被以 α < 1 為公比的等比數列所控制, 因此保證定 點的存在性。
(v) 關於這個定理我們有直觀的詮釋。 假設有一張撲克牌或照片在桌上而你手上有一張完全一 樣的縮小版本, 隨便將手上這張丟入桌上的撲克牌或照片內 (不能超過邊界) 那麼根據 Ba- nach 定點定理這兩張牌或照片一定有一點 (定點) 是重疊的。
圖7: Banach Fixed Point Theorem on Polish Gold Coin.
4. 應用一 : 反函數與隱函數定理
反函數與隱函數定理本質上就是方程式求解的問題
f (x) = y ⇐⇒ x = f−1(y) ,
F (x, y) = 0 ⇐⇒ y = f (x) . (4.1) 這裡 F 與 f 可以是函數更可以是算子 (operator)。 由 (4.1) 直觀來看將 x 7→ y 視為變數變 換, 則反函數定理提供了座標變換的條件, 而隱函數定理則給了方程式解的表現之條件。 以一階 偏微分方程而言, 根據 Lagrange 的理論, 是透過特徵線 (characteristic) 將一階偏微分方程
轉換成常微分方程組 (假設是兩個變數則會有兩個常微分方程!)。 解決常微分方程組之後再利 用隱函數定理得到原先一階偏微分方程的解, 如果有初始值的話則由反函數定理可以將特徵線 與初始值這兩個變數轉換成原先的兩個變數, 並由此結論一階偏微分方程的解。
關於反函數定理還是要從解線性方程式 (或線性聯立方程組) 來看 (假設 A 是一個與變數 x 無關的方陣)
ax = y =⇒ x = a−1y ,
Ax = y =⇒ x= A−1y. (4.2) (4.2) 式可解的重要因素是 a 6= 0, det A = |A| 6= 0, 換句話說 (從微分的角度)
dy
dx = a 6= 0, det∂y
∂x = det A = |A| 6= 0 , (4.3) 就是藉由微分才真正理解 (4.2)。 對於非線性函數 y = f (x) 就沒有那麼直接, 但 (4.3) 已指出 可以用微分來刻畫反函數之存在。 假設
f : I ⊂ R 7→ R, f (a) = b ,
因此我們的問題變為 : 在 y 靠近 b 是否可找到 x 在 a 附近使得 f (x) = y? 這就是 《反函數 定理》。 給定 y 如果 f (x) = y 有解則由均值定理 (mean value theorem) 可得
y − b = f(x) − f(a) = f′(ξ)(x − a) ∼= f′(a)(x − a) , (4.4) 這一步就是線性逼近 (也可視為線性化 (linearization))。 若 f′(a) 6= 0 則由 (4.4) 得
x = f−1(y) ≃ a − f (a) − y
f′(a) . (4.5)
這個式子與牛頓法實在是很相似。 由 (4.5) 式可取數列 x0 = a, x1 = x0− f (x0) − y
f′(x0) , · · · , xn+1 = xn− f (xn) − y
f′(xn) , (4.6) 由於 xn≈ a = x0 可以將 (4.6) 的分母都換為固定的 f′(x0) 使得實際計算變得比較簡單
x0 = a, x1 = x0− f (x0) − y
f′(x0) , · · · , xn+1 = xn− f (xn) − y
f′(x0) . (4.7) 仿牛頓法定義算子
T (x) = x − 1
f′(x0)(f (x) − y) , (4.8) 則求反函數 x = f−1(y) 就等價於求 T 的定點。 如果存在 x∗ 滿足 xn → x∗ 則由前面之經驗, 可大膽猜測 x∗ 就是所欲求的解。 我們看個例子:
例題4.1: 令 y = f (x) = x2− 4, a = 2, b = 0。 因為 x0 = a = 2, f′(x) = 2x, 由 (4.7) 所 定義的數列 {xn} 為
x0 = a = 2 , x1 = 2 − f (2) − y
f′(2) = 2 + y 4, x2 = 2 + y
4 −1 4
(2 + y
4)2− 4
− y
= 2 + y 4 − 1
4
y 4
2
,
x3 = 2 + y 4 −1
4
y 4
2
− 1 4
2 + y 4− 1
4
y 4
22
− 4 − y
= 2 + y 4 −1
4
y 4
2
+ 1 32
y 4
3
− 1 64
y 4
4
. 依此類推, 因此存在 x∗ 使得
xn→ x∗ = 2 + y 4 − 1
4
y 4
2
+ 1 32
y 4
3
− 1 64
y 4
4
+ · · · = (4 + y)21,
所以 x∗ = (4 + y)21 正是 f (x) = x2 − 4 之反函數。
由 (4.5) 知道反函數的構造是建立在均值定理, 因此可以直接推廣到 n 維空間的向量函 數。 令 x = (x1, x2, . . . , xn)T, f(x) = (f1(x), f2(x), . . . , fn(x))T 則 (4.5) 可以推廣為
x= f−1(y) ≃ a − (Daf)−1(f(a) − y) , (4.9) 其中 Df 是 Jacobian 矩陣
Df = ∂(f1, f2, . . . , fn)
∂(x1, x2, · · · , xn)
=
∂f1
∂x1 · · · ∂x∂fn1
... ... ...
∂fn
∂x1 · · · ∂f∂xnn
. (4.10)
當x = a時則表示為Daf = Df|x=a。 Jacobian矩陣基本上就是向量函數的梯度 (gradient), 可以視為單變數微分的替代品, 而其行列式則稱為 Jacobian 行列式
det(Df) = ∂(f1, f2, . . . , fn)
∂(x1, x2, · · · , xn) =
∂f1
∂x1 · · · ∂x∂f1n
... . .. ...
∂fn
∂x1 · · · ∂x∂fnn
. (4.11)
它反映了函數 f 在該點對空間的局部影響, 如果視為變數變換則 Jacobian 行列式的幾何意義 就是 n 維體積的變化率。
例題 4.2: 考慮向量函數 f : R2 7→ R2
"
y1
y2
#
= y = f(x) = f
"
x1
x2
#
=
"
x31ex2 + x2 − 2x1 2x1x2+ 2x1
#
, f
"
1 0
#
=
"
−1 2
# .
試利用 (4.9) 估計 f−1
"
−1.2 2.1
#
。 [解]: 這問題相當於
"
x1
x2
#
= f−1
"
−1.2 2.1
#
⇐⇒ ( x31ex2 + x2 − 2x1 = −1.2 2x1x2+ 2x1 = 2.1 . 首先計算 Jacobian 矩陣
Df(x) = Df
"
x1
x2
#
= ∂(f1, f2)
∂(x1, x2)
=
"
3x21ex2 − 2 x31ex2 + 1 2x2+ 2 2x1
# ,
Df
"
1 0
#
=
"
1 2 2 2
#
=⇒ det Df
"
1 0
#
= −2 6= 0 . 所以由反函數定理得
Df−1
"
−1 2
#
=
Df
"
1 0
#−1
= 1
−2
"
2 −2
−2 1
#
=
"
−1 1 1 −12
# , 而且根據 (4.9) 得
"
x1 x2
#
= f−1
"
−1.2 2.1
#
≃
"
1 0
# +
"
−1 1 1 −12
# "
−0.2 0.1
#
=
"
1.3
−0.25
#
.
圖8: Inverse Function Theorem.
定理 4.3 (反函數定理): 已知 U ⊂ Rn 是一開集, f : U 7→ Rn 是一連續可微函數。 令 a ∈ U 且 det(Daf) 6= 0 即 Daf 為一非奇異矩陣, 則存在 a 之開鄰域 Na ⊂ U 與 b = f(a) 之鄰 域 Nb 使得 f : Na → Nb 為 1-1 且映成 (onto) 函數, f(Na) = Nb, 即對任意 y ∈ Nb方程 式 f (x) = y 在 Na 內有唯一解, 換句話說, 反函數 f−1 : Nb 7→ Na 存在而且在 Nb 內也是 連續可微且滿足
Df−1(y) = [Df(x)]−1. (4.12) 如果 f 是 p 次可微則 f−1 也是 p 次可微, 反函數 f−1 與函數 f 本身有相同的光滑性。
[證明]: 整個想法是利用 Banach 定點定理, 由 (4.9) 可以定義算子
T (x) = a − (Daf)−1(f(a) − y) , (4.13) 並證明 T 是一個縮像, 有興趣的讀者可參閱 [7, 8, 9, 10, 11]。
[註解]:
(i) 粗略地看反函數定理是說 : 一個連續可微的映射(mapping) f, 如果在某一點 a 滿足 det(Daf) 6= 0, 則在 a 的附近都是可逆 (invertible)。 這相當於說 : 對於連續可微的 映射, 如果一點可逆則推論在該點附近 (開鄰域) 都是可逆。 這實在令人驚訝! 其實這並 不奇怪, 對於分析 (高等微積分) 有體會的人馬上可以看的出來這就是所謂的 《連續性論 據》(continuity argument), 一個連續函數在某一點大於 0, 則在該點附近 (開區間) 統 統大於 0。 而這本質上就是 ǫ-δ 所定義的連續性。
(ii) 自從 Albert Nijenhuis [8] 在 American Mathematical Monthly 發表了利用 Banach 定點定理來證明反函數定理之後, 幾乎所有的書都是用這個方法。 除了 Banach 定點定理 之外讀者可以在 Apostol [1] 的第 13 章找到另一個漂亮的證明, 其中用到 Cramer 法則 與開映射定理 (Open Mapping Theorem)。 但不管是那一個方法, 最重要的一步是均值 定理(Mean Value Theorem) 就是 (4.9), 在該點附近局部地將連續可微函數 f 視為線 性函數。
通常我們對函數的概念, 例如
y = ax + b (直線) y = ax2+ bx + c (拋物線) y = ±√
1 − x2 (圓) 或者表為一般式
y = f (x). (4.14)
這是一個明顯 (explicit) 式, 即將 y 直接表示為 x 的函數。 但實際上能夠如此表示的函數實 在太少, 而且也太侷限。 但 (4.14) 可以另外表示為
y = f (x) ⇐⇒ F (x, y) = y − f(x) = 0. (4.15) 這式子同時說明了一件事實: 求y = f (x)之反函數等價於求函數方程的根 F (x, y) = 0
(x, y) ∈ Ker F ⇐⇒ y = f (x).
由此可以理解從分析的角度來看: 隱函數定理就方程式求解的問題。 而這也告訴我們 反函數定 理與隱函數定理是等價的: 即求反函數實際上就是解方程式, 求根的問題。
例題 4.4: 圓方程式
F (x, y) = x2 + y2− 1 = 0 ⇐⇒ y = ±√
1 − x2. (4.16) [解]: 由 (4.16) 之右式可知
y′ = √−x
1 − x2 = − x f (x). 但這個事實亦可由左式而得。 取全微分
dF =∂F
∂xdx + ∂F
∂ydy = 2xdx + 2ydy = 0 , 故
y′ =dy
dx = −∂F /∂x
∂F /∂y = −x
y = − x f (x). 這個方向有個好處: 就算y無法明顯表為x之函數, 仍然可得其微分
y′ = −∂F /∂x
∂F /∂y = −Fx
Fy
, Fy = ∂F
∂y 6= 0 . (4.17) 當然前題是分母 ∂F
∂y 6= 0。 有興趣當然可繼續微分
y′′ = −Fy2Fxx− 2FxFyFxy− Fx2Fyy
Fy3 , (4.18)
分母始終出現都是Fy = ∂F∂y的函數, 因此對於隱函數定理我們僅需要求Fy6= 0 就足夠。 同理對 高維空間也可如此分析, 此時Fy則換為 Jacobian 行列式。 讀者有興趣可參考相關資料, 我們 在此只是要引出隱函數定理之動機。
基本上問題是 : 已知 F (a, b) = F (x0, y0) = 0, 我們想要解方程式 F (x, y) = 0, 意思 是要解y並將之表為x的函數。 換句話說: 是否存在函數 f (x) 滿足 b = f (a) 使得 y = f (x)
且 F (x, y) = F (x, f (x)) = 0? 既然隱函數定理是方程式求根之問題 (從分析的角度來看!), 我們可摹仿牛頓法利用迭代法來逼近。 仍然是從均值定理出發
F (x, y) − F (x, b) = ∂F
∂y(x, b)(y − b) + o(y − b) ≃ ∂F
∂y(x, b)(y − b) , (4.19) 但 F (x, y) = 0 而且 x ≈ a 可以將 (4.19) 與 x 有關的 ∂F∂y(x, b) 取代為固定 x = a 的
∂F
∂y(a, b)
y ≃ b − F (x, b)
Fy(x, b) ≃ b − F (x, b)
Fy(a, b) = y0− F (x, y0)
Fy(x0, y0). (4.20) 利用此式可定義數列 {yn}n 如下
y1 = y0− F (x, y0)
Fy(x0, y0), · · · , yn+1 = yn− F (x, yn)
Fy(x0, y0), n = 0, 1, 2, . . . . (4.21) 如果存在 y 滿足 yn→ y, 則由前面之經驗可大膽猜測 y 就是原方程式 F (x, y) = 0 之根, 同 時 (4.21) 也提供了證明隱函數定理之方法。 而且透過均值定理由 (4.19)−(4.20) 看出來由函 數方程 F (x, y) = 0 所定義的函數 y 隱約是 x 的函數, 也因為這緣故此我們稱之為隱函數定 理。
例題 4.5: 試利用迭代法 (4.21) 解方程式 F (x, y) = x2+ y2− 1 = 0。
[解]: 取(a, b) = (x0, y0) = (0, 1), F (0, 1) = 0, 且 Fy(0, 1) = 2 > 0 由(4.21)得 y0 = 1 ,
y1 = y0− F (x, y0)
Fy(x0, y0) = 1 − F (x, 1)
Fy(0, 1) = 1 − x2+ 1 − 1
2 = 1 − x2 2 , y2 = y1− F (x, y1)
Fy(x0, y0) = 1 − x2
2 − x2+ (1 − x222) − 1
2 = 1 − x2 2 − x4
8 , y3 = 1 − x2
2 − x4 8 − x6
16 − x8 128 , y = lim
n→∞yn = 1 − x2 2 −
∞
X
k=2
1 · 3 · 5 · · · (2k − 3)
2kk! x2k =√
1 − x2, −1 < x < 1 . 這相當於
F (x, y) = x2+ y2− 1 = 0 ⇐⇒ y = f (x) =√
1 − x2. 現在將前面的討論推廣為多變數與向量函數, 先看線性方程組
Ax + By = 0, x∈ Rn, y∈ Rm, (4.22)
其中 A = [aij] ∈ Rm×n, B = [bij] ∈ Rm×m。 由 (4.22) 定義線性變換 T : Rn× Rm 7→ Rm T(x, y) = [A B]
"
x y
#
= Ax + By . (4.23) 如果B−1存在則隱函數定理可以表示為
T(x, y) = Ax + By = 0 ⇐⇒ (x, y) ∈ Ker T ⇐⇒ y= f (x) = −B−1Ax . 現在將線性變換 T 換為一般的函數 F : Rn× Rm 7→ Rm。 隱函數定理的問題相當於 : 已知 F(a, b) = F(x0, y0) = 0, 是否存在函數 f(x) 滿足 b = f(a) 使得方程式 F(x, y) = 0 的 解可以表示為 y = f(x)? 通常是得不到 y 這個解。 類似於 (4.19)−(4.21) 的討論, 最重要的 一步仍然是均值定理
F(x, y) − F(x, b) = ∂F
∂y(x, b)(y − b) + o(y − b) ≃ ∂F
∂y(x, b)(y − b) , y≃ b − ∂F
∂y(x, b)
−1
F(x, b) ≃ y0 − ∂F
∂y(x0, y0)
−1
F(x, y0) , (4.24) 其中 ∂F
∂y 是 Jacobian 矩陣
∂F
∂y(x0, y0) =
∂f1
∂y1(x0, y0) · · ·∂y∂fm1(x0, y0) ... . .. ...
∂fm
∂y1(x0, y0) · · ·∂y∂fmm(x0, y0)
. (4.25)
利用 (4.24) 定義迭代數列 {yn}n
y1 = y0− ∂F
∂y(x0, y0)
−1
F(x, y0) ,
· · · ·
yn+1 = yn− ∂F
∂y(x0, y0)
−1
F(x, yn), n = 0, 1, 2, . . . .
(4.26)
定理 4.6 (隱函數定理): 已知向量函數
F= (f1, f2, . . . , fm)T : Rn× Rm 7→ F(x, y) ∈ Rm.
在 (a, b) = (x0, y0) 附近是連續可微, 且 F(x0, y0) = 0, 其 Jacobian 矩陣為一非奇異 m × m 矩陣, det∂F∂y(x0, y0) 6= 0, 則存在 x0 之開鄰域 Nx ⊂ Rn 及 y0 之開鄰域 Ny ⊂ Rm 與唯一的連續可微函數 ˆy: Nx7→ Ny 滿足
ˆ
y(x0) = y0, F(x, ˆy(x)) = 0, ∀x ∈ Nx, (4.27)
而且
∂ ˆy
∂x = − ∂F
∂y
−1
∂F
∂x =
∂f1
∂y1 · · · ∂y∂fm1
... . .. ...
∂fm
∂y1 · · · ∂f∂ymm
−1
∂f1
∂x1 · · · ∂x∂fn1
... ... ...
∂fm
∂y1 · · · ∂f∂xmn
. (4.28)
此外 F 與 ˆy 有相當的光滑性, 也就是說 : 如果 F 是 k 次/無限次連續可微則 ˆy 也是k 次/無 限次連續可微。 要使得隱函數存在又有好的性質就必需要求原來的函數也有等程度的好性質。
[證明]: 與反函數定理一樣的想法是利用 Banach 定點定理, 由 (4.26) 可以定義算子 Tx(y) = y − ∂F
∂y(x0, y0)
−1
F(x, y) , (4.29) 並證明 Tx 是一個縮像, 有興趣的讀者可參閱 [1, 8, 9, 10]。
[註解]:
(i) 與反函數定理一樣我們可以根據 《 連續性論據》 來理解隱函數定理: 一個連續可微的映 射 (mapping) F : Rn× Rm 7→ Rm 如果在某一點 (a, b) 滿足 det∂F∂y(a, b) 6= 0 且 F(a, b) = 0, 則在 (a, b) 的附近都有 F(x, y) = 0。 這相當於說 : 對於連續可微的映射 如果一點 (a, b) 是 F 的解, 則推論在該點附近(開鄰域) 的點 (x, y) 都是 F 的解而且 y 可以表示為 x 的函數。
(ii) 反函數定理與隱函數定理是等價的。 我們利用反函數定理來證明隱函數定理 : 首先定義函 數
G: Rn× Rm 7→ Rn× Rm, G(x, y) = (x, F(x, y)) , (4.30) 其 Jacobian 矩陣為可逆
∂G(x, y)
∂(x, y) =
I 0
∂F
∂x
∂F
∂y
, det ∂G(x, y)
∂(x, y)
= det ∂F
∂y
6= 0 ,
所以可以應用反函數定理到G(x, y), 從而推得隱函數定理。 同理可以由隱函數定理推得 反函數定理, 詳細請參考 [1, 8, 9, 10]。
(iii) 隱函數定理的證明與反函數定理一樣, 最重要的一步是均值定理, 這相當於說 : 一個連續 可微函數其局部行為差不多就是其導數(一次微分) 之行為。
(iv) (4.28) 這個等式是量綱平衡:
∂ ˆy
∂x
= [y]
[x],
− ∂F
∂y
−1
∂F
∂x
= [F]
[y]
−1
[F]
[x]
= [y]
[x].
5. 應用二: 微分方程 (Picard 迭代法)
歷史上逐次逼近法第一次有系統地被使用是法國數學家 Charles ´Emile Picard (1856∼
1941)6 在處理微分方程的存在性與唯一性時所建立起來的。 我們考慮一階微分方程的初值問 題
dx
dt = ˙x = f (t, x), x(0) = x0. (5.1) 直接積分所以 (5.1) 等價於積分方程
x(t) = x0+ Z t
0
f (s, x(s))ds , (5.2) 將 (5.2) 的右邊定義為
T (x) = x0+ Z t
0
f (s, x(s))ds . (5.3) 這就說明我們可以將微分方程解的存在問題轉化為算子的定點 (fixed point) 問題。 由 (5.3) 自然得出所謂的 Picard 迭代法 (Picard iteration)
xn+1 = x0 + Z t
0
f (s, xn(s))ds, n = 0, 1, 2, . . . . (5.4) Picard 迭代法在理論上的價值遠高於實用, 因為對於複雜的函數 f (t, x), 用這個迭代法 (5.4) 來得到逼近解 (approximate solution) 是非常不實際的。
例題 5.1: 試利用 Picard 迭代法得一階微分方程的解 dx
dt = ˙x = tx, x(0) = 1 . (5.5) [解]: 此時 f (s, xn(s)) = sxn(s), 根據 (5.4) 可以得出迭代數列
x0 = x(0) = 1 , x1 = T (x0) = 1 +
Z t
0 1 · sds = 1 + t2 2 , x2 = T2(x0) = T (x1) = 1 +
Z t 0
1 + s2
2
sds = 1 + t2 2 +t4
8 , x3 = T3(x0) = T (x2) = 1 +
Z t 0
1 + s2
2 +s4 4
sds = 1 +t2 2 +t4
8 + t6 48,
· · · · xn = Tn(x0) = 1 +
t2 2
1! +(t22)2
2! +(t22)3
3! + · · · .
6微分方程之外 Picard 在複變函數也留下腳蹤, 就是 Picard 大、 小定理 (Great Picard’s Theorem, Little Picard’s Theorem) 但一個學期的複變是絕對學不到這兩個漂亮的定理。
所以
x = lim
n→∞xn =
∞
X
n=0
(t22)n
n! = et22 . 將 (5.5) 右邊的係數 t 換為虛數 i
dx
dt = ix, x(0) = 1 , 其解為
x(t) = eit=
∞
X
n=1
(it)n
n! = cos t + i sin t . (5.6) 從微分方程的角度而言, 一個從 0 出發, x(0) = 1 微分 (變化) 等於自己尺寸 i 倍的函數必然 是一個在單位圓上逆時針旋轉 t 度的函數; x(t) = eit = cos t + i sin t。 取 t = π 就是著名的 Euler 等式 (Euler identity)7
eiπ+ 1 = 0 . (5.7)
Euler 稱她為最美的公式, 因為 (5.7) 包含了加法與乘法這兩個基本運算還有 0 與 1 這兩個基 本運算的單位元素 (identity), 另外數學中會出現的常數 i, π, e 都在這裡邊。 從 Picard 迭代 法 (逐步逼近) 來看 Euler 等式是非常有趣:
eiπ = 1 + iπ + (iπ)2
2! + (iπ)3
3! + · · · , 我們逐步將這些向量加起來, 可以看出這些點 (向量)
x0 = 1, x1 = 1 + iπ, x2 = 1 + iπ + (iπ)2 2! , x3 = 1 + iπ + (iπ)2
2! + (iπ)3 3! , · · · 依逆時針旋轉形成一個螺旋朝 x = −1 這個點逼近 (參考圖9)。
定理 5.2 (Picard): 已知 a, b ∈ R
Ω = {(t, x)||t − t0| ≤ a, |x − x0| ≤ b} (5.8) 是一矩形、 而 f (t, x) 是定義在 Ω 上的連續函數, 因為 Ω 是一緊緻集所以 f 在 Ω 是有界
|f(t, x)| ≤ c (t, x) ∈ Ω , (5.9)
7英國 BBC 電視台的數學科普節目曾播放過 『Euler 等式』, 但該節目主持人將 Euler 等式表示為 eiπ = −1, 雖然這沒有錯但卻不 是 Euler 的原意。 如果不是表示為 (5.7) 的形式, 就說明他 (她) 不懂 Euler 等式。
圖9: eiπ = 1 + iπ +(iπ)2!2 +(iπ)3!3 + · · · . 且對 x 滿足 Lipschitz8 條件
|f(t, x1) − f(t, x2)| ≤ k|x1− x2|, (t, x1), (t, x2) ∈ Ω , (5.10) 則一階微分方程
dx
dt = ˙x = f (t, x), x(t0) = x0 (5.11) 總是存在唯一解x(t) 而且t ∈ I = [t0− β, t0+ β], 其中
β < min
a,b
c,1 k
. (5.12)
[證明]: 詳細的證明可參考 ([2, 4, 5, 11]), 這裡只列出關鍵步驟。
(1) 將微分方程 (5.11) 轉換為積分方程 (integral equation) x(t) = x0+
Z t t0
f (t, x)dt . (5.13) (2) 透過(5.13) 定義算子
T (x) ≡ x0 + Z t
t0
f (t, x)dt . (5.14)
8Rudolf Lipschitz (1832∼1903) 是德國數學家, 他最被人所知大概就是這個工作, 他另一個重要的成果是利用力學定律來詮釋 Riemann 幾何, 這對於後來愛因斯坦發展相對論有所貢獻。
因此微分方程 (5.11) 存在性的問題轉換為算子 T 的定點是否存在的問題。 此時 Picard 迭代法 (Picard iteration) 為
xn+1 = T (xn) = x0+ Z t
t0
f (s, xn(s))ds, n = 0, 1, 2, . . . . (5.15) (3) 選擇適當的空間。 令C(I)表示定義在區間I上所有連續函數的集合, 由方程式 (5.11) 可以
猜得出來 x ∈ C(I)(實際上x ∈ C1(I) ⊂ C(I)), 如果定義度量 (metric)
d(x1, x2) ≡ maxt∈I |x1(t) − x2(t)| , (5.16) 則根據一致收斂的理論可以證明 (C(I), d) 是一個完備度量空間。
(4) 利用f 是 Lipschitz 連續證明 由 (5.14) 所定義的算子 T : (C(I), d) 7→ (C(I), d)
是一個縮像 (contraction map)。 最後根據 Banach 定點定理得出結論。
[註解]:
(i) Picard 定理的證明方法是將微分方程轉化為積分方程, 這也說明積分方程可以藉由逐步 逼近法來求解。
(ii) 雖然 Picard 定理對於非線性方程仍然成立, 但非線性 (nonlinearity) 是相當節制的。 由 量綱 (因次) 分析的角度來看 Lipschitz 連續 (5.10) 這個條件告訴我們 f 差不多是線性。
(iii) 運用 Banach 定點定理時需要縮像, 所以 Picard 這個存在唯一定理是有所限制的。 首先 (t, x) 必須落在矩形 Ω 之內, 其次由微分方程可推得 |dx/dt| ≤ c, 也就是 (t, x) 還必須 落在過 (t0, x0) 斜率為 ±c 之直線圍成的兩個三角形區域 (參考圖 10)。
(iv) (5.11) 這個常數 β 是由計算過程中得到的, 看起來並不自然也很難想像, 但是透過量綱 分析 (Dimensional Analysis) 你會發現這是合理的。
(5.8) =⇒ [a] = [t], [b] = [x] , (5.9), (5.10) =⇒ [f ] = [c] = [k][x] ,
(5.11) =⇒ dx dt
= [x]
[t] = [f ] . 由前面三個關係式可推得
1 k
= [x]
[f ] = [x]
[x]/[t] = [t], b c
= [b]
[c] = [x]
[k][x] = 1
[k] = [t] ,
因此 (5.12) 這四項都有相同的量綱
[β] = [a] = b c
= 1 k
= [t] .
圖10: Picard Theorem.
另一個微分方程的存在性定理也很出名, 這是義大利數學家 Giuseppe Peano (1858∼
1932)9的貢獻。
定理5.3 (Peano): 已知 Ω 同定理 5.2 之 (5.8), 而且f (t, x)是定義在 Ω 上的連續函數。 如果
|f(t, x)| ≤ c, (t, x) ∈ Ω (5.17) 則至少存在一可微連續函數 x(t) 滿足一階微分方程
dx
dt = ˙x = f (t, x), x(t0) = x0 其中
|t − t0| ≤ β ≡ min
a,b
c
. (5.18)
[證明]: 這個證明要用到 Arzela-Ascoli 定理詳細可參考 ([2, 4])。
9Giuseppe Peano (1858∼1932) 最著名的工作是數理邏輯 (Mathematical Logic) 與集合論 (Set Theory)。 自然數的 Peano 公設就是他的傑作, 他同時也是拉丁文專家。
[註解]:
(i) (5.18) 中的 a, b ∈ R 並沒有限定為有界, 所以 Peano 定理所得的解 x(t) 有可能對所有 t0 ≤ t < ∞ 都成立(整體時間解)。 但是 Picard 定理的 (5.12) 由於 Lipschitz 連續的 緣故 1
k 必定是有限的, 所以 Picard 定理只能得到局部時間解 (但有唯一性)。
(ii) Peano 定理的證明方法是利用另外兩個義大利數學家的結果, Arzela-Ascoli 定理, 就是 分析中的緊緻性 (compactness)。 所有的緊緻性定理都是從 Bolzano-Weierstrass 定理 開始, 簡單的說 : 在 Rn 上有界的數列必定存在收斂的子數列。 在有限維空間這個定理 等價於 Heine-Borel 定理 : A ⊂ Rn 是緊緻集若且唯若 A 是有界閉集。 但是無窮維 度量 (或距離) 空間 (metric space) 的有界閉集不見得是緊緻集, 取而代之的是全有界 (totally bounded) 完備 (complete) 集。 具體的例子是連續函數空間 : A ⊂ C(I) 是緊 緻集的條件是 A 為有界 (bounded) 且是等程度連續 (equi-continuous), 意思是對於任 意的 ǫ > 0 存在同一個 δ > 0 對 A 裡面所有的連續函數都適用, 這就是 Arzela-Ascoli 定理。
(iii) 緊緻性 (compactness) 是一個重要的拓樸性質 (經連續變換之後不變的性質)。 在分析中 它是證明微分方程解之存在性的重要方法, 除了 Peano 定理之外, 最著名的成果是 1934 年法國數學家 Jean Leray (1906∼1998) 利用緊緻性證明不可壓縮 Navier-Stokes 方程 的整體時間弱解的存在性 (global weak solution of the incompressible Navier-Stokes equation), 由於不同的收斂子序列可能收斂到不同的極限, 所以無法保證唯一性, 到目前 為止仍然是數學界 (甚至是科學界) 未解的核心難題。
(iv ) Banach 定點定理與緊緻性 (compactness) 是證明 (偏) 微分方程解之存在性的主要方 法, 兩者各有其優越性與不足之處。 以本節的兩個定理而言, Picard 定理是利用 Banach 定點定理要求的條件比較強, 得到的解通常是局部時間解 (local existence) 但可以得到 存在唯一定理。 而 Peano 定理中的 f (t, x) 只要求是連續不必 Lipschitz 連續, 這是它 比 Picard 定理好用的地方。 因為用到緊緻性所以容易得到解的存在性, 很多時候甚至可 以得到整體時間存在解 (global existence), 但付出的代價是缺少唯一性。
誌謝: 自從大四跟李育嘉教授學了 Banach 定點定理之後, 就一直深愛著這個定理。 育嘉老師 詮釋了一個漂亮定理的美學標準而且如何正確地鑑賞數學美, 這讓我擺脫大二以來 ǫ-δ 的糾葛 並影響了我的數學觀。 在此謹將此文獻給李育嘉教授並祝他 70 歲生日快樂。
