第一章 緒論
1.4 章節概要
本論文共分為五個章節。經前述第一章緒論的簡介後,第二章將介紹在獨 立成份分析中使用到的理論背景。通過對這些背景知識的理解,有助於我們對獨 立成份分析的研究。
在第三章中將深入介紹獨立成份分析的演算法。首先我們會說明整個演算 法的流程,接著根據流程一一詳細敘述獨立成份分析的內容。
第四章進一步地說明我們如何應用獨立成份分析的演算法分析新型電子 紙的反射頻譜及其實驗結果。實驗分為兩個部分,第一個部分是應用於結構較簡 單的黑白微杯型電泳電子紙;第二個部分是應用於全彩微膠囊型電泳電子紙。
最後以第五章歸納本論文的結論,並說明以此方法及迄今達到的成果為基 礎,未來還可以繼續再研究的方向及課題。
6
第二章
rank matrix),此時該矩陣的行向量互相線性獨立,列向量亦同。
廣義反矩陣(pseudo-inverse matrix)則是在矩陣只有部分滿足可逆性的條件 時,利用矩陣運算所達成的特殊反矩陣。廣義反矩陣的核心理論是將原本無解的 方程式投影到合適的向量空間,以求得具有最小平方誤差(least square error)的最 佳近似解。依照目標投影空間的不同,我們可以將廣義反矩陣分為左反矩陣 (left-inverse)與右反矩陣(right-inverse)。當原矩陣為滿列秩(full column rank)矩陣 時,可以將方程式 Ax=b 投影到原矩陣的列空間上: 同理,當原矩陣為滿行秩(full row rank)矩陣時,可投影到原矩陣的行空間上得到 右反矩陣 Aright-1
不變子空間。依照這個定義,針對這些向量的線性等式可以改寫成 Ax=λx 的形
𝐀 = 𝐒𝚲𝐒−1 (2.7)
S = {(i, j)|i = 1, … ,6; j = 1, … ,6}
𝑋(i, j) = i + j (2.9) 此時隨機變數 X 可能的值為{2, 3, 4, …, 12}。很明顯地,在此隨機變數中每個值 出現的機率並不一樣,而描述隨機變數每個輸出值出現機率的函數就是機率密度 函數(probability density function, pdf)。以上述的例子來說,其機率密度函數 F(X) 的分佈如下圖所示:
圖 2-2 隨機變數 X 的機率密度函數
期望值(expected value)是另一個討論機率問題時經常會使用的結果,其代 表將同一個隨機試驗重複非常多次後,預期會得到的平均值。在機率論中,期望 值的定義為「試驗中所有結果乘上其發生機率的總和」。以上述的隨機變數為例,
根據每個值出現的機率,可計算得到該隨機變數的期望值:
𝐸[𝑋] = 2 ∗361 + 3 ∗362 + 4 ∗363 + ⋯ + 12 ∗361 = 7 (2.10) 其中 E 代表期望值函數。假如所有結果出現的機率都相等,此時根據期望值定
Random variable
Probability
11
義計算的結果就等同於該隨機變數的平均值。期望值也被用於描述一個隨機變數 的離散程度。若以期望值為基準,計算所有資料相對期望值的偏移量,其結果被 稱為該隨機變數的變異量(variance)。變異量的定義如下所示:
𝑉𝑎𝑟(𝑋) = 𝐸[(𝑋 − 𝐸[𝑋])2] (2.11) 變異量就類似於工程應用上的均方誤差(mean square error),只是均方誤差是相對 於均值,而變異量是相對於期望值,但兩者都能用來測量整組數據相對的離散程 度。
2.4
高斯分佈與中央極限定理
高斯分佈(Gaussian distribution)又稱為常態分佈,其機率密度函數的曲線 呈對稱鐘形,因此也被稱為鐘形曲線,是在機率分佈中有著重大影響力的基本模 型。假如以機率密度函數來描述高斯分佈,其表示式為:
𝑔𝑎𝑢𝑠𝑠(𝑋; µ, σ) =𝜎√2𝜋1 𝑒−(𝑋−µ)22𝜎2 (2.12) 其中μ 代表其期望值,σ2代表其變異量。在期望值及變異量已知的情形下,高斯 分佈的熵是所有已知的分布型態中最大的,這使得高斯分佈成為許多物理現象自 然的分佈形式。當期望值為零且變異量為一時,高斯分佈可以被簡化為以下形 式:
𝑔𝑎𝑢𝑠𝑠(𝑋) =√2𝜋1 𝑒−𝑋22 (2.13) 上式被稱為標準常態分佈,其函數分佈如下圖所示:
12
圖 2-3 標準常態分佈之機率密度函數分佈
除了一些自然分佈型態外,高斯分佈在統計理論中也是某些情況下的極限分佈形 式,這個現象被稱為中央極限定理(central limit theorem)。
中央極限定理是機率論中一項具有舉足輕重地位的重要定理,也是數理統 計學與誤差分析的理論基礎。根據古典中央極限定理,假如從同一個母體隨機抽 取 n 個獨立隨機變數,當 n 值夠大時,將這些獨立隨機變數做平均後的分佈會近 似於高斯分佈。換句話說,任意兩個獨立隨機變數平均後的機率密度函數曲線,
將比原始變數更接近高斯分佈曲線。以骰子為例,當只有一個骰子時出現數字 1~6 的機率是相等的,但同時骰兩個獨立骰子時,其擲出點數平均後的機率分佈 函數會趨向於鐘形,如圖 2-4 所示。
Random variable
Probability
13
圖 2-4 多個獨立變數平均後其機率密度分佈函數將趨近於鐘形。圖為(a)一個骰子 (b) 兩個骰子擲點平均值 之機率分佈函數。
Random variable
Random variable
ProbabilityProbability
(a)
(b)
14
2.5
共變異量與非相關性
假如我們將變數 X 和 Y 的聯合機率密度函數(joint density function)以 F(X,Y)表示,
則 X 和 Y 各自的機率密度函數可以表示成 F(X,Y)的形式:
𝐹(𝑋) = ∫ 𝐹(𝑋, 𝑌)d𝑌
𝐹(𝑌) = ∫ 𝐹(𝑋, 𝑌)d𝑋 (2.17)
15
獨立性的在統計上的定義為「當隨機變數間具有獨立性時,任一變數的機率分佈
對資料進行前處理(preprocessing),詳細內容會在第三章進一步說明。
2.7.2 負熵 發則必須要計算各參數的機率密度函數(probability density function)。因此在實際 使用上會使用近似函數取代原本負熵函數的定義。我們的研究採用函數為 Hyvärinen 所提出的近似函數[24]:
𝐽(𝐮) = k{𝐸[𝐺(𝐮)] − 𝐸[𝐺(𝛎)]}2 (2.25)
使用負熵近似式的優勢在於它的概念比原始的負熵定義要來得簡單明瞭,
圖 2-5 虛線代表函數 F(x1,x2)之等位曲線,實線代表方程式 V(x1,x2)=c 之軌跡,箭號表 示斜率。
透過拉格朗日法,我們成功將一個約束最佳化問題轉換成計算方程式偏微 分為零的解,而接下來的問題就是該如何求得最佳解,因此我們在此引入另一套 計算方式-牛頓法。
2.9
牛頓法
牛頓法(Newton’s method)是一種近似求解的方法,利用函數的泰勒級數來 逼近方程式 F(x)=0 的解。假設函數 F(x)的軌跡如圖 2-6 所示,首先寫出函數在 x0的一階泰勒展開式:
𝑆(𝑥) = 𝐹(𝑥0) + 𝐹′(𝑥0)(𝑥 − 𝑥0) (2.31) 就幾何上來說,函數在 x0的一階泰勒展開式代表在 x0點對函數的切線。牛頓法 的核心想法就是假設當 x0為函數 F 與 x 軸的交點時,該點同時也是切線與 x 軸 的交點。令 S(x)=0 解變數 x 可得:
𝑥 = 𝑥0− 𝐹(𝑥0)
𝐹′(𝑥0)
� (2.32)
即使得到的變數不是 F(x)=0 的解,通常也會比原始的 x0更接近。只要函數的斜 率是連續的,且做為目標的零點是孤立的,則在零點周圍一定範圍內牛頓法必定
F(x1,x2)=d1
F(x1,x2)=d2
V(x1,x2)=c
20
會收斂。因此可以將得到的變數重複代入公式(2.32)中,以迭代的方式逼近最佳 解:
𝑥n+1 = 𝑥n− 𝐹(𝑥n)
𝐹′(𝑥n)
� (2.33)
上式即是牛頓法的核心計算式。假如將拉格朗日法中得到的偏微分式做為函數代 入公式(2.33),就能夠快速得計算求解。
圖 2-6 牛頓法利用對函數做切線來得到新的點,並藉由重複此過程逼近函數的零點 S(x)
x0
x1
F(x1) F(x)
x
21
第三章
獨立成份分析演算法
本章節將深入介紹獨立成份分析法及分析流程。首先在 3.1 節簡略的介紹整個 分析流程的架構後,接著再根據獨立成份分析的流程逐一做介紹。雖然獨立成份 分析法的流程在得到獨立成份時便已完成,但為了建立特性化模型,還需要計算 連結系統特性矩陣與反射頻譜的係數,因此在本章節最後 3.6 節的部分會介紹如 何計算特性化模型的係數。
3.1 分析流程架構
圖 3-1 特性化模型之分析及建構流程圖
(1) 設定取樣點量測訊號
在現實中的物理訊號基本上都是連續訊號,例如聲波在時間域上連續、頻 譜在波長上連續。因此在進行分析之前必須先對連續訊號取樣得到離散訊號,並 表示成向量的形式才能進行線性轉換的計算。
資料前處理 設定取樣點量
測混合訊號 輸入最佳化演算法
結果是否具有最 大獨立性?
建立特性化模
型 輸出結果 是
否
22
(2) 資料前處理
形,如圖 3-2 所示。其基本模型的建構,主要是使用統計上的潛在變數(latent
在獨立成份分析法中的第一個假設為「觀察資料與潛在成份的數量相同」,
前通常會先將資料轉換成一組具有非相關性的資料,以降低自由度並加速後續運
其中 Be代表對應此非相關矩陣的解混合矩陣,U 則是透過解混合矩陣得到的新
斯性的解必須使其與潛在獨立成分沒有線性組合關係,換句話說,向量 u 自身就
其中κ 為拉格朗日乘數。依照定義,當有極值時函數的偏微分為零: 速定點演算法(fast fix-point algorithm)對公式進行優化[24]。首先,由於矩陣 W 具有非相關性,因此可以對公式(3.14)的分母部分做以下近似:
佳化演算法。將初始矩陣輸入遞迴式後,重複遞迴直到收斂至穩定結果,再將輸 出的解混合矩陣代回公式(3.7),就能得到系統的獨立成份。另一方面,這些獨立 成份在電子紙模型中代表系統的特徵頻譜,也就是構成特性化模型的系統特性矩 陣。
3.6 建立特性化模型
求得系統特性矩陣後,下一步是找到重建反射頻譜時各特徵頻譜對應的係 數,再藉以建立特性化模型。由於獨立特徵頻譜的均值為一且變異量為零,在重 建頻譜時我們會先對反射頻譜的均值及變異量作相同處理,並建立標準特性化模 型:
𝐫� = 𝐔 𝐜 (3.18) Where 𝐫 = 𝐫̅ + 𝜎𝑟𝑟𝐫� (3.19) 其中 r 代表電子紙的反射頻譜,𝐫̅代表反射頻譜的平均值,σr代表反射頻譜的變 異量,𝐫�代表標準化的反射頻譜,c 代表對應各特徵向量的純量值所組成的向量。
由於特徵頻譜彼此間互相獨立,此特徵頻譜矩陣為滿列秩矩陣,因此純量向量內 的係數將可以通過廣義反矩陣估計:
𝐜 = (𝐔𝐔T)−1𝐔𝐫� (3.20) 有了系統特性矩陣及對應的純量向量,就可以建立完整的電泳式電子紙之色彩特 性化模型,將電子紙畫面表現的反射頻譜改寫成獨立特徵頻譜的線性組合。
30
第四章
實驗及分析
為了驗證此特性化模型的效果及準確性,我們設計了一系列實驗流程來檢驗 此模型對於新型電泳式電子紙的分析結果,以及利用其分析成果所重建的頻譜與 實際頻譜色彩上的差異程度。針對前述研究方法中所建立的特性化模型,我們使 用 CIEDE2000 來評估預測值與量測值之間的誤差。由於人眼對色差的辨識能力 大約是以ΔE00=1 為分界,若是實驗得到的ΔE00<1,則代表我們所提出之特性化 模型具有足夠的準確度。
4.1 實驗設置
在量測儀器的設置方面,我們所使用的分光光譜幅度計型號為 TOPCON®
在量測儀器的設置方面,我們所使用的分光光譜幅度計型號為 TOPCON®