Cubic B-spline插值與迴歸方法比較 - 政大學術集成

全文

(1)國立政治大學統計學系碩士論文. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. Cubic B-spline插值與迴歸方法比較 Cubic B-spline interpolation compared with regression methods. Ch. engchi. i n U. 研究生：江元淳指導教授：黃子銘. 中華民國ㄧ零二年六月. v.

(2) 誌謝謝謝黃子銘老師這一年來的指導，使我在研究期間受益匪淺，每週的討論老師總是充滿著耐心與親切感，讓我在研究過程中能夠很順利的進行，也讓我學習到最重要的發現問題與解決問題的能力。另外也很感謝研究所同學這兩年的陪伴，無論是課業上幫助還是課後的聚會，都留下美好的回憶。最後我要感謝我的家人，一路栽培我到大，希望能藉由這一點點的成果，與你們分享我成長的喜悅。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(3) 摘要插值方法被廣泛的應用在工程學上，其應用有各種波型的還原及使影像放大不失真等等。而一般的插值方法其概念是由一個連續形函數通過已知的有限觀測資料，還原原始的函數值，其模型由觀測資料與interpolation kernel兩大部份所組成，本研究選用cubic B-spline曲線做為插值函數的 interpolation kernel, 探討在具有平滑連續特性的函數資料下，其插值還原方法的效果，並在觀測資料具有大誤差時，提供先平均再插值的修正方式。隨後以統計迴歸分析的角度去看此插值問題，選取適當基底下估計迴歸函數，以進行插值並且比較其與一般插值方法和先平均再使用插值方法的還原效果，可以得到以下結論：(1)在函數較平滑時，不論資料的誤差大小，我們都建議使用迴歸的方法來得到較佳的還原效果，但在資料誤差大時且必須使用插值方法的情況下，可以使用本研究建議的先平均再進行插值方法來改善傳統的插值方法。(2)當函數資料不那麼平滑時，將不建議先平均再插值的處理方法，而建議在資料誤差小時使用一般插值方法，反之若資料誤差大時，則使用迴歸方法還原較佳。(3)若資料函數極不平滑時，不論誤差大小，應使用傳統的插值方法會有較佳的還原能力。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(4) Abstract In this thesis, three interpolation approaches are studied: interpolation based on original data, interpolation based on averaged data, and B-spline regression. For the two interpolation approaches, a cubic B-spline kernel is used. The three approaches are compared based on simulation results, where the data are generated according to a regression model with various regression functions and error variances. The findings based on the simulation experiments are given below. (1) When the data are generated using smooth regression functions, B-spline regression restores the regression functions best. In such case, if the data are generated with large errors, interpolation based on averaged data performs better than interpolation based on original data. (2) When the data are generated using less smooth regression functions, interpolation based on averaged data does not perform well and is not recommanded. In such case, if the data are generated with small errors, interpolation based on original data performs better than B-spline regression; if the data are generated with large errors, B-spline regression outperforms interpolation based on original data. (3) When the data are generated using extremely unsmooth regression functions, interpolation based on original data performs better than the other two approaches.. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(5) 目錄 1 緒論 1.1 研究動機 1.2 研究目的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 立. 2 文獻探討. 政治大. ‧ 國. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. ‧. . . . .. 2. 學. 3 研究方法 3.1 插值方法 . . . . . . . . 3.1.1 非整數觀測時間 . 3.1.2 誤差資料的處理 . 3.2 迴歸方法 . . . . . . . .. 1 1 1. . . . .. . . . .. . . . .. . . . .. . . . .. 4 4 5 5 7. n. al. er. io. sit. y. Nat. 4 模擬資料分析 8 4.1 平滑函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4.2 不平滑函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.3 極不平滑函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15. Ch. 5 聲波資料分析 5.1 資料整理 . . . . . . . . . . . . . 5.2 插值方法 . . . . . . . . . . . . . 5.2.1 一般插值方法 . . . . . . . 5.2.2 先平均再插值的處理方法 5.3 迴歸方法 . . . . . . . . . . . . . 5.4 方法比較 . . . . . . . . . . . . .. i n U. v. e n g c h. i. . . . . . . . . . . . . . . . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. 19 19 20 20 20 21 22. 6 結論與建議 23 6.1 結論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 6.2 建議 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23. I.

(6) 表目錄在小誤差時平滑函數使用不同方法的I指標分布 . . . 在大誤差時平滑函數使用不同方法的I指標分布 . . . 在小誤差時不平滑函數使用不同方法的I指標分布 . . 在大誤差時不平滑函數使用不同方法的I指標分布 . . 在小誤差時極不平滑函數使用不同方法的I指標分布 . 在大誤差時極不平滑函數使用不同方法的I指標分布 .. 立. 政治大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. 4.1 4.2 4.3 4.4 4.5 4.6. Ch. engchi. II. i n U. v. . . . . . .. . . . . . .. . . . . . .. . . . . . .. . . . . . .. 9 11 13 14 16 17.

(7) 圖目錄將training data每d個取平均 . . . . . . . . . . . . . . . . . . .. 4.1 4.2 4.3 4.4 4.5 4.6 4.7. 函數1在小誤差時各方法的還原狀況函數4在小誤差時各方法的還原狀況函數1在大誤差時各方法的還原狀況函數2在小誤差時各方法的還原狀況函數2在大誤差時各方法的還原狀況函數1在小誤差時各方法的還原狀況函數1在大誤差時各方法的還原狀況. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. 學. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. . . . . . . .. 10 10 12 14 15 17 18. 5.1 5.2 5.3 5.4. 加入雜訊的聲音波形、抽樣資料的波形一般插值方法還原的波形 . . . . . . . 先平均再插值的還原波形 . . . . . . . 迴歸方法還原資料的波形 . . . . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. . . . .. 19 20 21 21. n. al. er. io. sit. Nat. y. 政治大. ‧ 國. 立. . . . . . . .. ‧. 3.1. Ch. engchi. III. i n U. v. 6.

(8) Chapter 1 緒論 1.1. 研究動機. 立. 政治大. y. Nat. io. sit. 研究目的. er. 1.2. ‧. ‧ 國. 學. 在工程上，插值方法(interpolation)被廣泛的應用以及處理遺失的資訊。例如：聲音波形的插補可以幫助我們還原壓縮的音檔，得到較佳的聲音品質；服裝在自動剪裁時，可以更平滑的切割以得到較美觀的服飾；另外也很常見到插值方法用於影像的還原，使得模糊的影像得以更清晰的呈現。這些例子被普遍地應用在日常生活中，若能更了解插值方法的使用並進一步的加以改善，日後在處理這些狀況時得以變得更有效率。. 插值方法是指當我們具有有限個觀測資料時，可以透過一個連續形函數通過這些觀測值，連接成一個函數估計出其資料點中間的遺失值或未知數據。在工程上我們可以利用插值過程來解決聲音、影像等訊號的補值問題，另外我們也可以利用統計的迴歸方法來處理這些插值問題。多數的函數資料具有平滑連續的特性，本研究想要瞭解在具有這樣特性的函數資料下，其插值方法的還原效果如何以及是不是有其它更好的處理方法及修正方式。而當我們在處理資料還原的過程時，拿到的觀測資料通常都存在著雜訊及誤差，若直接拿此資料建立模型可能還原的效果會不盡理想，本研究也希望能針對具有誤差的觀測資料提供適當的處理方法，以及在觀測時間非整數時給予適當的處理，進而改善插值方法的效果。另外也以迴歸的角度去看此插值問題，觀察資料的還原效果，並比較其與插值方法的使用時機以及準確程度。. n. al. Ch. engchi. 1. i n U. v.

(9) Chapter 2 文獻探討. 政治大. 在工程上，一般的插值結果可以表示成一個線性組合，由已知的有限觀察資料點和一個interpolation kernel兩大部份所組成。Philippe[9]提到以往傳統的插值估計式可以表示成：. 學. ‧ 國. 立. gâ (x) = Σn gd (n)hint (x − n). (2.1). io. al. 1 if x = 0; 0 if x is an integer and x 6= 0.. sit. hint (x) =. er. Nat. (. y. ‧. 其中ˆ ga (x)為在觀測時間為x時，用此插值方法中得到的估計值，gd (n)代表在觀測時間為n的觀察值，hint 則是此插值方法中選用的interpolation kernel, 且其需滿足限制條件：. v. n. 因為限制條件使得interpolation kernel的選用受到限制，於是ˆ ga 估計式發展為另一種形式 gâ (x) = Σn c(n)h(x − n) (2.2). Ch. engchi. i n U. 其中係數函數c(n)可以從樣本資料gd (n), n = 0, ±1, ±2, ...決定，h則是此插值方法中選用的 interpolation kernel, 並且不需要滿足上述hint 之限制條件，但此形式也需要付出較高的成本和較繁雜的計算。在希望可以得到較平滑的估計函數ˆ ga 時，可以選用較平滑的interpolation kernel來連接觀測值。Parker, Kenyon, 與Troxel[7]提到，使用較平滑的cubic B-spline曲線來作插值，會比使用其它的線性函數作估計來的準確。而Bspline曲線是由Schoenberg[8]所提出，它是由許多微小的片斷曲線所組成，且相較於Lagrange多項式、Hermite多項式，能求得較平滑的曲線，更能幫助我們插補具有平滑連續性的資料。另外，我們若以統計迴歸的角度來看此插值問題，可以考慮以下迴歸模型： yi = f (xi ) + i , i = 1, 2, ..., n, (2.3) 2.

(10) iid. 其中xi 為第i個觀測時間，yi 為第i個觀測值，誤差項i ∼ N (0, σ 2 ). 而f 通常假設為一平滑函數，可透過基底函數例如多項式去做近似，在這裡我們假設f 為ㄧcubic B-spline函數，經過最小平方法(least squared method)求解後，可得到f 的估計值fˆ, 而在觀測時間xi 之估計值為fˆ(xi ). Wegman與Wright[14]提到，使用(2.3)式及估計f 的方法與前述插值方法不一樣的地方在於：利用插值方法的插值結果比較傾向通過觀察值，而以迴歸式配適之插值結果比較不會接近觀察值。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(11) Chapter 3 研究方法 3.1. 插值方法. 政治大. 立. ‧ 國. 學. 考慮基於觀察值gd (n) : n = 0, ±1, ±2, ...的插值問題，在時間x的插值估計可以表示成 gâ (x) = Σk c(k)h(x − k) (3.1). ‧. 其中係數函數c由樣本資料解出，而h(interpolation kernel)可自行選擇一個連續可微的函數，則估計值ˆ ga 也為一個連續可微函數。h的選擇可以有很多種，像是比較常見的有Sinc函數、Lagrange函數，以及B-spline函數。為了估計具有平滑特性的資料，此研究使用具有高度連續性和平滑特性的cubic B-spline函數作為插值估計式中的interpolation kernel, 以下用b表示cubic B-spline interpolation kernel, 其定義如下：. er. io. sit. y. Nat. n. a l 2/3 − x + |x| |x| ≤ 1,i v 1 < |x| b(x) = C(2 − |x|) n < 2,  U  h e n g c h iotherwise. 0 2. 1 6. 3. 1 2. 3. (3.2). 接下來我們說明使用(3.2)取h = b時，如何解出c以得到ˆ g 的計算過程。首先，我們希望在觀測時間為n的觀察值gd (n)與插值估計ˆ ga (n)是相等的，將b代入(3.1)式中的h後，由gd (n) = gâ (n)就可得 gd (n) = Σk c(k)b(n − k) = (c ∗ b)(n). (3.3). 其中c ∗ b表示函數c和函數b的線性旋積(convolution).而係數函數c可以透過(3.3)式進行z-transform的函數轉換解出，我們定義某一個函數u的z-transform 轉換為U (z) = Σn u(n)z −n , 對(3.3)式進行z-transform函數轉換後可以得到Gd (z) = C(z)B(z)以及 C(z) =. 1 Gd (z) B(z) 4. (3.4).

(12) 其中Gd (z), C(z), B(z)分別為函數gd (n), c(n), b(n)的z-transform轉換。接著 1 , 則由(3.4)可知: 找binv 使得binv 的z-transform為 B(z) c(n) = (binv ∗ gd )(n) = Σk binv (k)gd (n − k). (3.5). binv 可由以下方式解出：先計算(3.2)式b的z-transform B(z) = Σn b(n)z −n =. z 2 + 4z + 1 6z. 則其倒數 6z 6z −1 1 √ √ = 2 = B(z) z + 4z + 1 (1 − (−2 + 3)z −1 )(1 − (−2 + 3)−1 z −1 ). 政治大. 立. (3.6). −1 −1. ‧ 國. 學. z 我們直接計算u(x) = p|x| 之z-transform為 (1−pzp−p −1 )(1−p−1 z −1 ) , 和(3.6)式比對之後得到以下結果 √ √ (3.7) binv (x) = 3(−2 + 3)|x|. 非整數觀測時間. y. Nat. 3.1.1. ‧. 將(3.7)式代入(3.5)式所得到的係數函數c代回(3.1)式中就可得到插值估計ˆ ga .. sit. n. al. er. io. 處理實際問題時，只有有限多個時間點，時間點也不一定是整數，所以上述的方法需要改寫一下。考慮在時間x∗ 做插值估計，以n筆等距觀測時間的資料(x1 , y1 ), (x2 , y2 ), ..., (xn , yn )為例，假設xi − xi−1 = (xn − x1 )/n, i = 2, 3, ..., n. 我們可以使用一個時間轉換函數l. Ch. l(x) =. engchi. i n U. v. xn − nx1 n−1 + x xn − x1 xn − x1. 將原來時間x1 , ..., xn 轉換到新時間l(x1 ) = 1, ..., l(xn ) = n. 觀測時間x∗ 所對應的轉換時間為l(x∗ ), 所以利用(3.1)與h = b得到插值估計為Σk c(k)b(l(x∗ ) − k) 其中係數函數c利用(3.5)式方法將n筆觀測值y1 , ..., yn 代入解出 c(k) =. k−1 X. binv (l)yk−l. (3.8). l=k−n. 3.1.2. 誤差資料的處理. 一般我們所收集到的觀測資料都會存在著誤差，為了使估計更準確，在進行插值方法時，將觀測資料做適當的處理是相當必要的。拿到觀測資料 5.

(13) 學. ‧ 國. 立. 政治大. 圖 3.1: 將training data每d個取平均. ‧. 時，可以將鄰近的資料點等分取平均來降低誤差，至於要選擇多少個資料點個數d來取平均，本研究運用了cross-validation的方法以及ASE(average squared error), 來幫助我們作適當的選取。以下說明如何選取d的過程：我們先用簡單隨機抽樣將n筆觀測資料挑出nt 筆為訓練(training)組，剩下的nv 筆資料為驗證(validation)組。令(x01 , y10 ), ..., (x0nt , yn0 t )為訓練組資料，而(x∗1 , y1∗ ), ..., (x∗nv , yn∗ v )為驗證組資料。為了使誤差減小，在訓練組的部份我們將觀測值每鄰近d個點取平均 (如圖3.1)，得到新的訓練資料：. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 0 0 0 + yid+2 + ... + yid+d x0id+1 + x0id+2 + ... + x0id+d yid+1 , d d. v. !. , i = 0, ..., [. nt − d ], d. 利用此新的訓練組資料使用前述的插值方法，可得到觀測時間為x∗ 下的插值估計值ˆ ga,d (x∗ ), 並可利用驗證組資料評估插值估計的好壞，評估標準為： nv 1 X (3.9) ASE(d) = (yj∗ − gâ,d (x∗j ))2 , d = 1, 2, ..., nt nv j=1 當ASE(d)小時，插值估計是較好的，因此我們選d = dˆ = argmind ASE(d)作 ˆ 為我們的最佳參數，利用d得到的新訓練組資料幫助我們配適出一個誤差較小的插值估計式。. 6.

(14) 3.2. 迴歸方法. 考慮插值問題：在時間x1 , ..., xn 有觀察值ga (x1 ), ..., ga (xn ), 現要在時間x作插值，以迴歸的角度去看此問題，我們可以建造一個以觀測值ga (x)對觀測時間x的迴歸模型: ga (xi ) = f (xi ) + i ,. i = 1, 2, ..., n,. (3.10). iid. 其中誤差項i ∼ N (0, σ 2 ), 另外假設f 是一個cubic B-spline函數，則f 可表示成： f (xi ) =. k X. βj Bj (xi ),. (3.11). j=1. 政治大. 其中B1 , ..., Bk 為已知的cubic B-spline基底函數，β1 , ..., βk 代表未知的基底係數，此時(3.10)可寫成： . . 立 . . . . . ‧ 國. 學. ga (x1 ) B1 (x1 ) . . . Bk (x1 ) β1 1     .   .  . . . .  =  .  +  .  .. .. .. ..     .   .  ga (xn ) B1 (xn ) . . . Bk (xn ) βk n. ‧. 我們若把n筆觀測值用向量Y 來表示，其函數f 的cubic B-spline基底用矩陣X來表示，而其對應的基底係數則由向量β來表示，另外用向量來表示其誤差項，可以令矩陣方程式Y = Xβ + 來表示此迴歸模型。而未知的向量β可以由最小平方法估計得出，即估計量βˆ = argminβ (Y − Xβ)T (Y − ˆ 做法如下： Xβ)可利用對β微分等於0求β, − Xβ)T (Y − Xβ) = 0. er. io. ∂ (Y ∂β. sit. y. Nat. ⇒. n. a l⇒ −2X Y + 2X Xβ = 0 i v C βhˆ = (X X) X YU n ⇒ engchi T. T. T. −1. T. 所以βˆ = (X T X)−1 X T Y 為最小平方法求取的估計係數。在迴歸方法裡，cubic B-spline基底需要由節點(knots)決定。這裡使用等距節點並用AIC(Akaike Information Criterion)的值來挑選節點個數，以下說明挑選節點個數的過程：當節點數為v時，等距的v個節點位置為x1 , x1 + (xn − x1 )/(v − 1), x1 + 2(xn − x1 )/(v − 1), ..., xn , 此時可決定(3.11)的基底， ˆ 得到f 的估計fˆv = Pk βˆj Bj (xi ). 用AIC(v)代表節並由最小平方法求出β, j=1 點數為v時的AIC值，則 AIC(v) = 2(v + 4) − 2 log L n 1 n 2 ˆ = 2(v + 4) − 2 − log(2π Σ(ga (xi ) − fv (xi )) − 2 n 2 取v ∗ = argminv AIC(v), 則最後f 的估計為fˆv∗ , 而在時間x的插值為fˆv∗ (x). 7.

(15) Chapter 4 模擬資料分析. 政治大. I=. sd(插值資料) sd(插值資料 − 實際f 值). ‧. ‧ 國. 立. 學. 本章中，我們使用(3.10)產生模擬資料來測試前述ㄧ般插值方法、先平均再插值的方法和迴歸方法，以了解這些方法的適用時機及插值準確程度。首先，我們先定義一個I指標來比較方法的準確程度，其值越大代表估計的越準確，而I的定義如下：. n. al. er. io. sit. y. Nat. 其中分子為利用該方法得到的插值資料之標準差，分母為插值資料和實際f 值相減後得到的標準差。至於模擬函數的生成方式我們使用cubic Bspline的基底，根據knots的個數以及位置隨機產生，當擺放knots的個數增加時，其產生的函數之平滑性會降低，並將生成的函數隨機加上小誤差N (0, 0.05)和大誤差N (0, 0.5)來作方法比較。. 4.1. 平滑函數. Ch. engchi. i n U. v. 以少個數knots生成的函數振盪程度較不明顯，產生的函數非常平滑，現在想要瞭解在平滑的觀測資料時，上述三種方法在不同誤差大小下的準確程度。我們先從區間(−2, 2)等距抽出401個值作為我們資料的觀測時間，並從其隨機抽出少量(1到100個)值做為我們函數基底的knots, 基底係數則由均勻分配U (−2, 2)產生並除上觀測點的標準差，確保以同樣的長度大小做比較。以同樣的方法我們模擬出20個函數，其中每一個函數再加入模擬各50次的大小誤差，以上述三種方法還原觀測時間在(−2, 2)的等距801筆估 √ ¯ 計值，並算出在每個函數之下I指標的範圍估計(I¯ ± 2sd(I)/ 50), 其中I為模擬50次I值的平均，sd(I)為模擬50次I值的標準差，如表4.1,4.2：. 8.

(16) 表 4.1: 在小誤差時平滑函數使用不同方法的I指標分布. io. y. sit. Nat. n. al. 政治大. 迴歸方法全距 (38.12,40.62) (20.13,20.40) (34.11,35.19) (8.62,8.72) (8.62,8.66) (59.66,63.10) (40.95,43.08) (12.92,13.02) (37.97,40.00) (24.48,25.05) (8.15,8.17) (31.27,32.57) (9.00,9.02) (51.71,54.47) (35.81,37.48) (45.11,47.44) (29.39,30.09) (33.79,35.34) (18.27,18.59) (7.98,8.00) (27.80,28.95). er. ‧ 國. 立. 先平均再插值的方法全距 (8.61,11.23) (3.29,5.40) (9.97,13.20) (1.84,3.62) (1.82,2.39) (18.85,22.28) (7.06,9.80) (2.12,3.50) (10.04,13.96) (4.35,7.03) (1.79,3.59) (4.14,6.81) (1.92,2.69) (23.39,29.75) (8.57,12.27) (7.96,10.95) (6.34,9.95) (7.81,11.89) (2.60,4.01) (1.72,2.67) (6.71,9.35). ‧. 一般插值方法全距 (20.95,21.37) (21.30,21.71) (21.35,21.76) (21.01,21.44) (21.04,21.45) (21.19,21.68) (20.89,21.31) (21.23,21.62) (21.27,21.77) (20.97,21.37) (20.74,21.23) (21.14,21.62) (21.18,21.57) (21.25,21.64) (21.08,21.44) (20.93,21.36) (21.25,21.68) (21.05,21.56) (21.21,21.63) (21.17,21.56) (21.11,21.54). 學. 函數 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 平均. i n U. v. 可以從表4.1中發現在誤差小時，使用一般插值方法和迴歸方法的I值平均較大，其中迴歸方法的I值又稍大些，表示在具平滑性以及誤差小的函數時，使用一般插值方法和迴歸方法還原都還不錯，其中又以迴歸方法的表現更好一些。我們把函數1在小誤差下模擬一次的結果拿出來看，其還原結果與平均下的狀況相似，如圖4.1所示，true value為實際f 值，interpolation為使用一般插值方法還原的資料，average為使用先平均再插值的插值資料，statistics則是使用統計迴歸方法的插值資料。圖中可以看出各方法的還原效果都不差，但是還是可以發現使用迴歸方法與實際f 值最接近，其次為一般插值方法和平均後再插值的方法。另一方面，我們可以從表中發現，一般插值方法的I值都相當穩定，但是迴歸方法在函數4,5,11,13,20中之I值卻反而明顯低於一般插值方法之I值，因為在這些函數中都具有振盪性較強的特性，所以一般插值方法表現反而較好，如圖4.2以函數4為例。. Ch. engchi. 9.

(17) 0.0 -0.1 -0.2. 政治大. -0.4. ObservedValue. -0.3. true value interpolation average statistics. -0.5. 立. -1.98. -1.96. -1.94. -1.92. -1.90. -1.88. 學. ‧ 國. -2.00. ObservedTime. ‧. 圖 4.1: 函數1在小誤差時各方法的還原狀況. y. sit engchi. i n U. v. -1.0. Ch. true value interpolation average statistics. -1.5. ObservedValue. -0.5. n. er. io. 0.0. Nat. al. -0.92. -0.90. -0.88. -0.86. -0.84. -0.82. ObservedTime. 圖 4.2: 函數4在小誤差時各方法的還原狀況 10. -0.80.

(18) 表 4.2: 在大誤差時平滑函數使用不同方法的I指標分布. 政治大. io. y. sit. Nat. n. al. er. ‧ 國. 立. 先平均再插值的方法迴歸方法全距全距 (4.19,4.80) (5.44, 5.80) (2.39,2.84) (3.70,3.88) (4.50,5.16) (5.24,5.56) (1.38,1.81) (3.39,3.52) (1.80,2.19) (3.33,3.44) (6.40,7.07) (8.73,9.71) (3.58,4.23) (5.43,5.80) (1.88,2.23) (3.47,3.60) (4.80,5.38) (5.49,5.84) (2.26,2.81) (3.86,4.03) (1.41,1.78) (3.25,3.34) (3.04,3.58) (4.22,4.44) (1.34,1.76) (3.37,3.48) (5.88,6.39) ( 6.87,7.42) (4.04,4.73) (5.25,5.57) (3.96,4.50) (5.72,6.13) (2.93,3.39) (4.08,4.28) (3.38,4.00) (4.62,4.93) (1.88,2.36) (3.59,3.71) (1.70,2.09) (3.31,3.42) (3.14,3.66) (4.62,4.89). ‧. 一般插值方法全距 (2.35,2.40) (2.34,2.39) (2.34,2.38) (2.34,2.38) (2.33,2.38) (2.32,2.37) (2.34,2.38) (2.33,2.38) (2.33,2.39) (2.36,2.40) (2.34,2.39) (2.35,2.40) (2.35,2.39) (2.31,2.36) (2.34,2.39) (2.33,2.39) (2.35,2.39) (2.32,2.36) (2.31,2.35) (2.36,2.40) (2.34,2.38). 學. 函數 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 平均. Ch. i n U. v. 同樣地從表4.2中我們可以發現在資料誤差大時，雖然還是以迴歸方法的表現最好(I值最大)，但是在一般插值方法中的I值低於平均後的插值方法之I值，表示觀測函數資料有較大誤差時，使用先平均再插值的方法可以改善一般插值的還原方法。圖4.3顯示在資料誤差增大時，函數1使用各方法的還原效果，明顯可以看出使用一般插值方法與原始圖形有段落差，而使用修改後的插值方法，其插值資料更能貼切實際f 值，另外迴歸方法還是有不錯的還原效果。. engchi. 11.

(19) 0.4 0.2 0.0. 政治大. -0.4. ObservedValue. -0.2. true value interpolation average statistics. -2.00. 立. -1.95. -1.90. -1.85. -1.80. ‧ 國. 學. ObservedTime. -1.75. 圖 4.3: 函數1在大誤差時各方法的還原狀況. ‧. 不平滑函數. Nat. y. 4.2. sit. n. al. er. io. 我們把生成函數基底的knots加多後，會使函數的震盪程度加劇，產生較不平滑的函數，此時探討這類形的函數在不同誤差下使用各方法的好壞。我們設定與前節相同的觀測時間，接著從其隨機抽出中量(101到200個)值做為我們函數基底的knots，基底係數的隨機產生與前節敘述相同。同樣的方法我們模擬出20個函數，其中每一個函數再加入模擬各50次的大小誤差，以上述三種方法還原並算出在每個函數之下I指標的範圍估計，如表4.3,4.4：. Ch. engchi. 12. i n U. v.

(20) 表 4.3: 在小誤差時不平滑函數使用不同方法的I指標分布. io. y. sit. Nat. n. al. 政治大. er. ‧ 國. 立. 先平均再插值的方法迴歸方法全距全距 (1.58,2.17) (6.95,6.97) (1.24,1.71) (5.51,5.53) (0.87,1.20) (3.16,3.16) (1.03,1.30) (3.02,3.03) (2.64,4.41) (10.51,10.55) (0.63,1.01) (3.18,3.19) (0.76,1.08) (3.01,3.01) (1.94,3.14) (8.82,8.85) (1.60,2.20) (5.90,5.92) (1.23,1.79) (4.57,4.57) (0.69,1.10) (3.14,3.14) (1.35,2.17) (6.01,6.03) (1.10,1.87) (5.39,5.42) (1.31,1.81) (3.73,3.74) (1.02,1.33) (3.42,3.43) (1.09,1.51) (5.43,5.44) (1.57,3.37) (10.47,10.53) (2.37,4.38) (8.63,8.65) (0.88,1.67) (4.09,4.10) (1.15,1.71) (4.10,4.11) (1.30,2.05) (5.45,5.47). ‧. 一般插值方法全距 (21.25,21.66) (21.17,21.59) (21.37,21.75) (21.01,21.49) (21.20,21.63) (21.11,21.51) (20.78,21.22) (21.16,21.62) (21.07,21.51) (21.07,21.51) (21.05,21.51) (21.26,21.69) (21.03,21.42) (21.19,21.66) (20.92,21.35) (20.96,21.42) (21.34,21.74) (21.11,21.67) (21.19,21.63) (20.89,21.29) (21.11,21.54). 學. 函數 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 平均. Ch. i n U. v. 在不平滑的函數且資料誤差小時，我們從表4.3中可以看到使用一般插值方法的平均I指標較大，代表著此時使用一般插值方法的效果比其餘方法優異。其中函數2各方法的還原結果與平均狀況類似，在小誤差下模擬一次時，如圖4.4所示，可以看出使用一般插值方法最為貼近實際函數資料，比其餘方法都來的準確。. engchi. 13.

(21) 1.0 0.5 0.0. ObservedValue. -0.5 -1.0. true value interpolation average statistics. -2.00. -1.98. -1.96. -1.94. -1.92. -1.90. -1.88. ObservedTime. 圖 4.4: 函數2在小誤差時各方法的還原狀況. 政治大. 立. 表 4.4: 在大誤差時不平滑函數使用不同方法的I指標分布. y. sit. er. ‧ 國. n. Ch. 迴歸方法全距 (3.14,3.24) (2.98,3.06) (2.37,2.43) (2.28,2.33) (3.46,3.60) (2.32,2.38) (2.28,2.32) (3.26,3.35) (3.03,3.11) (2.77,2.84) (2.35,2.41) (3.04,3.16) (2.98,3.06) (2.56,2.62) (2.46,2.50) (2.96,3.04) (3.36,3.47) (3.22,3.33) (2.67,2.72) (2.71,2.77) (2.81,2.89). ‧. io. al. 先平均再插值的方法全距 (1.29,1.69) (1.10,1.46) (0.68,0.89) (0.91,1.14) (1.67,2.12) (0.68,0.91) (0.72,0.99) (1.42,1.79) (1.45,1.78) (0.89,1.28) (0.70,0.92) (1.11,1.36) (1.11,1.43) (1.23,1.54) (0.88,1.16) (1.15,1.51) (1.62,2.05) (1.74,2.02) (0.75,1.02) (0.86,1.24) (1.10,1.42). 學. 一般插值方法全距 (2.34,2.39) (2.32,2.37) (2.34,2.39) (2.33,2.38) (2.34,2.40) (2.29,2.34) (2.34,2.39) (2.33,2.38) (2.32,2.37) (2.34,2.38) (2.34,2.39) (2.33,2.39) (2.35,2.40) (2.33,2.37) (2.34,2.39) (2.33,2.38) (2.35,2.39) (2.32,2.37) (2.32,2.37) (2.32,2.37) (2.33,2.38). Nat. 函數 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 平均. engchi. i n U. v. 在資料誤差加大時，表4.4顯示迴歸方法的I指標大小接近一般插值方法的I指標大小，甚至還比其大一些，也就是此時使用迴歸方法的還原效果 14.

(22) 1.0. 比插值方法來得好一點。我們把函數2的資料加大誤差後，在圖4.5中看到使用一般插值方法不再是最貼近實際函數的最佳方法，而是使用迴歸方法稍微準確些，因此此時使用迴歸方法還原資料略為理想。. 0.0 -0.5. 立. -1.0. ObservedValue. 0.5. true value interpolation average statistics. 政治大. -1.95. -1.90. -1.85. ObservedTime. -1.80. -1.75. ‧. ‧ 國. 學. -2.00. sit er. io. 4.3. y. Nat. 圖 4.5: 函數2在大誤差時各方法的還原狀況. 極不平滑函 a數. n. iv l C n 再把生成函數基底的knots個數加大後，會發現生成的函數急速震盪，此時 hengchi U 產生極不平滑的函數，在這種函數下我們應該使用何種還原方法是接下來. 我們要探討的目標。我們設定與前節相同的觀測時間，接著從其隨機抽出大量(201到300個)值做為我們函數基底的knots, 基底係數的隨機產生與前節敘述相同。同樣的方法我們模擬出20個函數，其中每一個函數再加入模擬各50次的大小誤差，以上述三種方法還原並算出在每個函數之下I指標的範圍估計，如表4.5,4.6：. 15.

(23) 表 4.5: 在小誤差時極不平滑函數使用不同方法的I指標分布迴歸方法全距 (2.20,2.20) (2.06,2.07) (2.49,2.49) (2.68,2.68) (1.78,1.79) (1.93,1.94) (2.40,2.40) (1.93,1.93) (2.98,2.99) (3.08,3.09) (3.15,3.16) (2.28,2.28) (2.01,2.01) (2.13,2.14) (2.84,2.85) (3.15,3.15) (2.46,2.47) (2.19,2.20) (2.10,2.11) (2.06,2.06) (2.40,2.40). 政治大. sit. Nat. y. ‧ 國. 立. 先平均再插值的方法全距 (0.63,0.78) (0.38,0.50) (0.74,0.97) (0.95,1.16) (0.29,0.41) (0.74,0.86) (0.68,1.08) (0.45,0.58) (0.85,1.14) (0.83,1.04) (0.70,1.12) (0.47,0.71) (0.31,0.49) (0.41,0.65) (0.97,1.27) (0.79,0.97) (0.47,0.73) (0.49,0.71) (0.58,0.76) (0.64,0.93) (0.62,0.84). ‧. 一般插值方法全距 (20.97,21.40) (20.74,21.17) (21.18,21.59) (21.14,21.54) (20.31,20.77) (20.78,21.16) (20.86,21.31) (20.85,21.24) (21.12,21.62) (20.89,21.34) (20.92,21.39) (20.87,21.28) (20.62,21.05) (20.63,21.03) (20.94,21.38) (20.65,21.10) (21.16,21.60) (20.77,21.28) (21.13,21.53) (20.95,21.28) (20.88,21.30). 學. 函數 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 平均. n. al. er. io. 從表4.5中可以看出在誤差小時，使用一般插值方法的I指標都比其它方法的I指標來得大許多，表示在函數極不平滑且誤差小時，使用一般插值方法效果明顯來得較好。隨著函數資料的平滑性降低，每個函數的表現狀況都非常相似，我們以函數1為例，在誤差小時，圖4.6顯示使用一般插值方法明顯地比使用其它方法的圖形更為貼近實際函數資料，估計的準確度最佳。. Ch. engchi. 16. i n U. v.

(24) 1.5 1.0 0.5 0.0 -0.5 -1.5. -1.0. ObservedValue. true value interpolation average statistics. -1.75. -1.70. -1.65. -1.60. -1.55. -1.50. ObservedTime. 政治大圖 4.6: 函數1在小誤差時各方法的還原狀況立. ‧ 國. 學. 表 4.6: 在大誤差時極不平滑函數使用不同方法的I指標分布. n. Ch. 迴歸方法全距 (1.89,1.92) (1.77,1.80) (2.02,2.07) (2.11,2.15) (1.61,1.63) (1.67,1.70) (1.98,2.01) (1.70,1.73) (2.26,2.31) (2.32,2.37) (2.34,2.38) (1.91,1.96) (1.75,1.78) (1.82,1.86) (2.24,2.28) (2.37,2.41) (2.01,2.05) (1.86,1.89) (1.84,1.87) (1.77,1.81) (1.96,2.00). y. sit. er. io. al. 先平均再插值的方法全距 (0.66,0.84) (0.39,0.50) (0.71,0.91) (0.87,1.04) (0.28,0.39) (0.69,0.82) (0.61,0.82) (0.37,0.51) (0.71,0.92) (0.84,1.06) (0.58,0.84) (0.40,0.62) (0.29,0.48) (0.29,0.44) (0.78,1.00) (0.71,0.81) (0.46,0.68) (0.51,0.78) (0.50,0.62) (0.53,0.72) (0.56,0.74). ‧. 一般插值方法全距 (2.33,2.39) (2.32,2.36) (2.33,2.39) (2.32,2.37) (2.32,2.37) (2.30,2.34) (2.32,2.37) (2.32,2.37) (2.33,2.39) (2.34,2.38) (2.34,2.40) (2.32,2.38) (2.33,2.38) (2.31,2.36) (2.33,2.38) (2.33,2.38) (2.33,2.38) (2.31,2.35) (2.32,2.37) (2.33,2.37) (2.33,2.37). Nat. 函數 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 平均. engchi. 17. i n U. v.

(25) -0.5. 0.0. 0.5. true value interpolation average statistics. -1.5. -1.0. 政治大. -1.75. 立. -1.70. -1.65. -1.60. -1.55. -1.50. 學. ‧ 國. ObservedTime. ‧. 圖 4.7: 函數1在大誤差時各方法的還原狀況. io. sit. y. Nat. n. al. er. ObservedValue. 1.0. 1.5. 在誤差加大後，表4.6顯示使用一般插值方法的I值還是最大，代表著無論誤差大小，此時使用一般插值方法來還原資料效果最好。圖4.7可以看出，在資料誤差增加時，函數1的資料還是以一般插值方法還原效果最好。. Ch. engchi. 18. i n U. v.

(26) Chapter 5 聲波資料分析. 政治大. 有時候聲音的檔案太大，需要將音質降低來壓縮其檔案大小，而在沒有原始聲音檔案的情況下，此壓縮資料可以藉由插值和迴歸的方法將其還原回去。本章使用了加入雜訊的聲音波型資料，進行前述一般插值方法、先平均再插值的方法和迴歸方法做比較，分析其還原的準確性。. 立. ‧ 國. 學. 資料整理. ‧. 5.1. al. er. io. sit. y. Nat. 我們將一個bass的聲音經由錄音的方式加入自然界的雜音，將其2900筆資料點數抽出等距的四分之一(725筆)做為壓縮資料(如圖5.1), 想要藉由上述三種方法來將抽樣的聲音資料還原回去。. 1.0. sample wave. 0.0. data. -1.0. -0.5. 0.0 -0.5 -1.0. data. engchi U. v ni. 0.5. Ch. 0.5. 1.0. n. original wave. 0.00. 0.05. 0.10. 0.15. 0.20. 0.25. 0.00. time. 0.05. 0.10. 0.15 time. 圖 5.1: 加入雜訊的聲音波形、抽樣資料的波形. 19. 0.20. 0.25.

(27) 5.2 5.2.1. 插值方法一般插值方法. 我們先使用章節3.1介紹的一般插值方法來處理此問題，藉由725筆觀測資料得到在觀測時間為x時的估計值ˆ ga (x), 而在原始2900筆觀測時間下得到的估計值其還原波形如圖5.2.. 1.0. original interpolation method. 0.0. 立. -0.5. ‧ 國. 學. data. 0.5. 政治大. 0.10. 0.15. 0.20. 0.25. sit. 0.05. y. -1.0. ‧. Nat 0.00. io. n. al. er. time. i n U. v. 圖 5.2: 一般插值方法還原的波形. 5.2.2. Ch. engchi. 先平均再插值的處理方法. 我們先將此725筆壓縮資料隨機選取507筆資料點做為訓練組來建立參數模型，剩下的218筆觀測值則為驗證組，幫助我們挑選適當的模型參數，利用3.1.2章節提到的方法，將得到的新訓練組用來建立插值模型後，其2900筆估計值還原波形如圖5.3.. 20.

(28) 0.0 -1.0. -0.5. data. 0.5. 1.0. interpolational method. 0.00. 0.05. 政治大 0.10. 0.15. 0.20. 0.25. time. 立. 圖 5.3: 先平均再插值的還原波形. ‧ 國. 學. 5.3. 迴歸方法. ‧. 同樣地，我們也可以利用章節3.2提到的迴歸方法幫助我們插補聲音中的遺失資料點，在這裡我們將725筆抽樣資料的觀測時間，依等距的方式找出229個點做為我們的基底節點，利用此基底建立迴歸模型後，其2900筆估計值還原波形如圖5.4.. v. -0.5. 0.0. engchi. i n U. -1.0. data. 0.5. 1.0. n. Ch. er. io. sit. y. Nat. al. statistical method. 0.00. 0.05. 0.10. 0.15. 0.20. 0.25. time. 圖 5.4: 迴歸方法還原資料的波形. 21.

(29) 5.4. 方法比較. 圖5.2和圖5.3為使用一般插值方法和先平均再插值的還原波形圖，而圖5.4則為利用迴歸方法還原聲音資料的波形圖，將這三種方法的還原波形圖和圖5.1的原始聲音波形圖做比較，可以發現用一般的插值方法和迴歸方法還原較為準確，但是迴歸方法在前半段的波形圖與原始聲波圖有段落差。我們進一步利用I指標來作判斷，一般插值方法得到的I = 17.559, 而使用迴歸方法得到的I = 8.689, 兩者還原方法的表現都算不錯，而其中一般插值方法的還原又較迴歸方法準確許多。若把觀測時間在0.13秒前後分成兩部份，在前部份使用一般插值方法的I值為17.628, 迴歸方法的I值為8.614, 其結果與整體結果非常相似；但在後半部分我們發現，一般插值方法的I = 15.37, 而迴歸方法的I = 14.779, 兩方法的還原效果是差不多的。因為聲音時間在前半部的觀測值振盪非常劇烈，與前面模擬資料結果相呼應，在這個時候使用一般的插值方法會來得較準確。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 22. i n U. v.

(30) Chapter 6 結論與建議 6.1. 結論. 立. 政治大. ‧. ‧ 國. 學. 一般的插值方法可以幫助我們處理工程上遇到的問題，像是聲音的還原以及影像的處理，但在處理過程中我們經常會遇到一些狀況。當我們拿到等距觀測時間的資料時，可以將這些觀測資料透過一個時間轉換函數將時間映射到整數上，再進行插值模型的建立。另外我們所收集到的資料通常會具有誤差存在，有時當誤差大時直接使用傳統的插值方法會使得估計不夠準確，所以要是可以先針對函數資料做適當的平均再進行插值的動作，會使估計效果達到更佳。而若以迴歸的角度去看此插值問題，我們可以配適一條迴歸方程式來作資料的還原，其還原的效果與上述一般插值方法和先平均再插值的方法做比較，經過資料模擬的生成與測試，可以得到以下結論：. n. er. io. sit. y. Nat. al. i n U. v. 1. 在原始資料函數具平滑特性時，不論誤差大小，使用迴歸方法可以得到較好的還原效果，但在誤差大時，使用本研究建議的先平均再插值的處理方法，可以改善傳統一般的插值方法，這在必須使用插值方法來處理問題時，得到一個較佳的處理方式。. Ch. engchi. 2. 若資料函數的平滑性降低時，使用誤差處理方法的效果將不顯著。且在這個時候當誤差小時，一般插值方法的效果將比迴歸方法來得好，但是在資料誤差大時，還是以迴歸方法的還原效果較佳。 3. 在極不平滑的資料函數下，無論誤差大小，一般插值方法都呈現較佳的還原能力。. 6.2. 建議. 插值模型的interpolation kernel選擇可以有非常多種，而本研究選用的是cubic B-spline曲線，以利我們處理具有平滑連續特性的函數資料，建 23.

(31) 議未來研究可以選用其它的spline曲線或著其它的函數來作為插值模型的interpolation kernel, 觀察其方法在不同特性函數資料下的還原效果，並與迴歸模型做比較。另外關於資料誤差的處理方法，本研究使用的是crossvalidation的方法來選取適當的平均參數，未來研究也可以考慮使用其它模型的修正方式，探討還原的效果。至於迴歸方法模型裡的基底，我們使用Akaike information criterion來選取適當的節點個數，並以等距的觀測時間來擺放節點，建議也可以使用Bayesian information criterion或crossvalidation等方法來作為參數選取的準則，節點的位置也可以有不一樣的選取方式。而在模擬資料分析的部份，利用I指標來判斷三種方法的還原結果與使用ASE來做判斷的結論是一致的，至於有沒有其它更好的判斷準則也是值得我們做進一步的研究。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 24. i n U. v.

(32) 參考文獻 [1] Wen Chen. A sampling theorem for shift-invariant subspace. Signal Processing, IEEE Transactions on, 46(10):2822–2824, 1998.. 政治大 [3] J. Fessler. 2D interpolation. pages IN.1–IN.45, 2012. 立. [2] Carl de Boor. Splines as linear combinations of b-splines. a survey. 1976.. ‧ 國. 學. [4] H.S. Hou. Cubic splines for image interpolation and digital filtering. Acoustics, Speech and Signal Processing, IEEE Transactions on, 26(6):508–517, 1978.. ‧. [5] H.S. Hou and Harry C. Andrews. Least squares image restoration using spline basis functions. Computers, IEEE Transactions on, C-26(9):856– 873, 1977.. sit. y. Nat. er. io. [6] A.J.E.M. Janssen. The zak transform and sampling theorems for wavelet subspaces. Signal Processing, IEEE Transactions on, 41(12):3360–3364, 1993.. al. n. v i n C h V. Kenyon, andUD. Troxel. Comparison of [7] J.Anthony Parker, Robert e n gresampling. interpolating methods for image c h i Medical Imaging, IEEE Transactions on, 2(1):31–39, 1983. [8] Isaac Jacob Schoenberg. Contributions to the problem of approximation of equidistant data by analytic functions, part b: On the problem of osculatory interpolation, a second class of analytic approximation formulae. Quart. Appl. Math., 4:112–141, 1983. [9] Philippe The’venaz. Interpolation revisited. Medical Imaging, IEEE Transactions on, 19(7):739–758, 2000. [10] M. Unser. Splines: a perfect fit for signal and image processing. Signal Processing Magazine, IEEE, 16(6):22–38, 1999.. 25.

(33) [11] M. Unser, A. Aldroubi, and M. Eden. Fast b-spline transforms for continuous image representation and interpolation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 13(3):277–285, 1991. [12] M. Unser, A. Aldroubi, and M. Eden. B-spline signal processing. I. theory. Signal Processing, IEEE Transactions on, 41(2):821–833, 1993. [13] M. Unser, A. Aldroubi, and M. Eden. B-spline signal processing. II. efficiency design and applications. Signal Processing, IEEE Transactions on, 41(2):834–848, 1993. [14] Edward J. Wegman and Ian W. Wright. Splines in statistics. Journal of the American Statistical Association, 78(382):351–365, 1983.. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 26. i n U. v.

(34)