比較使用Kernel和Spline法的傘型迴歸估計 - 政大學術集成

全文

(1)國立政治大學統計學系碩士學位論文. 比較使用 Kernel 和 Spline 法的傘型迴歸估計政治大立. ‧ 國. 學. Compare the Estimation on Umbrella Function by Using Kernel and Spline Regression Method. ‧. n. er. io. sit. y. Nat. al. Ch. engchi 研究生：賴品霖指導教授：黃子銘. i n U. v. 博士. 中華民國一 ○五年六月.

(2) 摘要本研究探討常用的兩個無母數迴歸方法，核迴歸與樣條迴歸，在具有傘型限制式下，對於傘型函數的估計與不具限制式下的傘型函數估計比較，同時也探討不同誤差變異對估計結果的影響，並進一步探討受限制下兩方法的估計比較。本研究採用「估計頂點位置與實際頂點位置差」及「誤差平方和」作為衡量估計結果的指標。在帶寬及節點的選取上，本研究採用逐一剔除交互驗證法來篩選。模擬結果顯示，受限制的核函數在誤差變異較大的頂點位置估計較佳，誤差變異縮小時反而頂點位置估計較差，受限制的 B-樣條函數也有類似的狀況。而在兩方法的比較上，對於較小的誤差變異，核函數的頂點位置估計能力不如樣條函數，但在整體的誤差平方和上卻沒有太大劣勢，. 政治大. 當誤差變異較大時，核函數的頂點位置估計能力有所提升，整體誤差平方和仍舊維持. 立. 還不錯的結果。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. 關鍵詞：核迴歸、樣條迴歸、傘型函數、無母數迴歸. I. v.

(3) ABSTRACT In this study, we give an umbrella order constraint on kernel and spline regression model. We compare their estimation in two measurements, one is the difference of estimate peak and true peak, the other one is the sum of square difference on predict and the true value. We use leave-one-out cross validation to select bandwidth for kernel function and also to decide the number of knots for spline function. The effect of different error size is also considered. Some of R packages are used when doing simulation. The result shows that when the error size is bigger, the prediction of peak location is better in both constrained kernel and spline estimation. The constrained spline regression tends to provide better peak location estimation compared to constrained kernel regression.. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. Keywords: Kernel regression, Spline regression, regression. II. iv n Umbrella U. function, Nonparametric.

(4) 致謝首先，要感謝我的指導老師，黃子銘老師，她不厭其煩的教導、指正，讓我能一一克服撰寫論文的各種障礙。同時也要感謝兩位口試委員，經由他們嚴謹的審查，讓本研究能更臻完美。再者，我也要感謝我的父母，謝謝他們在經濟上、精神上的強烈支持，讓我能無憂無慮的投入於研究工作中。最後，也非常謝謝學校從大學到碩士的七年栽培，未來必定常懷感恩，回饋學校。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 賴品霖. 謹誌於. 政治大學統計學系研究所民國一百零五年六月. III.

(5) 目錄摘要 ···································································································· I ABSTRACT ··························································································· II 致謝 ·································································································· III 目錄 ·································································································· IV 圖目錄 ································································································ VI 表目錄 ······························································································· VII 第壹章. 緒論 ····················································································· 1. 政治大研究問題與目的 ································································ 2 立研究動機與背景 ································································ 1. ‧ 國. 第貳章. 學. 研究架構與流程 ································································ 3. 文獻探討 ··············································································· 4. ‧. 傘型函數相關文獻探討 ······················································· 4. Nat. sit. y. 核函數相關文獻回顧 ·························································· 4. al. n. 第參章. er. io. 樣條函數文獻探究 ····························································· 7. i n U. v. 研究設計 ··············································································· 8. Ch. engchi. 核函數迴歸模型 ································································ 8 核函數估計流程 ································································ 9 B-樣條函數迴歸模型 ························································· 10 B-樣條函數估計流程 ························································· 11 第肆章. 模擬實驗 ·············································································· 12 資料產生 ········································································ 12 實證結果 ········································································ 13. IV.

(6) 第伍章. 結論與建議 ··········································································· 21 研究結論 ········································································ 21 研究建議 ········································································ 22. 附錄一模擬之傘型函數 ·········································································· 23 附錄二平滑後之傘型函數 ······································································· 27 參考文獻 ····························································································· 31. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. V. i n U. v.

(7) 圖目錄圖 1 生產力(TP)、邊際生產力(MP)、平均生產力(AP)之關係圖 ............................... 1 圖 2 台北市 1981-2010 歷史月均溫 ............................................................................... 1 圖 3 研究流程圖 ............................................................................................................... 3 圖 4 核函數迴歸模型配適流程 ...................................................................................... 9 圖 5 B-樣條迴歸函數配適流程 ..................................................................................... 11 圖 6 受限制核函數於不同σ2之平均頂點位置估計比較 ........................................... 14 圖 7 受限制核函數於不同σ2之平均頂點位置估計比較(真實函數平滑後).............. 14 圖 8 受限制 B-樣條函數於不同𝜎𝜎2之平均頂點位置估計比較 .................................. 16. 政治大. 圖 9 核函數與樣條函數估計頂點位置比較圖(σ2 = 0.1) .......................................... 18. 立. 圖 10 核函數與樣條函數估計頂點位置比較圖(σ2 = 0.05) ...................................... 18. ‧ 國. 學. 圖 11 核函數與樣條函數估計頂點位置比較圖(σ2 = 0.01) ...................................... 19 圖 12 核函數與樣條函數 SSE 比較圖(σ2 = 0.1)........................................................ 19. ‧. 圖 13 核函數與樣條函數 SSE 比較圖(σ2 = 0.05) ..................................................... 20. n. al. er. io. sit. y. Nat. 圖 14 核函數與樣條函數 SSE 比較圖(σ2 = 0.01) ..................................................... 20. Ch. engchi. VI. i n U. v.

(8) 表目錄表 1 核函數估計之權重無解狀況分析 ......................................................................... 13 表 2 核函數估計平滑後之權重無解狀況分析 ............................................................. 13 表 3 B-樣條函數在不同變異下，考慮限制式後估計之頂點位置分析 ..................... 15 表 4 B-樣條函數在不同變異下，考慮限制式後估計之 SSE 分析 ............................ 15 表 5 B-樣條函數在不同變異下，考慮限制式後估計之兩者分析 ............................. 15 表 6 核函數與樣條函數估計頂點位置結果比較 ......................................................... 17 表 7 核函數與樣條函數估計之 SSE 比較 .................................................................... 17 表 8 核函數與樣條函數總比較 ..................................................................................... 17. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. VII. i n U. v.

(9) 第壹章. 緒論. 研究動機與背景傘型函數又稱為單峰函數，在許多科學研究的範疇中有許多的應用，如經濟學中邊際生產量與勞動力的關係(參見圖 1)，邊際生產力曲線(MP)就是一個傘型函數。又如台北市從 1981 到 2010 的歷史月均溫資料，從 1 月至 12 月也是一個傘型函數(參見圖 2)。傘型函數的頂點位置是整個函數的最高點，函數的極值是函數本身最重要的資訊，故估計傘型函數的頂點位置是本研究的重點之一。. 立. 政治大. ‧. ‧ 國. 學 sit. y. Nat. n. al. er. io. 圖 1 生產力(TP)、邊際生產力(MP)、平均生產力(AP)之關係圖. Ch. engchi. i n U. v. 圖 2 台北市 1981-2010 歷史月均溫. 1.

(10) 估計傘型函數的迴歸方法有很多種，本研究探討核函數及樣條函數，加入傘型限制式後，對傘型函數的估計比較。本研究專注於頂點位置的準確性，因此使用預估頂點與時計頂點位置差(Peak Difference)來衡量估計結果，除此之外也會使用誤差平方和(Sum of Square Error; SSE)作為另一個衡量的指標。. 研究問題與目的本文之研究問題及研究目的如下： (一) 研究問題 1. 探討加入傘型限制式後，針對傘型函數之估計是否有改進？. 政治大. 2. 比較加入傘型限制後，兩方法對於傘型函數之估計何者較佳？ (二) 研究目的. 立. 2. 加入限制式後，兩方法對傘型函數的估計比較。. 學. ‧ 國. 1. 核函數及樣條函數在加入限制式前、後，對傘型函數的估計比較。. 3. 探討不同形狀的傘型函數下，其估計結果之穩定性。. ‧. n. al. er. io. sit. y. Nat. 4. 探討不同σ2 下，其估計結果之穩定性。. Ch. engchi. 2. i n U. v.

(11) 研究架構與流程本研究一共五大章，首章為「緒論」，包括研究動機、研究問題與目的、研究架構與流程。第二章為「文獻探討」，涵蓋本研究相關之文獻。第三章為「研究設計」，講解本研究之假說與研究分析方法。第四章為「模擬分析結果」，使用 R 統計軟體模擬傘型序列資料並進行分析。第五章為「結論與建議」，針對研究結果進行總結與提供後續研究改進之建議。研究背景與動機. 研究問題與目的. 立. 政治大. 研究範圍與方法. ‧ 國. 學. n. al. Ch. engchi 研究設計. 模擬分析. 結論與建議圖 3 研究流程圖. 3. 樣條函數相關文獻. er. io. 核函數相關文獻. sit. y. Nat. 傘型函數相關文獻. ‧. 文獻探討. i n U. v.

(12) 第貳章. 文獻探討. 傘型函數相關文獻探討傘型函數，又稱為單峰函數。在 Stout (2008) 中對單峰限制的定義如下：存在一個𝑚𝑚 ∈ {1,2 … , 𝑛𝑛}. 使得𝑦𝑦1 ≤ 𝑦𝑦2 ≤ ⋯ ≤ 𝑦𝑦𝑚𝑚 ≥ 𝑦𝑦𝑚𝑚+1 ≥ ⋯ ≥ 𝑦𝑦𝑛𝑛. 滿足上述者稱為單峰限制(Unimodal Constraint)，又稱為傘型排序(Umbrella Ordering)，或稱傘型函數。. 核函數相關文獻回顧. 立. 政治大. ‧ 國. (2013))：. 學. 標準的核迴歸(Kernel Regression)是反應變數𝑌𝑌𝑖𝑖 的線性組合(Du, Parmeter and Racine 𝑛𝑛. ‧. 𝑔𝑔�(𝑥𝑥) = 𝑛𝑛−1 � 𝐴𝐴𝑖𝑖 (𝑥𝑥)𝑌𝑌𝑖𝑖 𝑖𝑖=1. y. Nat. 而𝐴𝐴𝑖𝑖 (𝑥𝑥)則是一個權重矩陣，根據不同的估計法會有不同的權重。. al. sit. 𝐴𝐴𝑖𝑖 (𝑥𝑥) = 𝐾𝐾𝑖𝑖 (𝑥𝑥). er. io. 在定間隔設計(Regularly Spaced design)之下，𝐴𝐴𝑖𝑖 (𝑥𝑥)被表示為：. v. n. 其中𝐾𝐾𝑖𝑖 (𝑥𝑥) ≡ ℎ−1 𝐾𝐾{(𝑥𝑥 − 𝑋𝑋𝑖𝑖 )/ℎ}，𝐾𝐾是我們選定的核函數，ℎ則是帶寬(bandwidth). Ch. engchi. i n U. 針對不定設計 (Irregular design) 常用的 Nadaraya-Watson 估計式 (Nadaraya (1965), Watson(1964))之𝐴𝐴𝑖𝑖 (𝑥𝑥)如下：. 𝐴𝐴𝑖𝑖 (𝑥𝑥) = 𝑛𝑛𝐾𝐾𝑖𝑖 (𝑥𝑥)/(� 𝐾𝐾𝑗𝑗 (𝑥𝑥)) 𝑗𝑗. 針對被排序的(𝑋𝑋𝑖𝑖 , 𝑌𝑌𝑖𝑖 )則用 Priestley-Chao 估計式(Priestley and Chao (1972))： 𝐴𝐴𝑖𝑖 (𝑥𝑥) = 𝑛𝑛(𝑋𝑋𝑖𝑖 − 𝑋𝑋𝑖𝑖−1 )𝐾𝐾𝑖𝑖 (𝑥𝑥). Gasser-Müller 估計式(Gasser and Müller (1979)： 𝐴𝐴𝑖𝑖 (𝑥𝑥) = 𝑛𝑛 �. 𝐾𝐾𝑖𝑖 (𝑥𝑥 − 𝑢𝑢)𝑑𝑑𝑑𝑑. 𝜙𝜙(𝑖𝑖). 其中𝜙𝜙(𝑖𝑖)代表區間[𝑍𝑍𝑖𝑖−1 , 𝑍𝑍𝑖𝑖 ]，而𝑍𝑍𝑖𝑖 = (𝑋𝑋𝑖𝑖 + 𝑋𝑋𝑖𝑖+1 )/2。 4.

(13) local polynomial 估計式(Fan (1992))： 𝑥𝑥 − 𝑋𝑋𝑖𝑖 � 𝑆𝑆1 (𝑥𝑥) ℎ 𝐴𝐴𝑖𝑖 (𝑥𝑥) = 𝐾𝐾 (𝑥𝑥) 𝑆𝑆0 (𝑥𝑥)𝑆𝑆2 (𝑥𝑥) − 𝑆𝑆1 (𝑥𝑥)2 𝑖𝑖 𝑆𝑆2 (𝑥𝑥) − �. 其中𝑆𝑆𝑘𝑘 (𝑥𝑥) = 𝑛𝑛−1 ∑𝑖𝑖{(𝑥𝑥 − 𝑋𝑋𝑖𝑖 )/ℎ}𝑘𝑘 𝐾𝐾𝑖𝑖 (𝑥𝑥) 。. 各個估計式有各自適用的資料型態及條件，然而綜合以上各種估計式，Hall and. Huang (2001)提出一般化的核函數估計式： 𝑛𝑛. 𝑔𝑔�(𝑥𝑥|𝑝𝑝) = � 𝑝𝑝𝑖𝑖 𝐴𝐴𝑖𝑖 (𝑥𝑥)𝑦𝑦𝑖𝑖 𝑖𝑖=1. 其中，𝑝𝑝 = (𝑝𝑝1 , 𝑝𝑝2 , … , 𝑝𝑝𝑛𝑛 )是在{𝑋𝑋1 , 𝑋𝑋2 , … , 𝑋𝑋𝑛𝑛 }上的機率分布。又估計式的一次微分. 式如下：. 立. 治政 𝑔𝑔�′(𝑥𝑥|𝑝𝑝) = � 𝑝𝑝 𝐴𝐴 ′(𝑥𝑥)𝑦𝑦 大 𝑛𝑛. 𝑖𝑖=1. 𝑖𝑖 𝑖𝑖. 𝑖𝑖. ‧ 國. 學. Racine and Li (2004)中提到，若𝑝𝑝𝑖𝑖 = 1/𝑛𝑛 , 𝑖𝑖 = 1,2 … , 𝑛𝑛，且令𝐴𝐴𝑖𝑖 (𝑥𝑥) = 𝑛𝑛𝐾𝐾𝑖𝑖 (𝑥𝑥)/. (∑𝑗𝑗 𝐾𝐾𝑗𝑗 (𝑥𝑥))，則𝑔𝑔�(𝑥𝑥|𝑝𝑝)為無限制的 Nadaraya-Watson 估計式，而當𝑝𝑝𝑖𝑖 ≠ 1/𝑛𝑛, for some i，. ‧. 則𝑔𝑔�(𝑥𝑥|𝑝𝑝)為受限制的 Nadaraya-Watson 估計式。. 針對限制式下的核函數估計，Hall and Huang (2001)提出增加單調性(monotonic). Nat. sit. y. 的限制式。其方法為在給定𝑔𝑔�′(. |𝑝𝑝) ≥ 0之下，最小化𝑝𝑝與𝑝𝑝𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 的距離來給予函數在區. al. n. 法：. er. io. 間內遞增的條件，距離的衡量方式在該文章中採用 Cressie and Read (1984)提出的方. Ch. 𝐷𝐷𝜌𝜌 (𝑝𝑝) =. i n 𝑛𝑛 U. v. e n1 g c{𝑛𝑛h−i�(𝑛𝑛𝑝𝑝𝑖𝑖 )𝜌𝜌}. 𝜌𝜌(1 − 𝜌𝜌). 𝑖𝑖=1. for −∞ < 𝜌𝜌 < ∞ and 𝜌𝜌 ≠ 0,1 and 𝑛𝑛. 𝐷𝐷0 (𝑝𝑝) = − � log(𝑛𝑛𝑝𝑝𝑖𝑖 ) 𝑛𝑛. 𝑖𝑖=1. 𝐷𝐷1 (𝑝𝑝) = � 𝑝𝑝𝑖𝑖 log(𝑛𝑛𝑝𝑝𝑖𝑖 ) 𝑢𝑢=1. 此外，Hall and Huang (2001)透過實證資料佐證加入單調性的限制並不見得比較差，並建議研究者在使用核函數估計時可以考慮加入單調性限制，提供另一個面向的參考。. 5.

(14) Du et al. (2013)更進一步延伸 Hall and Huang (2001)的結果，將具有單調限制的核函數迴歸模型推廣至多元(multivariate)及多重限制(multi-constraint)的設定。其衡量距離的方法如下： 𝑇𝑇. 𝐷𝐷(𝑝𝑝) = �𝑝𝑝𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 − 𝑝𝑝� (𝑝𝑝𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 − 𝑝𝑝). 在限制式𝑔𝑔�′(. |𝑝𝑝) ≥ 0之下，最小化𝐷𝐷(𝑝𝑝)，解出相對應的機率權重𝑝𝑝𝑖𝑖 ，且由於𝑝𝑝𝑖𝑖 是. 在{𝑋𝑋1 , 𝑋𝑋2 , … , 𝑋𝑋𝑛𝑛 }上的機率分布，必須滿足∑𝑖𝑖 𝑝𝑝𝑖𝑖 = 1與min 𝑝𝑝𝑖𝑖 ≥ 0的基本條件。. 此外，該文章也透過模擬資料比較具限制以及不具限制下的核函數估計效益，結. 果顯示具限制下的均方誤差(Average Square Error; ASE)確實比不具限制的佳。同時，也比較具限制下的核函數與樣條函數之估計效益，模擬結果顯示具限制下的樣條函數估計效益比核函數估計佳。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 6. i n U. v.

(15) 樣條函數文獻探究我們考慮資料分佈在[0,1]，在區間中放置𝑘𝑘個相異節點(knots)： ξ0 = 0 < ξ1 < ξ2 < ⋯ < ξ𝑘𝑘 < 1 = ξ𝑘𝑘+1. 根據 Schumaker (1981)與 He and Shi (1994)，在分段多項式最高次數為𝑚𝑚之下，B-樣條函數的秩(order)為𝑚𝑚 + 1，基底會有𝑚𝑚 + 𝑘𝑘 + 1個：. 𝑩𝑩(𝑥𝑥) = �𝐵𝐵1 (𝑥𝑥), 𝐵𝐵2 (𝑥𝑥), … , 𝐵𝐵𝑘𝑘+𝑚𝑚+1 (𝑥𝑥)�. 再使用最小平方法估計𝑓𝑓(𝑥𝑥). 𝑇𝑇. 𝑓𝑓̂(𝑥𝑥) = 𝐵𝐵(𝑥𝑥)𝑇𝑇 𝑎𝑎�, 𝑎𝑎� ∈ 𝑅𝑅𝑁𝑁. He and Shi (1998)提出使用 B-樣條函數估計單調迴歸函數，其限制式如下： 𝑓𝑓 (𝑥𝑥) = 𝐵𝐵(𝑥𝑥) 治 𝑎𝑎� 政大 ) ̂. 𝑛𝑛. 𝑇𝑇. 立 min(�|𝑦𝑦 − 𝐵𝐵(𝑥𝑥 𝑖𝑖=1. 𝑖𝑖. 𝑖𝑖. 𝑇𝑇. 𝑎𝑎�|). ‧ 國. 學. 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑡𝑡𝑡𝑡 𝑓𝑓̂ ′(𝑥𝑥) = 𝐵𝐵′(𝑥𝑥)𝑇𝑇 𝑎𝑎� ≥ 0, 𝑓𝑓𝑓𝑓𝑓𝑓 𝑖𝑖 = 1,2, … , 𝑛𝑛. ‧. 𝐵𝐵′(𝑥𝑥)𝑇𝑇 為基底函數的一次微分。. 其研究發現在模擬分析上，受限制與未受限制之估計差異不大，但在某些應用上，受. n. al. er. io. sit. y. Nat. 限制之 B-樣條函數估計仍有不錯的效果。. Ch. engchi. 7. i n U. v.

(16) 第參章. 研究設計. 核函數迴歸模型本研究所使用之核函數 K 為常態分配，且皆為乘積核函數(product kernel)，表示如下： 𝑥𝑥 − 𝑋𝑋𝑖𝑖 𝐾𝐾𝑖𝑖 (𝑥𝑥) ≡ ℎ−1 𝐾𝐾 � � ℎ. 其中，x 為函數取值的點，而 Xi 為資料點，h 為帶寬。根據 Hall and Huang (2001)，核函數估計式為： 𝑛𝑛. 𝑔𝑔�(𝑥𝑥|𝑝𝑝) = � 𝑝𝑝𝑖𝑖 𝐴𝐴𝑖𝑖 (𝑥𝑥) 𝑌𝑌𝑖𝑖. 政治大而估計式之一次微分表示如下：立 𝑖𝑖=1 𝑛𝑛. ‧ 國. 學. 𝑔𝑔�′(𝑥𝑥|𝑝𝑝) = � 𝑝𝑝𝑖𝑖 𝐴𝐴𝑖𝑖 ′(𝑥𝑥) 𝑌𝑌𝑖𝑖 𝑖𝑖=1. 在帶寬的選取上，本研究使用 Stone (1974)提出的逐一剔除交互驗證法(leave-one-out. ‧. 其中，𝑔𝑔�−𝑖𝑖 為將第 i 筆資料剔除的核函數估計。. n. al. sit. io. 𝑖𝑖=1. er. Nat. 𝑛𝑛. 1 2 𝐶𝐶𝐶𝐶(ℎ) = ��𝑌𝑌𝑖𝑖 − 𝑔𝑔�−𝑖𝑖 (𝑥𝑥𝑖𝑖 |𝑝𝑝)� 𝑛𝑛. y. cross validation)，透過 CV 函數作為衡量平均的預測風險指標(prediction risk)：. i n U. v. 在進行帶寬的選擇時，其估計暫不考慮設限制，使用無限制的 Nadaraya-Watson 估計。. Ch. engchi. 而處理傘型函數的限制上，本研究修改自 Du et al. (2013)的方法，最小化𝑝𝑝與𝑝𝑝𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 的距離解出機率權重 p，假設函數頂點位於𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 ，其表示如下： 𝑇𝑇. 𝐷𝐷(𝑝𝑝) = �𝑝𝑝𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 − 𝑝𝑝� (𝑝𝑝𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 − 𝑝𝑝) min(𝐷𝐷(𝑝𝑝)) 𝑝𝑝. ≥ 0 , 𝑖𝑖𝑖𝑖 𝑥𝑥𝑖𝑖 ≤ 𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑡𝑡𝑡𝑡 𝑔𝑔�′(𝑥𝑥𝑖𝑖 |𝑝𝑝) � ≤ 0 , 𝑖𝑖𝑖𝑖 𝑥𝑥𝑖𝑖 ≥ 𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝. 8.

(17) 針對傘型函數的頂點估計，假設頂點位置位於𝑥𝑥 ∗，利用上述限制式解出當𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 =. 2 𝑥𝑥 ∗ 的權重 p，可得估計結果𝑦𝑦� = 𝑔𝑔�(𝑥𝑥|𝑝𝑝)。再計算其誤差平方和，𝑆𝑆𝑆𝑆𝑆𝑆(𝑥𝑥 ∗ ) = ∑(𝑦𝑦𝑖𝑖 − 𝑦𝑦�) 𝚤𝚤 ，. 使𝑆𝑆𝑆𝑆𝑆𝑆(𝑥𝑥 ∗ )最小之𝑥𝑥 ∗ 為頂點之估計，令其為𝑥𝑥�𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 ，即. 𝑥𝑥�𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 = arg min 𝑆𝑆𝑆𝑆𝑆𝑆(𝑥𝑥 ∗ ) ∗ 𝑥𝑥. 在解出𝑥𝑥�𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 後，設頂點位置於𝑥𝑥�𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 即可用上述限制式解出相對應的機率權重 p，. 進一步也可求得具限制式的核函數估計結果。. 核函數估計流程核函數迴歸模型流程如圖 3 所示，首先我們使用逐一剔除交互驗證法來選取合適的帶寬(leave-one-outcross validation)，再給予限制式的條件，解出機率權重𝑝𝑝，並估計. 政治大. 頂點位置及配適迴歸函數，最後再透過「估計頂點位置與實際頂點位置差」與「誤差. 立. 平方和」來衡量模型配適的好壞。. ‧ 國. 學 ‧. 選取帶寬 h. er. io. sit. y. Nat. 解出權重 p、估計頂點位置、配適迴歸函數. n. al. Ch. engchi. i n U. v. 衡量估計結果. 圖 4 核函數迴歸模型配適流程. 9.

(18) B-樣條函數迴歸模型. 本研究使用的 B-樣條函數次數為 2，即階數(order)為 3，節點的排列方式採取區間內等距排放。在節點數的選擇上，本研究同樣使用逐一剔除交互驗證法來決定 B樣條函數的節點個數： 𝑛𝑛. 1 2 𝐶𝐶𝐶𝐶(𝑚𝑚) = ��𝑦𝑦𝑖𝑖 − 𝑔𝑔�−𝑖𝑖 (𝑥𝑥𝑖𝑖 |𝜉𝜉1 , … , 𝜉𝜉𝑚𝑚 )� 𝑛𝑛 𝑖𝑖=1. 𝑔𝑔�−𝑖𝑖 (𝑥𝑥𝑖𝑖 |𝜉𝜉1 , … , 𝜉𝜉𝑚𝑚 ) = 𝐵𝐵−𝑖𝑖 (𝑥𝑥𝑖𝑖 |𝜉𝜉1 , … , 𝜉𝜉𝑚𝑚 )𝑇𝑇 𝑎𝑎�. 其中，𝐵𝐵−𝑖𝑖 (𝑥𝑥)為移除𝑥𝑥𝑖𝑖 資料點計算出的基底。. 為了不選取過多節點，本研究將節點數控制在資料筆數的三分之一次方，以 100 筆資. 治政在處理傘型限制上，本研究修改 He and Shi (1998)所提出的限制式，假設此傘型函數大立，透過形狀的限制，最小化誤差平方和，解出頂點估計𝑥𝑥� 。的頂點位置位於𝑥𝑥 料為例，節點數至多 4 個。. 𝑎𝑎� = arg min(�(𝑦𝑦𝑖𝑖 − 𝐵𝐵(𝑥𝑥𝑖𝑖 )𝑇𝑇 𝑎𝑎)2 ) 𝑎𝑎. 𝑖𝑖=1. peak. ‧. ‧ 國. 𝑛𝑛. 學. 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝. y. Nat. ≥ 0 , 𝑖𝑖𝑖𝑖 𝑥𝑥𝑖𝑖 ≤ 𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑡𝑡𝑡𝑡 𝐵𝐵′ (𝑥𝑥𝑖𝑖 )𝑇𝑇 𝑎𝑎 � ≥ 0 , 𝑖𝑖𝑖𝑖 𝑥𝑥𝑖𝑖 ≥ 𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝. sit. n. al. er. io. 解出頂點估計𝑥𝑥�peak 後，設𝑥𝑥𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 = 𝑥𝑥�peak ，透過上式可求出𝑎𝑎�，傘型函數的估計值即為 𝐵𝐵(𝑥𝑥𝑖𝑖 )𝑇𝑇 𝑎𝑎�。. Ch. engchi. 10. i n U. v.

(19) B-樣條函數估計流程. B-樣條函數迴歸模型的流程如圖 4 所示，本研究使用與決定核函數帶寬相同的逐一剔除交互驗證法(leave-one-out cross validation)來選取組成基底的節點個數，再透過限制式解出係數，並估計頂點位置及配適迴歸函數，最後再透過「估計頂點位置與實際頂點位置差」與「誤差平方和」來衡量模型配適的好壞。. 決定節點數. 立. 政治大. 解出係數𝑎𝑎、估計頂點位置、配適迴歸函數. ‧. ‧ 國. 學衡量估計結果. n. al. er. io. sit. y. Nat. 圖 5 B-樣條迴歸函數配適流程. Ch. engchi. 11. i n U. v.

(20) 第肆章. 模擬實驗. 資料產生我們使用 B-樣條函數在𝑥𝑥 ∈ [0,1]中隨機生產函數，步驟詳述如下：. 1. 資料筆數：100 筆，其中 x 在[0,1]區間中等距排列。. 2. 節點個數：由平均數為 10 的卜瓦松分配(Poisson)隨機產生，在此節點個數並沒有設定上限，僅由該分配隨機生成。 3. 節點位置：由均勻分配(Uniform)產生，其上界為 1，下界為 0。 4. 基底：當節點個數以及節點位置決定後，即可決定一組 B-樣條函數基底。. 政治大係數均由此筆數值加上增加量，其增量也從該均勻分配產生。立. 5. 係數：由上界為 10，下界為 0 的均勻分配來產生第一個係數，而後的每一個. ‧ 國. 學. 6. 頂點位置：隨機挑選任一個節點作為傘型函數的頂點，頂點前的係數維持正數，頂點後的係數均加上負號，滿足傘型函數「先遞增，後遞減」的特性。. ‧. 7. 生成函數：將 B-樣條函數基底乘以產生之係數，即可生成一隨機傘型函數。本研究使用 20 種隨機生成的傘型函數來探討核函數與 B-樣條函數的估計比較，20 種. y. Nat. er. io. al. 𝑒𝑒𝑗𝑗 i.i.d. ~ 𝑁𝑁(0, 𝜎𝜎 2 ). sit. 函數的形式詳見附錄。同時我們也在每一種傘型函數下給予 20 種不同的隨機誤差：. v. n. 本研究也會探討生成誤差的𝜎𝜎 2 大小對於兩方法估計結果的影響，其中我們將討論. Ch. 𝜎𝜎 2 = 0.1, 0.05, 0.01三種情況。. engchi. 12. i n U.

(21) 實證結果一、. 核函數模擬結果. 在計算核函數的估計時，我們發現在限制式下，會產生權重無解的狀況，而我們將權重無解的狀況剔除，然無解狀況如表 1 所示。可見當𝜎𝜎 2 較大時，權重較不容易產生無解之狀況，總無解次數及函數皆無解次數相對較少，然當𝜎𝜎 2 較小時，權重較容易解不出來，呈現次數增加的現象。為試圖減少權重無解之狀況，本研究將各個真實函數進行平滑化，再求解。表 2 顯示平滑後的估計狀況，可以發現函數權重皆無解的狀況各減少 1 次，總次數也下降不少。表 1 核函數估計之權重無解狀況分析. 政治函數皆無解比例大. 變異大小(𝜎𝜎 2 ). 總無解比例. 無解之函數. 1/20. F14. 0.05. 267/400. 3/20. F3、F4、F16. 0.01. 275/400. 3/20. 表 2 核函數估計平滑後之權重無解狀況分析函數皆無解比例. 75/400. 0/20. 0.05. 141/400. 2/20. sit er. io. a l 257/400 2/20 i v n Ch U engchi. n. 0.01. 13. 無解之函數. y. 總無解比例. Nat. 變異大小(𝜎𝜎 2 ) 0.1. F1、F3、F15. ‧. ‧ 國. 立138/400. 學. 0.1. ---F11、F14 F11、F20.

(22) 圖 6 為不同變異下之平均頂點位置差，可見當σ2 較小時，頂點位置較難評估，. 估計差異大，而當σ2 較大時，估計之頂點位置也較接近真實頂點位置。圖 7 則是將. 真實函數先平滑化之後的結果，亦呈現類似的趨勢，但σ2 較小時與σ2 較大時的估計差異有因為函數平滑化而縮小。. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 圖 6 受限制核函數於不同σ2 之平均頂點位置估計比較. Ch. engchi. i n U. v. 圖 7 受限制核函數於不同σ2 之平均頂點位置估計比較(真實函數平滑後) 14.

(23) 二、. B-樣條函數模擬結果. 限制式對於估計的改進效果，由表 1 可以得知，當𝜎𝜎 2 偏小時，在 20 個不同的函. 數下，具限制式下的頂點位置估計較佳的比例佔不到五成，而在𝜎𝜎 2 較大的情況下，具限制式下的頂點位置估計較佳的比例明顯提升。表 2 顯示誤差平方和(SSE)也有類似. 的狀況，當𝜎𝜎 2 = 0.1時，加入限制式後，SSE 平均較小的比例剛好五成，而當𝜎𝜎 2 縮小時，其比例減少。而表 3 兩者同時較佳的比例又更低，但仍可以看出來當𝜎𝜎 2 偏大時，具限制式的估計效果會提升。. 故，當誤差變異較大時，如𝜎𝜎 2 = 0.1，B-樣條函數在受限制下估計傘型函數頂點. 位置會較不受限制來的好些，而在誤差平方和的表現上則時好時壞。當誤差變異比較. 治政不受限制，並沒有何者具有絕對的優勢。大立表 3 B-樣條函數在不同變異下，考慮限制式後估計之頂點位置分析學. ‧ 國. 小時，受限制的 B-樣條函數針對頂點的估計也具有一定的效果，然若討論受限制與. 0.1. 12/20. 0.05. 7/20. 0.01. 8/20. sit. y. ‧. 限制下，估計頂點位置平均較佳之比例. Nat. 變異大小(𝜎𝜎 2 ). n. al. 變異大小(𝜎𝜎 2 ) 0.1. er. io. 表 4 B-樣條函數在不同變異下，考慮限制式後估計之 SSE 分析. i n U. v. 限制下，估計之 SSE 平均較小的比例. Ch. e n g c h i10/20. 0.05. 5/20. 0.01. 5/20. 表 5 B-樣條函數在不同變異下，考慮限制式後估計之兩者分析變異大小(𝜎𝜎 2 ). 限制下，兩者同時較佳的比例. 0.1. 6/20. 0.05. 2/20. 0.01. 3/20. 15.

(24) 圖 10 顯示在受限制下，針對不同𝜎𝜎 2 的估計比較，部分函數顯示當𝜎𝜎 2 較小，其頂. 點位置估計之平均差異較小，表示在頂點的位置估計較佳，而部分顯式差異不大，只有極少數有相反的趨勢。. 立. 政治大. ‧. ‧ 國. 學. n. al. er. io. sit. y. Nat. 圖 8 受限制 B-樣條函數於不同𝜎𝜎 2 之平均頂點位置估計比較. Ch. engchi. 16. i n U. v.

(25) 三、. 兩估計方法之比較分析. 比較受限制的核函數與樣條函數對於頂點位置的估計結果，可以看出來當σ2 =. 0.1時，兩者並沒有絕對的優勢(圖 9)。而當σ2 = 0.05或0.01時，核函數在頂點位置的. 估計結果較差，整體估計不如樣條函數(圖 10、圖 11)。進一步將結果整理成表 6，更可以看出來這樣的現象。針對誤差平方和的結果，由圖 12、圖 13、圖 14 可以看出來，當σ2 = 0.05 或 0.01. 時，核函數少數幾個估計結果之誤差平方和非常大，而其餘與樣條函數估計結果之誤. 差平方和相去不遠。為進一步了解大小狀況，將比較結果整理如表 7。我們可以看到核函數估計較佳的次數並沒有隨著誤差變異增減而有明顯的增減，顯示受限制下的核. 治政大表 8 為兩估計方法在不同變異大小下的總比較，其中核函數具有絕對優勢的次數立隨著變異大小縮小而縮小，因其頂點位置估計較差，而樣條函數則是穩定維持近一半函數對於整體配適的誤差平和與樣條函數相比並不會太差。. ‧ 國. 學. 次數的絕對優勢。. 表 6 核函數與樣條函數估計頂點位置結果比較樣條函數較佳次數. 0.1. 7. 13. y. 0.05. 2. sit. ‧. 核函數較佳次數. 1. 19. io. 0.01. n. al. 18. er. Nat. 變異大小(𝜎𝜎 2 ). Ch. engchi. i n U. v. 表 7 核函數與樣條函數估計之 SSE 比較變異大小(𝜎𝜎 2 ). 核函數較佳次數. 樣條函數較佳次數. 0.1. 9. 11. 0.05. 11. 9. 0.01. 8. 12. 表 8 核函數與樣條函數總比較變異大小(𝜎𝜎 2 ). 核函數兩者皆較佳次數. 樣條函數兩者皆較佳次數. 0.1. 6. 10. 0.05. 2. 9. 0.01. 1. 12 17.

(26) 立. 政治大. ‧ 國. 學. 圖 9 核函數與樣條函數估計頂點位置比較圖(σ2 = 0.1). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 10 核函數與樣條函數估計頂點位置比較圖(σ2 = 0.05). 18.

(27) 立. 政治大. ‧. ‧ 國. 學. 圖 11 核函數與樣條函數估計頂點位置比較圖(σ2 = 0.01). n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 12 核函數與樣條函數 SSE 比較圖(σ2 = 0.1). 19.

(28) 立. 政治大. ‧. ‧ 國. 學. 圖 13 核函數與樣條函數 SSE 比較圖(σ2 = 0.05). n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 14 核函數與樣條函數 SSE 比較圖(σ2 = 0.01). 20.

(29) 第伍章. 結論與建議. 研究結論受限制下的核函數在估計傘型函數時，會有權重無解的狀況產生，其無解的狀況會隨著誤差變異的縮小而增加，然而當函數較為平滑時，則該狀況會有改善。針對傘型函數頂點位置的估計，當誤差變異較小時，受限制的核函數對於頂點位置的估計能力較差，當誤差變異較大時，則估計較佳。此外，若傘型函數本身較為平滑，受限制的核函數對於該頂點的估計能力會有所提昇。比較受限制與不受限制的 B-樣條函數在估計不同誤差變異下的傘型函數頂點位. 政治大計頂點位置能力有微幅提升。而針對誤差平方和的部分則沒有一定的優劣勢，因此，立. 置，發現當誤差變異越小，其頂點位置估計會越差，當誤差變異較大時，受限制的估. ‧ 國. 學. 受限制與不受限制的樣條函數並沒有何者具有絕對優勢。. 針對兩方法的比較，經由本研究模擬後發現，當誤差變異比較小時，受限制的樣. ‧. 條函數在頂點位置估計上較核函數來的好，而當誤差變異上升時，核函數對於頂點位置的估計能力會上升，但仍究比樣條函數略差一些。在配適誤差平方和的比較上，不. y. Nat. sit. 論誤差變異大小，核函數與樣條函數各有優劣，針對此部分，沒有絕對的好壞之分。. er. io. 最後，在總比較上，當誤差變異縮小時，受限制的樣條函數在頂點位置與誤差平. n. al. v. 方和兩者較佳的次數上具有絕對的優勢，而誤差便上升至 0.1 時，受限制核函數的兩. i n C 者較佳次數雖然有些許提升，但仍不如樣條函數。 hengchi U. 因此，在方法的選擇上，本研究建議當傘型函數本身較不平滑且其變異較小時，. 建議使用受限制的樣條函數來估計，而當函數本身較平滑且其變異較大時，可以考慮使用受限制的核函數來估計。. 21.

(30) 研究建議本研究使用 leave-one-out cross validation 進行帶寬的選取，因此選擇的帶寬較小，可以考慮使用其他方式進行帶寬的選取，如 10-fold，減少過度配適的狀況。本研究在 B-樣條函數的節點放置上採取等距排放的方式，而同時也可以考慮其他的放置方式，探討受限制的 B-樣條函數是否有更好的頂點估計結果。最後，本研究採用 R 統計軟體的中 quadprog 套件的 solve.QP 功能來求解限制式下的極值，亦可以考慮採用其他軟體來求解，改善核函數的權重無解狀況。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 22. i n U. v.

(31) 0.0. 0.2. 0.2. 0.4. 0.4. 0.0. 0.8. 0.8. 1.0. 1.0. 0.2. 0.2. -0.2. y. 0.8. 1.0. 0.4. 0.4 0.6. x. 0.4. al. 0.6. Ch 0.8. x. 0.8. 1.0. 23 0.6. pure.y 0.8. 1.0. 立 0.8. 政治大 1.0. 1.0. engchi. sit. 0.2. 0.6. ‧ 國. 0.4. 0.6. 0.0. i n U. er. 0.2. x. 0.0. 0.0. 0.4. 0.6. pure.y. 0.6. n. 0.0 0.2. ‧. io. 0.0. pure.y. 0.0. 學. Nat. pure.y. 0.0. 0.0. 0.2. 0.2. 0.4. 0.4. 0.6. pure.y. 0.6. pure.y. 0.8. 0.8. 1.0. 1.0. 附錄一模擬之傘型函數. 0.0. 0.0. 0.2. v 0.2. 0.2. 0.4 x. 0.4 x. 0.4. x. 0.6 0.8 1.0. 0.6 0.8 1.0. 0.6. 0.8. 1.0.

(32) 0.0. 0.2. 0.2. 0.4. 0.4. 0.2. 0.8. 1.0. x. 0.4. sit. 0.6. al. 0.6. er. 0.4. 0.8. Ch. 0.8. 1.0. 0.0. 0.2. 0.4. x. 1.0. 24 0.6. pure.y. 0.6. 0.8. 0.8. 1.0. 1.0. 1.0 0.0. 1.0 0.0. engchi. 0.0. 0.2. i n U. 0.2. y. 0.4. 立 0.8. 0.8. 0.2. ‧ 國. 0.0. pure.y. 0.6. 0.6. pure.y. 0.6. n. 0.0. 0.2 0.4. ‧. io. 0.0 0.2. 學. 0.0. Nat. pure.y. 0.0 0.2 0.4. x x. 政治大. 0.4. x. v. 0.4. x. 0.6 0.8 1.0. 0.6 0.8 1.0. 0.6. 0.8. 1.0. 0.0. 0.0. 0.2. 0.2. 0.4. 0.4. 0.6. pure.y. 0.6. pure.y. 0.8. 0.8. 1.0. 1.0.

(33) 0.0. 0.2. 0.2. 0.4. 0.4. 0.2. 0.8. 1.0. x. 0.4. sit. 0.6. al. 0.6. er. 0.4. 0.8. Ch. 0.8. 1.0. 0.0. 0.2. 0.4. x. 1.0. 25 0.6. pure.y. 0.6. 0.8. 0.8. 1.0. 1.0. 1.0 0.0. 1.0 0.0. engchi. 0.0. 0.2. i n U. 0.2. y. 0.4. 立 0.8. 0.8. 0.2. ‧ 國. 0.0. pure.y. 0.6. 0.6. pure.y. 0.6. n. 0.0. 0.2 0.4. ‧. io. 0.0 0.2. 學. 0.0. Nat. pure.y. 0.0 0.2 0.4. x x. 政治大. 0.4. x. v. 0.4. x. 0.6 0.8 1.0. 0.6 0.8 1.0. 0.6. 0.8. 1.0. 0.0. 0.0. 0.2. 0.2. 0.4. 0.4. pure.y 0.6. 0.6. pure.y. 0.8. 0.8. 1.0. 1.0.

(34) 1.0. 1.0. pure.y. 0.2. 0.4. 0.6. 0.8. 0.8. 0.0 0.2. 0.4. 0.6. 0.8. 0.0. 1.0. 0.2. 0.4. 0.6 x. x. 立. 政治大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. pure.y. 0.6 0.4 0.2 0.0 0.0. Ch. engchi. 26. i n U. v. 0.8. 1.0.

(35) 0.0. 0.6 0.0. 0.2. 0.2. 0.4. 0.4. pure.y. pure.y. 0.6. 0.8. 0.8. 1.0. 附錄二平滑後之傘型函數. 0.0. 0.2. 0.4. 0.6 x. 0.0. 1.0. 0.2. 0.4. 0.6. 0.8. 1.0. 0.6. 0.8. 1.0. 0.6. 0.8. 1.0. x. 0.8. y. 0.4. 0.6. 0.8. Ch. er. i n U 0.0. 1.0. engchi. v. 0.2. 0.4 x. 0.0. 0.0. 0.2. 0.2. 0.4. 0.4. pure.y. pure.y. 0.6. 0.6. 0.8. 0.8. x. sit. 0.2. n. al. 0.0. 0.0. 0.6. pure.y. 0.4. 0.8 0.6 0.4 0.2. pure.y. -0.2. io 0.2. ‧. Nat 0.0. 學. ‧ 國. 1.0. 立. 政治大. 0.8. 0.0. 0.2. 0.4. 0.6. 0.8. 1.0. 0.0. 0.2. 0.4 x. x. 27.

(36) 0.0. 0.2. 0.2. 0.2. pure.y. 0.6. 0.6. 0.8. 1.0. x. 0.4. sit. 0.4. 0.6. al. 0.6. er. 0.8. Ch. 0.8. 0.2. 0.4. x. 1.0. 28 0.6. pure.y. 0.8. 0.8. 1.0. 1.0. 1.0 0.0. 1.0 0.0. engchi. 0.0. 0.2. i n U. 0.2. y. 0.0. 0.6. 立 0.8. 0.8. 0.4. ‧ 國. 0.2. pure.y. 0.6. 0.4. 0.4. n. 0.0. 0.2 0.4. ‧. io. 0.0 0.2. 學. 0.0. Nat. pure.y. 0.0 0.2 0.4. x x. 政治大. 0.4. x. v. 0.4. x. 0.6 0.8 1.0. 0.6 0.8 1.0. 0.6. 0.8. 1.0. 0.0. 0.0. 0.2. 0.2. 0.4. 0.4. 0.6. pure.y. 0.6. pure.y. 0.8. 0.8. 1.0. 1.0.

(37) 0.0. 0.2. 0.2. 0.4. 0.4. 0.2. 0.8. 1.0. x. 0.4. sit. 0.4. 0.6. al. 0.6. er. 0.8. Ch. 0.8. 0.0. 0.2. 0.4. x. 1.0. 29 0.6. pure.y. 0.6. 0.8. 0.8. 1.0. 1.0 0.0. 1.0 0.0. engchi. 0.0. 0.2. i n U. 0.2. y. 0.4. 立 0.8. 0.8. 0.2. ‧ 國. 0.0. pure.y. 0.6. 0.6. pure.y. 0.6. n. 0.0. 0.2 0.4. ‧. io. 0.0 0.2. 學. 0.0. Nat. pure.y. 0.0 0.2 0.4. x x. 政治大. 0.4. x. v. 0.4. x. 0.6 0.8 1.0. 0.6 0.8 1.0. 0.6. 0.8. 1.0. 0.0. 0.0. 0.2. 0.2. 0.4. 0.4. pure.y. pure.y 0.6. 0.6. 0.8. 0.8.

(38) 0.8. 0.8. 0.4. 0.6. pure.y. 0.6. 0.2 0.2. 0.4. 0.6. 0.8. 0.0. 1.0. 0.2. 0.4. 0.6 x. x. 立. 政治大. 學 ‧. ‧ 國 io. sit. y. Nat. n. al. er. pure.y. 0.4 0.2 0.0 0.0. Ch. engchi. 30. i n U. v. 0.8. 1.0.

(39) 參考文獻 1. Boor, C. D. (1972) “On calculating with B-splines.”, Journal of Approximation theorey, 6, 50-62. 2. Cressie, N. A. C. and Read, T. R. C. (1984) “Multinomial goodness-of-fit tests.”, J. Roy. Statist. Soc. Ser. B, 46, 440-464 3. Du, P., Parmeter, C. F. and Racine, J. S. (2013) “Nonparametricc kernel regression with multiple predictors and multiple shape constraints.”, Statistica Sinica, 23, 1347-1371. 4. Fan, J. (1992) “Design-adaptive nonparametric regression.”, J. Amer. Statist. Assoc., 87, 998-1004.. 政治大. 5. Gasser, T. and Müller, H.-G. (1979) “Kernel estimation of regression functions.”,. 立. In Smoothing Techniques for Curve Estimation, 23(68), Springer-Verlag, New York.. ‧ 國. 學. 6. Hall, P. and Haung, L.-S. (2001) “Noparametric kernel regresson subject to monotonicity constraints.”, Ann. Statist, 29(3), 624-647.. 7. He, X., and Shi, P.(1998) “Monotone B-spline smoothing.”, J. Amer. Statist. Assoc.,. ‧. 93(442), 643-650.. sit. y. Nat. 8. Mammen, E. and Thomas-Agnan, C. (1998) “Smoothing splines and shape restrictions.”, Scandinavian Journal of Statistics, 26, 239-252.. io. n. al. er. 9. Nadaraya, E. A. (1965) “On nonparametric estimates of density functions and. i n U. v. regression curves”, Theory Probab. Appl., 10, 186-190.. Ch. engchi. 10. Priestley, M. B. and Chao, M. T. (1972) “Nonparametric function fitting.”, J. Roy. Statist. Soc. Ser. B, 34, 385-392 11. Racine, J. and Li, Q. (2004) “Nonparametric estimation of regression functions with both categorical and continuous data.”, J. Econometrics, 119, 99-130. 12. Schumaker, L. L. (1981) Spline functions, Wiley, New York. 13. Stone, M. (1974) “Cross-validatory choice and assessment of statistical predictions.”, Roy. Statist. Soc. Ser. B, 36(2), 111-147 14. Stout, F. (2008) “Unimodal regression via prefix isotonic regression.”, Computational Statistics and Data Analysis, 53, 289-297. 15. Watson, G. S. (1964) “Smooth regression analysis.”, Sankhy𝑎𝑎�, 26(15), 175-184.. 31.

(40)