二元指數族中參數之最大概似估計與最大擬概似估計異同的研究 - 政大學術集成

全文

(1)國立政治大學應用數學系碩士學位論文. 二元指數族中參數之最大概似估計政治大與最大擬概似估計異同的研究. 立. ‧. ‧ 國. 學. On the Maximum Likelihood and Maximum Pseudo-Likelihood Estimations of Bivariate Exponential Family Parameters n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 碩士班學生：許雲峰撰. 指導教授：宋傳欽博士姜志銘博士中華民國 104 年 07 月 09 日.

(2) 國立政. 治. 大. 用數. 學應. 學. 系. 許雲峰君所撰之碩士學位論文. .最. UntheMaxiΠmumLikelihUUdaⅡ dMaxiⅡnum 政治大立 LikelihUUdEsthmatiUnsUfBivariate. 學. ExpUneⅡ tialFaⅡ Ⅱ ilyParameters. 過. 〞竹. 十. ′ㄇ. 魂. ˙. engchi. v. 承. ˙. Ch. i n U. 竹. io. sit. y. ‧. 玄敬雜各僻騎 ← n. Nat. 經文業論. al. er. PSeudU▓. 大概似估計與最大擬概似估計異同的研究. ‧ 國. 支. 二元指數族中參數之. Γ. 指導教授:︴ !魂系主任:1協作中. 華. 民. 國. 1U4年 U9月. ” 日.

(3) 謝辭. 本論文能夠順利完成，首先要感謝指導教授宋傳欽博士以及姜志銘博士的悉心指導，在研究所這段期間給了我許多的建議，平時也很關心我的學習狀況，在撰寫論文期間，總是不厭其煩地幫助我解決問題，使我的論文能更加完善。. 此外，要謝謝在研究所一起學習的同學們，謝謝王思堯、羅文隆、王偉名、黃明怡，讓我遇到問題時可以互相討論，謝謝學弟妹陳治宗、曾郁婷、涂健晏、. 政治大. 鄭鴻輝，讓我有一起吃飯遊玩的時光。. 立. ‧ 國. 學. 最後要感謝我的家人以及我的女朋友欣怡，謝謝我的爸爸、媽媽，給了我一個良好的學習環境與溫暖的家庭，在我需要的時候給予支持與鼓勵，謝謝弟弟能. ‧. 一起互相的幫忙與協助。有了家人辛苦的工作與默默的付出，才能讓我專注於課. y. Nat. sit. 業的研究，你們的關心與愛心，更讓我體會到家人的重要。而在研究所這段時間，. al. n. 多的理想前進。. er. io. 謝謝女朋友欣怡一路的陪伴，你的關心與幫助，讓我能更快完成我的論文，往更. Ch. engchi. i n U. v. 許雲峰. 謹致于. 國立政治大學應用數學系中華民國一百零四年七月. iv.

(4) 二元指數族中參數之最大概似估計與最大擬概似估計異同的研究. 許雲峰. 中文摘要. 政治大當密度函數難以完整表示，例如無法求得其正規化常數，則求最大概似估計立. ‧ 國. 學. (MLE)時會有困難。因此一種替代方案就是使用擬概似函數去求得最大擬概似估計(MPLE)以取代 MLE。本研究之目的在探討二元指數族中參數之 MLE 與 MPLE. ‧. 的異同。文中先以常見的三個機率模型：卜瓦松-二項分配、三項分配與二元常. sit. y. Nat. 態分配，探討模型參數的 MLE 與 MPLE；接著推導一般二元指數族中獲得參數. al. er. io. 之 MPLE 的擬概似方程式；最後考慮 2 2 列聯表中，方格內參數為三種不同情. v. n. 況下的 MLE 與 MPLE。當中兩種情況可以求出其精確解，而第三種則無法求出。. Ch. engchi. i n U. 針對第三種情況，利用 Matlab 程式以模擬的方式，計算出參數的 MLE 與 MPLE，以進行分析比較，並觀察兩者之均方差如何受參數值影響。. 關鍵詞：二元指數族、最大概似估計、概似方程式、最大擬概似估計、擬概似方程式、 2 2 列聯表、均方差. v.

(5) On the Maximum Likelihood and Maximum Pseudo-Likelihood Estimations of Bivariate Exponential Family Parameters. Yun-Fong Hsu. Abstract. 政治大 If the density function立 is hard to express completely, e.g. hard to get normalizing. ‧ 國. 學. constant, then it would be difficult to find the maximum likelihood estimate (MLE). An alternative way is to use pseudo-likelihood function to find the maximum. ‧. pseudo-likelihood estimate (MPLE) instead of MLE. This research is to study the. sit. y. Nat. similarities and differences of the MLE and MLPE on the bivariate exponential. n. al. er. io. distribution parameters. We first derive the MLE and the MPLE of parameters in. i n U. v. Poisson-binomial distribution, trinomial distribution, and bivariate normal distribution.. Ch. engchi. Then, we derive the pseudo-likelihood equation to be used for solving MPLE of parameters in bivariate exponential family. Finally, we consider three cases on the cell probabilities of the 2x2 contingency table. There are exact solutions on MLE and MPLE for the first two of these three cases. However, on the third case, there is no exact solution and we use Matlab program to do the numerical calculations for analyzing and comparing MLE and MPLE. We observe how the changes of mean square errors using MLE and those using MPLE affected by the value changes of parameters.. vi.

(6) Keywords：bivariate exponential family, maximum likelihood estimate, likelihood equation, maximum pseudo-likelihood estimate, pseudo-likelihood equation, 2x2 contingency table, mean square errors. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. vii. i n U. v.

(7) 目次謝辭...............................................................................................................................iv 中文摘要........................................................................................................................v Abstract........................................................................................................................vi 目次.............................................................................................................................viii 表目次............................................................................................................................x 1. 簡介...........................................................................................................................1 1.1 研究動機.........................................................................................................1. 政治大 1.3 研究架構.........................................................................................................4 立 1.2 研究目的.........................................................................................................3. ‧ 國. 學. 2. 最大概似估計(MLE)與最大擬概似估計(MPLE).................................................5 2.1 最大概似估計(MLE)......................................................................................5. ‧. 2.2 最大擬概似估計(MPLE)................................................................................7. sit. y. Nat. 3. 一些分配中參數的 MLE 與 MPLE 之推導............................................................9. al. er. io. 3.1 卜瓦松-二項分配............................................................................................9. v. n. 3.2 三項分配.......................................................................................................12. Ch. engchi. i n U. 3.3 二元常態分配...............................................................................................15 4. 兩變數指數族中參數的 MLE 與 MPLE 之探討..................................................20 5. 2 2 列聯表中參數的 MLE 與 MPLE 之探討......................................................25 5.1 方格內參數為 1、 2、 3 ..............................................................................26 5.2 方格內參數為 1、 2、 2 ...............................................................................32 5.3 方格內參數為 1、2 2、 2 ............................................................................35 6. 針對 2 2 列聯表中參數為 θ1 、 2θ 2 、 θ 2 時 MLE 與 MPLE 之模擬分析與比較........................................................................................................................38 6.1 MLE 與 MPLE 在模擬數據上之計算...........................................................38 viii.

(8) 6.2 MLE 與 MPLE 之比較...................................................................................40 7. 結論.........................................................................................................................42 參考文獻......................................................................................................................44 附錄附表...................................................................................................................-1附錄 1 MPLEmethod.m 程式碼..................................................................................-1附表 2 MPLEmethod.m 各項計算數據......................................................................-5附表 2.1-2.9：1、 2 取不同值時 MLE 之均方差.......................................................-5附表 2.10-2.18：1、 2 取不同值時 MPLE 之均方差.................................................-9-. 政治大 ~. 附表 2.19-2.27：1、 2 取不同值時 ˆ2 之偏誤、變異數和均方差............................-13-. 立. 附表 2.28-2.36：1、 2 取不同值時  2 之偏誤、變異數和均方差............................-17-. ‧ 國. 學. 附表 2.37-2.45：1、 2 取不同值時 MLE 與 MPLE 之平均數.................................-21-. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. ix. i n U. v.

(9) 表目次表 5-1 2 2 列聯表模型(格子中的值分別為機率值 f (i, j ) 及觀察值 nij )...............25 表 5-2 參數為 1、 2、 3 的列聯表模型....................................................................26 表 5-3 參數為 1、 2、 2 的列聯表模型....................................................................32 表 5-4 參數為 1、2 2、 2 的列聯表模型..................................................................35. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. x. i n U. v.

(10) 1. 簡介. 1.1. 研究動機. 最大概似估計(MLE)是統計上常用的估計，但當密度函數難以完整表示時，例如正規化常數無法求得，要得到最大概似估計會有困難。Arnold (1991)提到一個二元指數分配，其密度函數為：. 政治大 x  0, y  0,   0. f (x, y)  k ( ) exp{(x  y  xy )}. 立. ‧. ‧ 國. 學. 我們只知道. . {k ( )}1   e u (1  u ) 1du 0. sit. y. Nat. n. al. er. io. 卻無法直接求出 k ( ) ，因此無法利用最大概似估計法去估計  。故一種替代的方. i n U. v. 案是：利用條件密度函數的乘積，求出擬概似函數，進而求得最大擬概似估計. Ch. (MPLE)以取代最大概似估計。. engchi. 若我們考慮上述例子的條件分配 X Y  y 與 Y X  x，可以發現兩者皆為指數分配，其密度函數分別為： f X Y (x y)  (1  y) exp( x(1  y)), x  0,   0 f Y X (y x)  (1  x) exp(  y(1  x)), y  0,   0. 1.

(11) 而樣本數為 n 時的擬概似函數為： n. PL ( )   f X Y ( x i y i )  f Y X ( y i x i ) i 1 n. n. n. i 1. i 1. i 1.  {(1  x i )(1  y i )}exp{ x i (1  y i )   y i (1  x i )}. ~ 根據擬概似函數，可以知道擬概似估計  滿足以下等式： n. n xi yi {  }  2  1  ~x 1  ~y  xi yi i i i 1 i 1. 立. 政治大. ~ 由數值分析的方法我們可求得  的近似值，即  的估計值。. ‧ 國. 學. 因此，在一般情況下，若無法求得概似函數時，可以嘗試利用上述方法求得未知. ‧. io. sit. y. Nat. n. al. er. 參數的估計。. Ch. engchi. 2. i n U. v.

(12) 1.2. 研究目的. 本研究目的在對二元指數族中的一些常見例子，如卜瓦松-二項分配、三項分配、二元常態分配以及與四項分配有關的 2 2 列聯表等，經由概似函數或擬概似函數，探討參數之最大概似估計與最大擬概似估計間的異同。當兩者(或兩者之一)無法以公式解表示時，則利用模擬的方式進行分析與比較。希望透過理論推導與模擬分析，解釋說明在統計推論上用最大擬概似估計取代最大概似估計的合理性。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(13) 1.3. 研究架構. 本論文一共分為七章：第一章介紹研究的動機、目的與架構；第二章說明何謂最大概似估計與最大擬概似估計；第三章先以三個常見的分配為例，推導其最大概似估計與最大擬概似估計；第四章對一般兩變數指數族參數的情況，推導其概似方程式與擬概似方程式；第五章對 2 2 列聯表的三種不同情況，探討其最大概似估計與最大擬概似估計；第六章針對第五章之第三種情況進行最大概似估計和最大擬概似估計之模擬分析與比較；第七章為結論。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 4. i n U. v.

(14) 2. 最大概似估計(MLE)與最大擬概似估計(MPLE). 本章介紹何謂最大概似估計與最大擬概似估計，並透過概似函數與擬概似函數分別求出此兩估計。. 2.1 最大概似估計(MLE). 政治大. 一般來說母體之參數 θ 是未知的，若從母體隨機抽出一組樣本，再利用此樣. 立. 本去找到一個 θ 的估計值 θˆ，使得這組樣本發生的可能性為最大，則此 θˆ 值稱為 θ. ‧ 國. 學. 的最大概似估計值。. ‧. 設 X1 , X 2 , , X n 為抽自母體 X (密度函數為 f X (x; θ ) )的 m 維隨機向量，則向. sit. y. Nat. io. al. er. 量 (X1 , X 2 , , X n ) 的聯合密度函數為：. v. n. f (x1 , x 2 , , x n ; θ )  f X (x1 ; θ )  f X (x 2 ; θ ) f X (x n ; θ ). Ch. n. engchi.   f X (x i ; θ ). i n U. i 1. 【定義 2.1】將聯合密度函數 f (x1 , x 2 ,..., x n ; θ ) 視為 θ 的函數 L(θ ) ，則稱 L(θ ) 為概似函數 (likelihood function)。. 【定義 2.2】設 L(θ ) 為概似函數，若 θˆ(X1 , X 2 , , X n ) 使 L(θ ) 為最大時，則 θˆ( X1 , X 2 , , X n ) 稱為 θ 的最大概似估計式 (maximum likelihood estimator)，而. 5.

(15) ˆ(x1 , x 2 , , x n ) 稱為  的最大概似估計值 (maximum likelihood estimate)。. 為了方便起見，無論是最大概似估計值或最大概似估計式，皆以 MLE 來表示。. 一般求算 MLE 的步驟如下：先找到概似函數 n. L(θ )  f (x1 , x 2 , , x n ; θ )   f X (x i ; θ ). 政治大 i 1. 立. ‧ 國. 學. 對 L(θ ) 取 log 後再對 θ 微分，令. ‧. d log L(θ ) 0 dθ. y. Nat. 也有情況是無法用微分的技巧求出 MLE。. n. al. Ch. engchi. 6. er. io. sit. 為方便起見，我們稱上述等式為概似聯立方程式，其解 θˆ 即為 θ 之 MLE。但. i n U. v.

(16) 2.2 最大擬概似估計(MPLE). 【定義 2.3】令 2.1 節中第 i 個 m 維隨機向量為 Xi  ( Xi, 1 , Xi, 2 , , Xi, m ) 且. Xi,  j  ( Xi, 1 , , Xi, j 1 , Xi, j 1 , , Xi, m ) 。若給定 X i, j Xi,  j 的條件密度函數 f ij ( x i,j x i,  j )，i  1, 2,  , n， j  1, 2, , m，則 θ 的擬概似函數(pseudolikelihood. function)為 n. m. PL (θ )   f ij ( x i,j x i ,  j ). 政治大 i 1 j 1. 立. ‧ 國. 學. ~ ~ 【定義 2.4】若 θ (x1 , x 2 , , x n ) 使 PL (θ ) 最大，則稱 θ (X1 , X 2 , , X n ) 是 θ 的最. ‧. ~ 大擬概似估計式(maximum pseudolikelihood estimator)，而( θ x, 1 x ,2 , x n ) 稱為 θ. er. io. sit. y. Nat. 的最大擬概似估計值(maximum pseudolikelihood estimate)。. 為了方便起見，無論是最大擬概似估計值或最大擬概似估計式，皆以 MPLE. n. al. 來表示。. Ch. engchi. i n U. 一般求算 MPLE 的步驟如下；先找到擬概似函數 n. m. PL (θ )   f ij ( x i,j x i ,  j ) i 1 j 1. 7. v.

(17) 對 PL (θ ) 取 log 後再對  微分，令. d log PL (θ ) 0 dθ. ~ 為方便起見，我們稱上述等式為擬概似聯立方程式，其解 θ 即為 θ 之 MPLE。. 但也有情況是無法用微分的技巧求出 MPLE。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 8. i n U. v.

(18) 3. 一些分配中參數的 MLE 與 MPLE 之推導. 本章針對三種不同的分配，進行 MLE 與 MPLE 之推導，其中 3.1 節為卜瓦松-二項分配，3.2 節為三項分配，3.3 節為二元常態分配。. 3.1 卜瓦松-二項分配. e  假設 X 服從卜瓦松分配，即政 f ( x )  治， x  0, 1 , 2 ,  ，   0 ，又給定 x! 大立 x ， y  0 , 1, 2 , , x ， ( y x )    (1   ) X  x 時， Y 服從二項分配，即 f  x. X. ‧. ‧ 國. 0    1。. xy. y. 學.  y  . YX. sit. y. Nat. 為了推導參數中的 MLE 與 MPLE，我們需要先求出聯合密度函數 f XY (x, y) 與條. io. al. er. 件密度函數 f X Y ( x y) ，其推導過程如下：. iv n Ue   x. n. f XY ( x, y)  f Y X ( y x )  f X ( x ). C h x   e n  yg (1 c  h ) xi y  y  . x!. x  0, 1 , 2 , ，y  0 , 1 , 2 ,  , x，0    1，  0 為了求出條件密度函數 f X Y ( x y) ，我們先求出邊際密度函數 f Y ( y) ： f Y ( y) . . x.   y  y (1   ) x  y. x  y. . e   x x!.  y   x! (1   ) x x ( ) e  1 x! x  y y!( x  y)!  y  1  e [(1 ) ] [(1   ) ]x ( ) e  1 y! x  y (x  y)! 9.

(19) 令 t  x  y ， x  t  y ，則. . y . f Y ( y)  ( ) e 1. 1  e [(1 ) ] [(1   ) ]t  y  y! t  0 t!.  y  1 ( [(1   ) ] y 1 ) e 1 y! e  ( ) y y!. . y  0 , 1 , 2 , ，0    1，  0 由 Y 的機率密度函數 f Y ( y) 可知， Y ~ Poisson( ) 。. f XY ( x , y) f Y ( y). f X Y ( x y) . . y.  x. (1   ) x  y . x!. e  ( ) y y!. 學. x! y!  y ( )  y (1   ) x  y e e   x y!( x  y)! x!. sit. io. al. er. Nat. e [(1 ) ] [(1   ) ] x  y ( x  y )! x  y, y  1, y  2 , ，0    1，  0 . y. . ‧. ‧ 國. 立 xy . 政治大 e . v. n. 由 X Y 的機率密度函數 f X Y ( x y) 可知， X Y ~ Poisson((1-  ) ) 。. Ch. engchi. i n U. 有了聯合密度函數 f ( x, y) 與條件機率密度函數 f X Y ( x y) 及 f Y X ( y x ) 後，以下我們進行 MLE 與 MPLE 的推導：假設 (x1 , y1 )(x n , y n ) 為隨機樣本，故概似函數為： n. L( ,  )   f XY ( x i , y i ) i 1. n. n. . n. n. yi  x i   yi  xi  x i  i 1 (1   ) i 1 i 1 e  n i 1      y  i 1  i  n. n.  xi! i 1. 10.

(20) 將 L( ,  ) 取 log 並分別對  與  微分，並令微分後的式子為 0，可得到以下等式： n n  n   yi  yi   x i i 1  i 1  i 1 0   1  n   xi   n  i 1  0  . 由上述兩式我們可以解出  與  的 MLE：. y  (ˆ, ˆ )   , x  x . 以下我們進行 MPLE 的推導：. 立. 首先擬概似函數為：. 政治大. n. ‧ 國. 學. PL ( ,  )   f X Y ( x i y i ) f Y X ( y i x i ) i 1. n. n. n. n. io. er. i 1. sit.  ( xi  yi )!. y. ‧. n. Nat. . n. yi  xi   yi  xi   yi  x i  i 1 (1   ) i 1 i 1 e  n (1 )  [(1   ) ]i 1 i 1      y  i 1  i  n. al. n. v i n 將 PL( ,  ) 取 log 並分別對  與 0，得到以下等式： Ch微分，並令微分後的式子為 e n g c h ni U n n n  n     yi   x i    yi  yi   x i    i 1 i 1  i 1  0 i 1 i 1   n     1 (1   )  n n  x   i  yi  i 1  n( 1  θ)  i 1 0 λ . 由上述兩式我們可以解出  與  的 MPLE：. ~ ~ y  ( ,  )   , x  x  結論：因此在卜瓦松-二項分配的情況下，  及  的 MLE 與 MPLE 是相同的。 11.

(21) 3.2 三項分配. 假設 (X, Y) 具有三項分配，即. f XY ( x, y) . n! 1x 2 y (1  1   2 ) n  x  y x! y!(n  x  y)!. x  0, 1, , n ， y  0, 1, , n ， x  y  n ， 0  1  1 ， 0   2  1 ， 0  1   2  1. 故概似函數為：. L(1 ,  2 ) . n! 1x 2 y (1  1   2 ) n  x  y x! y!(n  x  y)!. 立. 政治大. ‧. ‧ 國. io. al. n. 由上述兩式我們可以解出 1 與  2 的 MLE：. Ch. engchi. x y (ˆ1 , ˆ2 )  ( , ) n n. i n U. v. 接下來我們進行 MPLE 的推導：首先 X Y、Y X 的條件機率函數分別為：.  n  y  1 x 1  1   2 n  x  y ( f X Y ( x y)   ) ( ) , 0 x ny 12  x  12  n  x   2 y 1  1   2 n  x  y ( f Y X ( y x )   ) ( ) , 0 ynx 1  1  y  1  1. 12. (3.1). y. sit. Nat. nxy x   1      0 1 1 2 y nxy   0  2 1  1   2. er. 式：. 學. 將 L(1 ,  2 ) 取 log 並分別對 1 與  2 微分，並令微分後的式子為 0，可得到以下等. (3 . 2 ).

(22) 故擬概似函數為： PL (1 ,  2 )  f X Y ( x y) f Y X ( y x )  n  y  1 x 1  1   2 n  x  y  n  x   2 y 1  1   2 n  x  y ( (   ) ( )   ) ( ) 12 1  1  x  12  y  1  1. 將 PL(1 ,  2 ) 取 log 並分別對 1 與  2 微分，並令微分後的式子為 0，可得到以下等式：  x n  x 2(n  x  y)   1    1      0  y1 n  1y 2(n 1 x 2y)    0  2 1   2 1  1   2. (3.3) (3.4). 政治大由  ( 1   )( 1     )  (3.3)以及  ( 1   )( 1     )  (3.4)可以得到：立 1. 1. 1. 2. 2. 2. 1. 2. ‧. ‧ 國. 學. (1  1   2 )(1  1 ) x  1 (1  1   2 )(n  x )  21 (1  1 )(n  x  y)  0  (1  1   2 )(1   2 ) x   2 (1  1   2 )(n  y)  2 2 (1   2 )(n  x  y)  0. 把上述兩式作整理可以得到：. y. sit. io. n. al. (3.5) (3.6). er. Nat.  (1  1   2  21 2 ) x  (21  212 ) y  1 (1  1   2 )n  0  2  (2 2  2 2 ) x  (1  1   2  21 2 ) y   2 (1   2  1 )n  0 由  2  (3.5)  1  (3.6)可以得到：. Ch. engchi. i n U. v. ( 2   2 2  1 2 )x  (1  12  1 2 ) y  21 2 n  0. 接下來把(3.7)表示成以下方程式：  2 (1  1   2 )x  1 (1   2   2 ) y  2 2 2 (n  x  y)  0 由(3.8)除以 1 2 (1  1   2 ) 可以得到： x y 2(n  x  y)   0 1  2 1  1   2. (3.7). (3.8). (3.9). 13.

(23) 由(3.9)  (3.3)以及(3.9)  (3.4)可以得到： x ny   1    0  y1 n  x2   0  2 1  1. (3.10) (3.11). 由 1 (1   2 )  (3.10)以及  2 (1  1 )  (3.11)可以得到：. x   2 x  1n  1y  0  y  1y   2 n   2 x  0. (3.12) (3.13). 由  2  (3.12)  1  (3.13)以及 (3.12)  (3.13)可以得到：. 政治大.  2 x  1y  0   x  1n  y   2 n  0. 接下來我們把(3.14)中的 1 . 2x y. 代入(3.15)可以得到：. (3.15). 學. ‧ 國. 立. (3.14). ‧.  2 n(x  y)  y(x  y)  0. (3.16). n. al. er. io. sit. y. Nat. y x x y ~ ~ 由(3.16)我們可以解出  2  ，並代入(3.14)，可以得到 1  ，故 (1 ,  2 )  ( , ) n n n n 即為 (1 ,  2 ) 的 MPLE。. Ch. engchi. i n U. v. 結論：因此在 (X, Y) 具有三項分配的情況下，1 及  2 的 MLE 與 MPLE 是相同的。. 14.

(24) 3.3 二元常態分配. 假設 (X, Y) 具有二元常態分配，即 (X, Y) 的聯合分配為：. f XY ( x, y) . 1 2 1 2.   1  exp   ( x , y ) q 2  2  2 ( 1  ) 1   . 其中 q ( x , y) . (x  1 ) 2.  12. . 2  ( x  1 )(y   2 ).  1 2. (y   2 ) 2. .  22. 政治大. 1  R,  2  R,  1  0,  2  0,   1. n. n.  (x i  x) 2 i 1. Nat.  (yi  y) 2 i 1. ,. n. i 1. ,. n.  (x i  x) 2 i 1. er. io.     n   (yi  y) 2  i 1 .  (x i  x)(yi  y). sit. n. n. ‧. ‧ 國. 學.    ˆ ˆ ˆ ˆ ˆ ( 1 ,  2 ,  1 ,  2 ,  )   x, y,   . y. 立. (1 ,  2 ,  1 ,  2 ,  ) 的 MLE 為：. n. al. Ch. engchi. i n U. v. 詳細內容可參考 Bickel, P. J. and Doksum, K. A. (1977).. 接下來我們進行 MPLE 的推導：首先 X Y、Y X 的條件密度函數分別為：. f X Y ( x y)  (2 1 (1   )) 2. 2. . f Y X ( y x )  (2 2 (1   )) 2. 2. 1 2.    exp   [( x  1 )   1 ( y   2 )]2 / 2 12 (1   2 )  2  . 1 2.    exp   [( y   2 )   2 ( x  1 )]2 / 2 2 2 (1   2 )  1  . . 15.

(25) 故擬概似函數為： n. PL (θ )   f X Y ( x y) f Y X ( y x ) i 1.  (4  1  2 (1   ) ) 2. 2. 2. 2 2. . n 2. n  n      [(x i  1 )   1 (y i   2 )] 2   [(y i   2 )   2 (x i  1 )] 2 2 1  i 1  exp  i 1  2 12 (1   2 ) 2 2 2 (1   2 )   . 其中. 立. 治政 θ  ( ,  ,  ,  ,  ) 大 1. 2. 1. 2. ‧ 國. 學. 將 PL (θ ) 取 log 並分別對 1 、  2 、  1 、  2 與  微分，並令微分後的式子為 0，. ‧. 經過化簡可得到以下等式：. n. al. er. io. sit. y. Nat.  2 ) n ( x   )  2  n ( y   )  0 ( 1     i  2 1 1  i 2  i 1 i 1  n n  1 (1   2 )  ( y i   2 )  2 2   ( x i  1 )  0  i 1 i 1  n n  (1   2 )  ( x   ) 2  2   ( x   )( y   )  n 2 (1   2 )  0 1 1 1 i 2 1 2 i i  2 i 1 i 1  n  2 n 2 2 2  1 (1   )  ( y i   2 )  2 2   ( x i  1 )( y i   2 )  n 2 1 (1   )  0 i 1 i 1   n n n  2   ( x   ) 2   2   ( y   ) 2    (1   2 )  ( x   )( y   ) 1 1 2 1 1 1 i 2 i i  2 i 1 i i 1 i 1   n 2 2  (1   2 )  0 1 2 . Ch. engchi. i n U. v. 上述五個等式我們分別記為(3.17)、 (3.18) 、 (3.19) 、 (3.20) 、(3.21)。. 16.       .

(26) n. n. i 1. i 1. 令 u   ( x i  1 ) ， v   ( y i   2 ) ，則(3.17)、(3.18)可以改寫成：.  2 (1   2 )u  2 1v  0. (3.22).  1 (1   2 )v  2 2 u  0. (3.23). 我們將(3.22)、(3.23)寫成以下形式：. Ab  0 其中. 政治大 u  b .  2 (1   2 )  2 1   A   1 (1   2 )   2 2 . 立. 0  0  0 . v. ‧ 國. 學. 因為 A 的行列式值 det(A)   1 2 (1   2 ) 2  0 ，故可以解出：. Nat. n. y. n. ‧.  u  0  b    v  0 . i 1. io. n. al. (~1 , ~2 )  (x, y). Ch. engchi. er. i 1. sit. 由 u   ( x i  1 )  0 且 v   ( y i   2 )  0 ，可以得到 ( 1 ,  2 ) 的解為：. i n U. v. 接下來把 (~1 , ~2 )  (x, y) 代入(3.19)、(3.20)、(3.21)並令 s i  ( x i  x ) 2 、. t i  ( y i  y) 2 ， i  1,2,..., n ，可以得到： n. n.  2 (1   ) s i  2 1  s i t i  n 12 2 (1   2 )  0 2. 2. i 1. i 1. n. n. i 1. i 1. 1 (1   2 ) t i 2  2 2   si t i  n 2 21 (1   2 )  0 n. 2  2. i 1. si  12  2. n.  ti i 1. 2. (3.25). n.  11 (1   ) si t i  n12 2 2  (1   2 )  0 2. (3.24). i 1. 17. (3.26).

(27) 將  2  (3.24)   1  (3.25)，可以得到： n.  si. 2. 2.  1. 2. i 1. 2. n.  ti 2  0. (3.27). i 1. 由(3.27)可以知道： n. 1. 2. 2.  si 2 i 1 n. . 2.  ti2 i 1. n. n. i 1. i 1. 故我們設  12  ( s i 2 )  k 且  2 2  ( t i 2 )  k ，其中 k  0. 由  2. 政治大  (3.24)    (3.25)  (3.26)可以得到：立 1.  si.  1. 2. i 1. 2. n.  ti. 2. i 1. n.  2 1 2  s i t i  0 i 1. ‧. ‧ 國. n. 學.  2. 2. 由上述等式可以得到：. Nat. n. i 1. n. n. er. . io. sit. y. 2 1 2  s i t i. n. 2 2 2 2 a 2  s i   1  t i. . iv i 1 l Ci 1 n h2 nesnt g c h i U ii i 1. n 2 2 1 s   i   ti2  1 i 1 2 i 1 n. n. . 2 s i t i i 1. n. n.  t i  si 2. i 1. 2. i 1. n. .  si t i i 1. n.  si 2 i 1. n.  ti2 i 1. 18. . n. n.  si  t i 2 i 1. 2. i 1.

(28) n. n. n. i 1. i 1. i 1. n. 最後將  12  ( s i 2 )  k 、  2 2  ( t i 2 )  k 、    s i t i /.  si 2 i 1. n.  t i 2 代回(8)可 i 1. 以得到： n. n. n. i 1. i 1. i 1. [ s i 2  t i 2  ( s i t i ) 2 ](1  nk )  0. 1 ，因此可以得到 ( 1 ,  2 ) 的解： n    (~1 , ~2 )     . 立.  (x i  x) 2 i 1.  2  (y  y )  i  , i 1  n    n. 政n 治大.    ( ~1 , ~2 , ~1 , ~2 , ~ )   x, y,   . n. n.  (x i  x) 2 i 1. n. n.  (yi  y) 2 i 1. ,. n. i 1. ,. n. Nat.  (x i  x) 2. sit. i 1. n. al. er. io. 即為 (1 ,  2 ,  1 ,  2 ,  ) 的 MPLE. Ch.     n   (yi  y) 2  i 1 .  (x i  x)(yi  y). ‧. ‧ 國. 學. 故. n. y. 由上述等式可知 k . engchi. i n U. v. 結論：因此在 (X, Y) 具有二元常態分配的情況下， 1、  2 、 1、 2 與  的 MLE 與 MPLE 是相同的。. 19.

(29) 4. 兩變數指數族中參數的 MLE 與 MPLE 之探討. 本章以一般兩變數指數族為例，推導出一般的概似方程式與一般的擬概似方程式。再以三項分配為例，利用一般的擬概似方程式套用三項分配的條件，說明套用後的結果與三項分配的擬概似方程式是相等的。. 假設 (X, Y) 為兩變數指數族，即其聯合密度函數為： f XY (x, y, θ )  exp[ p1 (θ)k1 (x, y)  p2 (θ)k 2 (x, y)  h(x, y)  q(θ)]. 政治大. 其中 θ  (1 ,  2 , ...,  m ) 為其參數向量，(x, y)  S ， S 與 θ 無關，以下我們進行 θ 的 MLE 與 MPLE 之探討。. 立. ‧ 國. 學. Nat n. n. n. i 1. i 1. i 1. y. ‧. 假設 (x1 , y1 )(x n , y n ) 為隨機樣本，則概似函數. n. er. io. al. sit. L(θ )  exp[ p1 (θ ) k1 ( x i , y i )  p2 (θ ) k 2 ( x i , y i )   h( x i , y i )  nq(θ )]. Ch. engchi. i n U. v. L(θ ) 取 log 後分別對  j 微分， j  1, 2, , m ，並令微分後的式子為 0，可得到以下等式： n. . i 1.  j.  k1 (x i , yi ). n. . i 1.  j. p1 (θ )   k 2 ( x i , y i ). p2 (θ )  n.   j. q(θ )  0. j  1, 2, , m 上述等式之解 θˆ  (ˆ1 , ˆ2 ,, ˆm ) 即為 θ  (1 ,  2 , ,  m ) 的 MLE。. 20. (4.1).

(30) 接下來我們進行 MPLE 的探討：對擬概似函數 PL(θ ) 取 log 後，可以得到： n. f XY ( x i , y i ) f XY ( x i , y i ) f X (x i ) f Y (y i ). log PL (θ )  log  i 1. n. n. n. i 1. i 1. i 1.  2 log f XY ( x i , y i )   log f X ( x i )   log f Y ( y i ) 分別對  j 微分，可以得到：.    j. . n. log PL (θ )  2. n. i 1  j. . n.  2. n. . 立 log f. XY ( x i , y i ) . n. . f X (x i ).  j. XY. i 1. i. i. j  1, 2, , m. . n. .   j. i 1. f XY ( x i , y i )dx i f Y (y i ). y. exp[ p1 (θ )k1 ( x, y)  p2 (θ )k 2 ( x, y)  h( x, y)  q(θ )]. io. sit.  j. i. ‧. . Nat.  j. f XY ( x, y) . f Y (y i ). Y (y i ). f X (x i ). i 1. 由指數族的定義，可以得到：. .  j. 政治 大 f  f (x , y )dy i 1. ‧ 國. . 學. i 1  j. log f XY ( x i , y i )  .  j. f X (x i ). n. al. er.  f XY ( x, y)  [ p1 (θ )k1 ( x, y)  p2 (θ )k 2 ( x, y)  h( x, y)  q(θ )]. 故 .   j. f XY ( x, y)dy f X (x). 2.  [ i 1 2. C h j  1, 2, , m engchi. v. f XY ( x, y) f ( x , y)   k i ( x , y) pi (θ )dy]   XY q(θ )dy f X (x) f X (x)  .   [  f Y X ( y x )ki ( x, y) i 1. . i n U.   pi (θ )dy]   f Y X ( y x ) q(θ )dy  .    p1 (θ ) E (k1 ( x , y) x )  p2 (θ ) E (k 2 ( x, y) x )  q(θ )   . j  1, 2, , m. 21.

(31) 同理 .   j. f XY ( x, y)dx . f X (x).    p1 (θ ) E (k1 ( x, y) y)  p2 (θ ) E (k 2 ( x, y) y)  q(θ )   . j  1, 2, , m. 2 [. [. [.   j .  j .  j. log PL (θ ) 經過改寫並令其為 0 可以得到： n. . i 1.  j. p1 (θ ) k1 ( x i , y i )  n. . i 1.  j. p1 (θ ) E (k1 ( x i , y i ) x i ) . 立. n. p1 (θ ) E (k1 ( x i , y i ) y i )  i 1. n. . i 1.  j. p2 (θ ) k 2 ( x i , y i )  n. q(θ )]. . n. p2 (θ ) E (k 2 ( x i , y i ) x i )  n. 政治大 .  j. i 1.  j. n. . i 1.  j. p2 (θ ) E (k 2 ( x i , y i ) y i )  n. 學.  j. . ‧ 國. 因此，. j  1, 2, , m. q(θ )]. (4.2). q(θ )]  0. ‧. ~ ~ ~ ~ 上述等式之解 θ  (1 ,  2 , ,  m ) 即為 θ  (1 ,  2 ,,  m ) 的 MPLE。. sit. y. Nat. n. al. er. io. 第三章的三種模型：卜瓦松-二項分配、三項分配和二元常態分配皆為指數. i n U. v. 族的情況。我們以 3.2 節的三項分配為例，利用式(4.2)代入三項分配，說明代入. Ch. engchi. 後的擬概似聯立方程式與 3.2 節是相等的。. 首先，3.2 節中 (X, Y) 具有三項分配，即. f XY ( x, y) . n! 1x 2 y (1  1   2 ) n  x  y x! y!(n  x  y)!. x  0, 1, , n ， y  0, 1, , n ， x  y  n ， 0  1  1 ， 0   2  1 ， 0  1   2  1. 22.

(32) 我們把 f XY ( x, y) 以指數族方式表示，整理成以下形式：.   1 2 n! f XY ( x, y)  exp x ln( )  y ln( )  n ln(1  1   2 )  ln( ) 1  1   2 1  1   2 x! y!(n  x  y)!  . 因為 f XY ( x, y) 即為三項分配的概似函數，故與本章的概似函數 L(θ ) 比較可知：. p1 (θ )  ln(. 1 2 ) 、 p2 (θ )  ln( ) 1  1   2 1  1   2. n. n. i 1. i 1.  k1 (x i , yi )  x 、  k 2 (x i , yi )  y. 治 n! 政 ) 、 nq(θ)大  n ln(1     ) x! y!(n  x  y)! 立. n.  h(x i , yi )  ln(. θ  (1 ,  2 ). sit. n. y. ‧. Nat. 另外，在 (X, Y) 具有三項分配的條件下，我們可以得到： n. 2. 學. 其中. 1. ‧ 國. i 1. n. n. al. i 1. i 1. n. n. i 1. i 1. i 1. n. n. n. i 1. i 1. i 1. n. n. n. i 1. i 1. i 1. er. io.  E (k1 (x i , yi ) x i )  E ( k1 (x i , yi )  x i )  E (X X  x)  x i 1. Ch. enn g c h i. i n U. v.  E (k2 (x i , yi ) x i )  E ( k 2 (x i , yi )  x i )  E (Y X  x)  (n  x)(. 2 ) 1  1 .  E (k1 (x i , yi ) yi )  E ( k1 (x i , yi )  yi )  E (X Y  y)  (n  y)(1  1  E ( k 2 ( x i , y i ) y i )  E (  k 2 ( x i , y i )  y i )  E ( Y Y  y)  y. 23. ) 2.

(33) 故式(4.2)在 j  1 時可以寫成：. 2  [x.        p1 (θ )  y p2 (θ )  n q(θ )]  [ x p1 (θ )  (n  x)( 2 ) p2 (θ )  n q(θ )] 1 1 1 1 1 1  1 1      [(n  y)( 1 ) p1 (θ )  y p2 (θ )  n q(θ )]  0 1   2 1 1 1. 即 (1  1   2  21 2 )x  2(1  12 )y  n1 (1  1   2 )  0. 而在 3.2 節中的式(3.3)經過通分化簡後同樣可以得到. 政治大. (1  1   2  21 2 )x  2(1  12 )y  n1 (1  1   2 )  0. 立. 故可以知道兩式是相等的。. ‧ 國. 學. 同理，式(4.2)在 j  2 時，跟 3.2 節中的式(3.4)也是相等的。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 24. i n U. v.

(34) 5. 2 2 列聯表中參數的 MLE 與 MPLE 之探討. 本章節主要探討二維列聯表模型下的參數估計，設 X 、 Y 是 2 2 列聯表中的兩個變數，且每一個變數的值僅為 0 或 1，它們所在第 i 列第 j 行的聯合機率值為 f (i, j )  P(X  i, Y  j ) ，其中 f (i, j ) 與未知參數  有關。另外全部 n 個觀察值中，落在第 i 列第 j 行的總個數令為 nij ，因此 n  n00  n01  n10  n11。我們可將上述之符號整理成表 5-1 的型式如下：表 5-1： 2 2 列聯表模型(格子中的值分別為機率值 f (i, j ) 及觀察值 nij ). 立. 政治大 Y 0. 1. n00. n01. f (0, 0). f (0, 1). n10. n11. f (1, 0). f (1, 1). n. Ch. engchi. y. sit. io. al. ‧. Nat. 1. er. 0. 學. ‧ 國. X. i n U. v. 在 f (0, 0)   ， f (0, 1)   ， f (1, 0)   ， f (1, 1)  1  3 的情況下，其中 0    1 Arnold (1991)求出  的 MLE 和 MPLE，分別為. n01  n10 n00  n01  n10 和， 3n01  3n10  2n11 3n. 故兩種估計值並不相同。. 本節推廣 Arnold (1991)的結果，把表 5-1 方格內的機率值改成( 1、 2 、 3 ) 或( 1 、  2 、  2 )或( 1 、  2 、2  2 )，分別於 5.1 節、5.2 節及 5.3 節作理論探討。. 25.

(35) 5.1 方格內參數分別為 1 、  2 、  3. 當方格內參數分別為 1 、  2 、  3 時，整理成表 5-2 的列聯表型式如下：表 5-2：參數為 1 、  2 、  3 的列聯表模型 Y 0. 1. n00. n01. X. 0. 立. 政 治  大 1. 2. n10. n11. 3. 1  1   2   3. ‧. ‧ 國. 學. 1. sit. y. Nat. 以下進行 MLE 的推導：. io. er. 首先， X 、 Y 的聯合機率函數為：. f XY (x, y)  1(1 x )(1 y) 2 (1 x ) y3 x (1 y) (1  1   2   3 ) xy. n. al. Ch. engchi. i n U. v. (x, y)  (0, 0), (0, 1), (1, 0), (1, 1) ， 0  1  1， 0   2  1 ， 0   3  1 ， 0  1   2   3  1. 故概似函數為： n. L(1 ,  2 ,  3 )   f XY ( x i , y i )  1n00 2 n01 3 n10 (1  1   2   3 ) n11 i 1. 26.

(36) 其中 n. n. n. n. n. i 1. i 1. i 1. i 1. i 1. n00  n   x i   yi   x i yi ， n01   yi   x i yi ， n. n. n. i 1. i 1. i 1. n10   x i   x i yi ， n11   x i yi 。. 將 L(1 ,  2 ,  3 ) 取 log 並分別對 1 、  2 、  3 微分，並令微分後的式子為 0，可得到以下等式：. 政治大. ‧. ‧ 國. 立. 學. n11  n00    1    0 1 2 3  1 n11  n01  0  1  1   2   3 2  n11  n10    1    0 1 2 3  3. y. n01. 2. io. 1. . n10. 3. . n11. 4. . n00  n01  n10  n11 n   1  2  3  4 1. n. al. . 其中  4  1  1   2  3. Ch. sit. n00. (5.1). er. Nat. 由上述等式我們可以得到. engchi. i n U. v. 由(5.1)我們可以得到 1 、  2 、  3 的 MLE： n n n (ˆ1 , ˆ2 , ˆ3 )  ( 00 , 01 , 10 ) n n n. 以下來我們進行 MPLE 的推導：首先，由 X 、 Y 的聯合機率函數我們可以求出 X 、 Y 的邊際機率函數，分別為：. f X ( x )  (1   2 )1 x (1  1   2 ) x , x  0, 1 f Y ( y)  (1   3 )1 y (1  1   3 ) y , y  0, 1 27.

(37) 而擬概似函數 n. PL (1 ,  2 ,  3 )   f X Y ( x i y i ) f Y X ( y i x i ) i 1 n. . f XY ( x i , y i ) f XY ( x i , y i ) f Y (yi ) f X (x i ). . f 2 XY ( x i , y i ) f X (x i ) f Y ( yi ). i 1 n i 1. 對 PL(1 ,  2 ,  3 ) 取 log 可以得到： n. 政治大 n. n. i 1. i 1. log PL (1 ,  2 ,  3 )  2 log f XY ( x i , y i )   log f X ( x i )  log f Y ( y i ) i 1. 學. ‧ 國. 立. 由 X 、 Y 的聯合機率函數與邊際機率函數可知： n. y. Nat. i 1 n. ‧.  log f XY (x i , y i )  n00 log(1 )  n01 log( 2 )  n10 log( 3 )  n11 log(1  1   2   3 ). er. io. i 1 n. sit.  log f X (x i )  (n00  n01) log(1   2 )  (n10  n11) log(1  1   2 ). n.    )  (n  n ) log(1  1v  3 )  log f Y ( y i )  (n00  n10 )alog( i l 1 3 01 11 i 1. Ch. n U engchi. (5.2). 令  4  1  1   2   3 ，故(5.2)可以改寫成： n.  log f XY (x i , yi )  n00 log(1 )  n01 log( 2 )  n10 log( 3 )  n11 log( 4 ) i 1 n.  log f X (x i )  (n00  n01) log(1   2 )  (n10  n11) log( 3   4 ) i 1 n.  log f Y ( yi )  (n00  n10 ) log(1   3 )  (n01  n11) log( 2   4 ) i 1. 28. (5.3).

(38) 利用 Lagrange 乘數法將 log PL(1 , 2 , 3 , 4 ) +  (1   2   3   4  1) 分別對 1、 2 、.  3 、  4 、  微分，並令微分後的式子為 0，可得到以下等式：  2n00 n00  n01 n00  n10             1 2 1 3  1 2 n n n n n    01  00 01  01 11    2 1   2 2  4   2n10  n10  n11  n00  n10    3 3   4 1   3   2n11  n10  n11  n01  n11    4 3   4 2  4  1   2   3   4  1. 立. (5 . 4 ) (5.5) (5 . 6 ) (5 . 7 ). 政治大. 由(5.4)  (5.7)，(5.4)  (5.5)  (5.6)  (5.7)，(5.4)  (5.5)以及(5.4)  (5.6)可以得到：. n10 4  n11 3 0 3   4. n. Ch. engchi. (5.10). er. io. al. (5.9). sit. Nat. 1 2 n00 2  n011 n00 3  n101 n10 4  n11 2   0 1 2 1 (1   3 )  2 ( 2   4 ) n00 2  n011 n00 3  n101 n10 4  n11 3   0 1 (1   2 ) 1   3  3 ( 3   4 ). y. ‧ 國. . i n U. (5.8). ‧. n00 2  n011. 學. n00 2  n011 n00 3  n101 n10 4  n11 3 n10 4  n11 2    0 1 (1   2 ) 1 (1   3 )  4 ( 3   4 )  4 ( 2   4 ). (5.11). v. 令 p  n00 2  n011，q  n00 3  n101，r  n10 4  n11 3，s  n10 4  n11 2，則(5.8)、 (5.9)、(5.10)、(5.11)可以改寫成以下形式：. Ab  . 29.

(39) 其中. 1   (   )  1 1 2 1   1 2 A 1   1 2  1  (   )  1 1 2. 1 1 (1   3 ) 0. 1  4 ( 3   4 ) 1 .  3 4. 1 1 (1   3 ) 1. 1 3. 0 1  3 ( 3   4 ). 1   4 ( 2   4 )    p 0   0 q  0        , b   r  , Ο  0  。 1        2 ( 2   4 )  s 0   0  . 因為 A 的行列式值. 1 2 (3   4 )  3 4 (1   2 ) 0 12 2 232 4 2 (1   2 )(3   4 )(1  3 )( 2   4 ). 立. 因此可以解出：. io. n00 2  n011  0. n. al. n00 3  n101  0. Ch. engchi. n10 4  n11 3  0. n01 4  n11 2  0 由上述等式可以得到：. 1 n00. 1 n00. 3 n10.   . 30. 2 n01. 3 n10. 4 n11. sit. y. ‧. ‧ 國. 學.  p  0   q  0  b    r  0       s  0 . Nat. 故可以得到：. 政治大. er. det(A) . i n U. v.

(40) 2. . n01. 4 n11. 故. n00. 1. . n01. 2. . n10. 3. . n11. 4. . n00  n01  n10  n11 n  1   2   3   4 1. (5.12). 由(5.12)我們可以得到 1 、  2 、  3 的 MPLE： n n n ~ ~ ~ (1 ,  2 ,  3 )  ( 00 , 01 , 10 ) n n n. 立. 政治大. 結論：因此在二維列聯表模型下，方格內參數分別為 1 、  2 、  3 時， 1 、  2 、. ‧ 國. 學.  3 的 MLE 與 MPLE 是相同的。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 31. i n U. v.

(41) 5.2 方格內參數分別為 1 、  2 、  2. 當方格內參數分別為 1 、  2 、  2 時，整理成表 5-3 的列聯表型式如下：表 5-3：參數為 1 、  2 、  2 的列聯表模型 Y 0. 1. n00. n01. 1. 2. X. 0. 10. 11. 學. 1  1  2 2. 2. ‧. ‧ 國. 立1. 政n 治大 n. 以下進行 MLE 的推導：. sit. y. Nat. 首先， X 、 Y 的聯合機率函數為：. n. al. er. io. f XY (x, y)  1(1 x )(1 y) 2 (1 x ) y 2 x (1 y) (1  1  2 2 ) xy. i n U. (x, y)  (0, 0), (0, 1), (1, 0), (1, 1) ，. Ch. engchi. v. 0  1  1， 0   2  1 ， 0  1  2 2  1. 故概似函數為： n. L(1 ,  2 )   f XY ( x i , y i )  1n00 2 n01 2 n10 (1  1  2 2 ) n11 i 1. 將 L(1 ,  2 ) 取 log 並分別對 1 、  2 微分，並令微分後的式子為 0，可得到以下等式：. 32.

(42) n11  n00    1    2  0  n 1  n 1 22n 11  01 10  0   2 1  1  2 2. 由上述等式我們可以得到：. n00. 1. . n01  n10 n11 n00  n01  n10  n11 n    3  1 2 2  3 2 2 1. (5.13). 其中  3  1  1  2 2. 政治大 n n n. 由(5.13)我們可以得到 1 、  2 的 MLE：. 立(ˆ , ˆ )  ( n , 1. 2. 00. 01. 10. 2n. ). ‧ 國. 學. 以下來我們進行 MPLE 的推導：. ‧. 首先，由 X 、 Y 的聯合機率函數我們可以求出 X 、 Y 的邊際機率函數，分別為. y. Nat. sit. f X ( x )  (1   2 )1 x (1  1   2 ) x , x  0, 1. n. al. er. io. f Y ( y)  (1   2 )1 y (1  1   2 ) y , y  0, 1. Ch. engchi. i n U. v. 仿照 5.1 節推導 MPLE 的過程，在找到擬概似函數後，令  3  1  1  2 2 ，利用 Lagrange 乘數法，將 log PL(1 , 2 , 3 ) +  (1  2 2   3  1) 分別對 1 、 2 、 3 、  微分，並令微分後的式子為 0，可得到以下等式：.  2n00 n00  n01 n00  n10             1 2 1 2  1  2(n01  n10 )  n00  n01  n10  n11  n00  n10  n01  n11  2  2 1   2  2  3 1   2  2  3   2n11 n10  n11 n01  n11       2  3  2  3  3 1  2 2   3  1 33. (5.14) (5.15) (5.16).

(43) 由 2  (5.14)  (5.15)，2  (5.16)  (5.15)以及(5.14)  (5.16)可以得到：. (1  2 2 )[2n00 2  (n011  n101 )] 2n11 2  (n013  n103 )  0 1 2 (1   2 )  2 ( 2  3 ) 2n00 2  (n011  n101 ) (2 2   3 )[2n11 2  (n01 3  n10 3 )]  0  2 (1   2 )  2 3 ( 2   3 ) . 2n00 2  (n011  n101 ) 2n11 2  (n01 3  n10 3 ) 2 2 (1   2   3 )   0 1 3 (1   2 )( 2   3 ) (1   2 )( 2   3 ) (1   2 )( 2   3 ). 接著利用 5.1 節同樣的做法，我們可以得到 1 、  2 的 MPLE 如下： n n n ~ ~ (1 ,  2 )  ( 00 , 01 10 ) n 2n. 政治大結論：因此在二維列聯表模型下，方格內參數分別為  、  、  時，  、  的立 1. ‧. ‧ 國. 學. MLE 與 MPLE 是相同的。. 2. n. er. io. sit. y. Nat. al. Ch. engchi. 34. i n U. v. 2. 1. 2.

(44) 5.3 方格內參數分別為 1 、 2 2 、  2. 當方格內參數分別為 1 、 2 2 、  2 時，整理成表 5-4 的列聯表型式如下：表 5-4：參數為 1 、 2 2 、  2 的列聯表模型 Y 0. 1. n00. n01. 1. 2 2. X. 0. 10. 11. 學. 1  1  3 2. 2. ‧. ‧ 國. 立1. 政n 治大 n. 以下進行 MLE 的推導：. sit. y. Nat. 首先， X 、 Y 的聯合機率函數為：. n. al. er. io. f XY (x, y)  1(1 x )(1 y) (2 2 ) (1 x ) y  2 x (1 y) (1  1  3 2 ) xy. i n U. (x, y)  (0, 0), (0, 1), (1, 0), (1, 1) ，. Ch. engchi. v. 0  1  1， 0   2  1 ， 0  1  3 2  1. 故概似函數為： n. L(1 ,  2 )   f XY ( x i , y i )  1n00 (2 2 ) n01 2 n10 (1  1  3 2 ) n11 i 1. 將 L(1 ,  2 ) 取 log 並分別對 1 、  2 微分，並令微分後的式子為 0，可得到以下等式：. 35.

(45) n11  n00    1    3  0  n 1  n 1 32n 11  01 10  0   2 1  1  3 2. 由上述等式我們可以得到：. n00. 1. . n01  n10 n11 n00  n01  n10  n11 n    3 1  3 2   3 3 2 1. (5.17). 其中  3  1  1  3 2. 政治大 n n n. 由(5.17)我們可以得到 1 、  2 的 MLE：. 立 (ˆ , ˆ )  ( n , 1. 00. 2. 01. 3n. 10. (5.18). ). ‧ 國. 學. 以下來我們進行 MPLE 的推導：. ‧. 首先，由 X 、 Y 的聯合機率函數我們可以求出 X 、 Y 的邊際機率函數，分別為. y. Nat. sit. f X ( x )  (1  2 2 )1 x (1  1  2 2 ) x , x  0, 1. n. al. er. io. f Y ( y)  (1   2 )1 y (1  1   2 ) y , y  0, 1. Ch. engchi. i n U. v. 因為 5.1 節推導 MPLE 的方法無法適用於本節中，故找到擬概似函數後，分別對. 1 、  2 微分，並令微分後的式子為 0，可得到以下等式：. n n n n n n n n 2n11  2n00   00 01  10 11  00 10  01 11  0   1 1    3 2 1  2 2 1  1  2 2 1   2 1  1   2  2(n  n )1 2(n00  n01) 2(n10  n11) n00  n10 n01  n11 6n11  01 10      0  1  1  3 2 1  1  2 2 2 1  2 2 1   2 1  1   2 . 上述兩式我們分別記為(5.19)與(5.20)。. 36.

(46) 因為上述等式不易求解，故於下一章中，利用模擬觀察值的方式對 MLE 與 MPLE 進行比較。. 郭名展(2014)提到當 n00 : n01 : n10   : 2 : 3 時，MPLE 之解即為 MLE。而在本節例子也有相同的情形，當 n00 : n01 : n10  1 : 2 2 :  2 時，可以發現上述等式之解即為 MLE。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 37. i n U. v.

(47) 6. 針對 2 2 列聯表中參數為 θ1、2θ2、θ2 時 MLE 與 MPLE 之模擬分析與比較. 本章針對 2 2 列聯表內參數分別為 1 、 2 2 、  2 的情形，利用 Matlab 程式設計出一套程式，命名為 MPLEmethod.m。我們可以透過此程式模擬觀察值，並計算出參數的 MLE 與 MPLE 以及對應的均方差(MSE)。最後對所獲得的計算結果進行分析比較。. 政治大 6.1 MLE 與 MPLE 在模擬數據上之計算立. ‧ 國. 學. 2(n01  n10 ). . 4n00. . 2(n01  n10 ). . 2. n n n n 2n11  00 10  01 11  0 1   2 1  1   2 1  1  3 2. io. sit. 1. 2. 故上述兩式的解仍然是 (1 ,  2 ) 的 MPLE。. n. al. Ch. engchi. (5.21) (5.22). er. 1. n n n n 4n11  00 01  10 11  0 1  1  3 2 1  2 2 1  1  2 2. ‧. . Nat. 2n00. y. 為了簡化 MPLEmethod.m 的計算， 5.3 節中的(5.19)與(5.20)可改寫如下：. i n U. v. MPLEmethod.m 分為兩個部分，介紹如下：. 第一部分：在給定 n 值時，利用(5.21) 、(5.22)兩式計算出 n00 、 n01 、 n10 、. n11 所有可能組合下 (1 ,  2 ) 的 MPLE，再將所有的 MPLE 儲存，供第二部分程式讀取使用以減少大量運算時間。. 第二部分：在給定 (1 ,  2 ) 後，模擬出 n00 、 n01 、 n10 、 n11 四個觀察值，並將觀察值代入(5.18)以得到 (1 ,  2 ) 之 MLE，另外，根據所獲得的觀察值 n00、n01 、. 38.

(48) n10 、 n11，讀取儲存在第一部分裡的 MPLE。重覆此過程 m 次，最後再分別計算出 m 筆 MLE 與 MPLE 各分量的偏誤、變異數和均方差。. 模擬的方式如下：選定 n  100 ， m  3000000 。令 1  0.1 , 0.2 , …, 0.9 ， 2  0.01 , 0.02 , ， 2 的選取範圍要符合 1  3 2  1 。對每一組 (1 ,  2 ) ，由 MPLEmethod.m 可以得到. 3000000 筆的 MLE 與 MPLE 以及對應的偏誤、變異數和均方差。詳細程式碼可參考附錄 1。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 39. i n U. v.

(49) 6.2 MLE 與 MPLE 之比較. 本節利用 6.1 節所獲得的計算結果，進行 (1 ,  2 ) 的 MLE 和 MPLE 之分析與. ~ ~ 比較。其內容為：觀察 MSE((ˆ1 , ˆ2 )) 與 MSE((1 ,  2 )) 如何受 (1 ,  2 ) 位置的影響，並且比較 MLE 與 MPLE 的異同。. ~ ~ 【定義 6.1】 (1 ,  2 ) 的 MLE (ˆ1 , ˆ2 ) 與 MPLE (1 ,  2 ) 之均方差，定義如下：. 政治大 ~ ~ ~. MSE((ˆ1 , ˆ2 ))  MSE(ˆ1 )  MSE(ˆ2 ). 立. ~ MSE((1 ,  2 ))  MSE(1 )  MSE( 2 ). ‧ 國. 學 ‧. ~ ~ 首先，觀察 MSE((ˆ1 , ˆ2 )) 與 MSE((1 ,  2 )) 如何受 (1 ,  2 ) 位置的影響。選定. y. Nat. 1 ( 0.1, 0.2, 0.3, 0.4) ，以由小變大的方式選取  2 (從 0.01 開始，以 0.01 為間距，. al. er. io. sit. ~ ~ 取值到受 1  3 2  1 限制之上限)，去觀察 MSE((ˆ1 , ˆ2 )) 與 MSE((1 ,  2 )) 的變化. v. n. ~ ~ 情形，可以發現不管是 MSE((ˆ1 , ˆ2 )) 或 MSE((1 ,  2 )) ，其變化趨勢皆是先變大. Ch. engchi. i n U. 再變小，並在  2  0.16 的附近會有極大值。但 1  0.5, 0.6, , 0.9 時，. ~ ~ MSE((ˆ1 , ˆ2 )) 與 MSE((1 ,  2 )) 之趨勢僅隨  2 的變大而變大。僅將部分數據內容以附表 2.1 至附表 2.18 呈現。. 上述所觀察到的現象，我們僅以 MLE 解釋如下：由附表 2.1 至附表 2.9 的數據顯示： MSE((ˆ1 , ˆ2 )) 之變化主要受 MSE(ˆ2 ) 影響，而附表 2.19 至附表 2.27 的數據又顯示： MSE(ˆ2 ) 主要受 Var (ˆ2 ) 影響，因此我們對 Var (ˆ2 ) 作進一步的探討。 40.

(50) 由(5.18)可以得到  2 的 MLE 為：. ˆ2 . n01  n10 3n. 故 n n Var (ˆ2 )  Var ( 01 10 ) 3n 1  2 [Var (n01)  Var (n10 )  2Cov(n01, n10 )] 9n 1  2 [n  2 2 (1  2 2 )  n   2 (1   2 )  2n  2 2   2 ] 9n 1  2 [9n 2 2  3n 2 ] 9n 1 1 1   [( 2  ) 2  ] 6 36 n. 由上式可以看出當  2 . 學. ‧ 國. 立. 政治大. 1 時，Var (ˆ 2 ) 會有極大值發生，故能解釋為何  2 取 6. ‧. 值在 0.16 附近時， MSE((ˆ1 , ˆ2 )) 皆比較大。而當 1  0.5, 0.6, , 0.9 時，  2 的選. y. Nat. er. io. sit. 取受到 1  3 2  1 的限制，最大只能選取到 0.16，故 MSE((ˆ1 , ˆ2 )) 的變化只有遞. ~ ~ ~ 增情形。在 MPLE 的部分， MSE((1 ,  2 )) 之變化主要也受 MSE( 2 ) 影響，而. n. al. Ch. engchi. i n U. v. ~ ~ ~ ~ MSE( 2 ) 主要也受 Var ( 2 ) 影響，但 (1 ,  2 ) 無法以公式表示，以致無法用上面的 ~ 方式對 Var ( 2 ) 作進一步的探討。. ~ ~ 取   0.05 ，分別建立 (ˆ1 , ˆ2 ) 和 (1 ,  2 ) 的信賴區間，發現彼此並無交集，故可以知道 MLE 與 MPLE 之間是存在差異的，接著分別計算 MLE、MPLE 與真正值的相對誤差後，發現誤差值皆很小，再由附表 2.37 至附表 2.45 可以觀察出：. ~ ~ ~ ~ MLE (ˆ1 , ˆ2 ) 和 MPLE (1 ,  2 ) 與真正參數值皆很接近，故 MSE((1 ,  2 )) 與 MSE((ˆ1 , ˆ2 )) 有相同表現是合理的。 41.

(51) 7. 結論. 當求最大概似估計有困難時，使用最大擬概似估計是一種替代的方案，我們對二元指數族中的一些常見例子，探討其參數之最大概似估計與最大擬概似估計間的異同。在卜瓦松-二項分配、三項分配與二元常態分配的情況下，推導參數的 MLE 與 MPLE，發現它們皆是相同的。一般來說，MPLE 的推導較 MLE 來得困難許多。對一般的二元指數族，我們也推導出參數的擬概似方程式。. 政治大與 MPLE，當中兩種情況(5.1 立節與 5.2 節)的 MLE 與 MPLE 是相同的，而第三種至於 2 2 列聯表的部分，我們考慮三種情況，在各種情況下分別去推導 MLE. ‧ 國. 學. 情況(亦即方格內參數分別為 1 、 2 2 、  2 ，見 5.3 節)下，因為擬概似方程式較為複雜，無法以公式呈現出 MPLE (除非樣本觀察值與對應方格內參數成比例)，. ‧. 故針對此第三種情況，設計程式以模擬觀察值的方式求出 (1 ,  2 ) 的 MLE. n. al. Ch. 1  1 ) 由小變大的情形下，觀察發現 3. er. io. 在 0.1 至 0.4)，  2 在允許範圍內 (0   2 . sit. y. Nat. ~ ~ (ˆ1 , ˆ2 ) 與 MPLE (1 ,  2 ) ，並分別計算出 MLE 與 MPLE 的 MSE。當固定 1 ( 1. i n U. v. ~ ~ ~ ~ (ˆ1 , ˆ2 ) 的均方差 MSE((ˆ1 , ˆ2 )) 與 (1 ,  2 ) 的均方差 MSE((1 ,  2 )) 皆會先變大再. engchi. ~ ~ 變小，且在  2  0.16 附近時，MSE((ˆ1 , ˆ2 )) 與 MSE((1 ,  2 )) 同時有極大值發生。而固定 1 ( 1 在 0.5 至 0.9)，  2 在允許範圍內 (0   2 . 1  1 ) 由小變大的情形下， 3. ~ ~ ~ ~ 觀察發現 (ˆ1 , ˆ2 ) 的均方差 MSE((ˆ1 , ˆ2 )) 與 (1 ,  2 ) 的均方差 MSE((1 ,  2 )) 皆慢. ~ ~ ~ ~ 慢變大。雖然無法求出 (1 ,  2 ) 的公式解，以致於無法直接解釋上述 MSE((1 ,  2 )) 的變化行為，然而透過分析 ˆ2 的變異數，我們可以解釋上述 MSE((ˆ1 , ˆ2 )) 的變. ~ ~ 化行為。透過分別建立 (ˆ1 , ˆ2 ) 和 (1 ,  2 ) 的信賴區間，我們進一步發現兩者並無 42.

(52) 交集，故 MLE 與 MPLE 之間存在差異，但 MLE、MPLE 與真正參數值的相對誤. ~ ~ 差皆很小，進一步顯示這兩者與真正參數值皆很接近，故前述 MSE((1 ,  2 )) 與 MSE((ˆ1 , ˆ2 )) 有相同變化行為是合理的。根據本研究之理論推導與模擬分析，以 MPLE 來取代 MLE 是合理可行的。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 43. i n U. v.

(53) 參考文獻. Arnold, B. C. and Press, S. J. (1989). “Compatible Conditional Distributions.” Journal of the American Statistical Association 84(405): 152-156.. Arnold, B. C. and Strauss, D. (1991). “Pseudolikelihood Estimation: Some Examples.” Journal of the Indian Journal of Statistics 53(2): 233-243.. 政治大. Bickel, P. J. and Doksum, K. A. (1977). “Mathematical Statistics：basic ideas and. 立. selected topics.” San Francisco: Holden-Day.. ‧ 國. 學. Strauss, D. and Ikeda. M. (1990). “Pseudolikelihood Estimation for Social Networks.”. ‧. Journal of the American Association 85(409):204-212.. sit. y. Nat. al. n. 學系碩士論文。. er. io. 郭名展(2014)， 2 2 列聯表模型下 MLE 與 MPLE 之比較，國立政治大學應用數. Ch. engchi. 44. i n U. v.

(54) 附錄附表. 附錄 1 MPLEmethod.m 程式碼第一部分： clc clear all syms x y W=eval(['load(''D:\asd100.mat'')']); data = W.data; clear W aaa=0; for b1=88:97. 學. ‧ 國. 立. 政治大. ‧. b1 for b2=1:(98-b1). n. al. er. io. sit. y. Nat. disp(b2) for b3=1:(99-b1-b2) b4=100-b1-b2-b3; eq1=4*b2*x^3 - 2*b2*x^2 - 2*b3*x^2 - 2*b2*x^4 + 4*b3*x^3 2*b3*x^4 + 4*b1*y^2 - 20*b1*y^3 + 24*b1*y^4 - 23*b1*x*y^2 - 6*b1*x^2*y + 38*b1*x*y^3 + 3*b1*x^3*y + 15*b2*x*y^2 + 16*b2*x^2*y - 18*b2*x*y^3 13*b2*x^3*y + 18*b3*x*y^2 + 17*b3*x^2*y - 18*b3*x*y^3 - 13*b3*x^3*y + 6*b4*x*y^2 + 3*b4*x^2*y - 10*b4*x*y^3 - 3*b4*x^3*y + 19*b1*x^2*y^2 27*b2*x^2*y^2 - 27*b3*x^2*y^2 - 11*b4*x^2*y^2 + 3*b1*x*y - 3*b2*x*y 4*b3*x*y; eq2=4*b2*x^3 - 2*b2*x^2 - 2*b3*x^2 - 2*b2*x^4 + 4*b3*x^3 2*b3*x^4 + 4*b1*y^2 - 16*b1*y^3 + 12*b1*y^4 - 20*b1*x*y^2 - 6*b1*x^2*y + 25*b1*x*y^3 + 3*b1*x^3*y + 9*b2*x*y^2 + 13*b2*x^2*y - 9*b2*x*y^3 11*b2*x^3*y + 12*b3*x*y^2 + 14*b3*x^2*y - 9*b3*x*y^3 - 11*b3*x^3*y + 3*b4*x*y^2 + 3*b4*x^2*y - 5*b4*x*y^3 - 3*b4*x^3*y + 16*b1*x^2*y^2 18*b2*x^2*y^2 - 18*b3*x^2*y^2 - 8*b4*x^2*y^2 + 3*b1*x*y - 2*b2*x*y -. Ch. engchi. 3*b3*x*y; [xi,yi]=solve(eq1,eq2); U=eval([xi,yi]); -1-. i n U. v.

(55) for m=1:size(U,1) if U(m,1)>0 && U(m,2)>0 && (U(m,1)+3*U(m,2))<1 aaa=m; end end data(b1,b2,b3,:)=U(aaa,:); end end eval(['save(''D:\asd100.mat'',''data'')']); end eval(['save(''D:\asd100.mat'',''data'')']);. 第二部分：. 立. io. sit. y. Nat. format long syms x y. al. er. tic;. ‧. ‧ 國. 學. clc clear all. 政治大. n. WW=eval(['load(''D:\asd100.mat'')']);. Ch. engchi. totali = 3000000; totalj = 1; *(totalj的選擇要使s+0.03totalj<1) totalb = 100; s=0.2;. *(s的選擇為0.1~0.9). bi=zeros(totali,4); H=zeros(totali,2); for j=1:totalj tj=0.01*j; j -2-. i n U. v.

(56) for i=1:totali disp(i) bi(i,:)=histc(randsample(1:4,totalb,'true',[s,2*tj,tj,1-s-3*tj]),1:4); while bi(i,1)*bi(i,2)*bi(i,3)*bi(i,4)==0 bi(i,:)=histc(randsample(1:4,totalb,'true',[s,2*tj,tj,1-s-3*tj]),1:4); end end b1=bi(:,1); b2=bi(:,2); b3=bi(:,3); b4=bi(:,4);. 立. 政治大. ‧. ‧ 國. 學. for i=1:totali disp(i) H(i,:)=WW.data(b1(i),b2(i),b3(i),:); end. LH=[bi(:,1)/totalb,(bi(:,2)+bi(:,3))/(3*totalb)];. n. al. er. io. sit. y. Nat. Mj=mean(H); Vj=var(H); LMj=mean(LH); LVj=var(LH);. Ch. engchi. Pmean(j,:)=[Mj]; Pvar(j,:)=[Vj]; Lmean(j,:)=[LMj]; Lvar(j,:)=[LVj]; PR=(H(:,1)-s)'*(H(:,1)-s)/totali; PSj=(H(:,2)-tj)'*(H(:,2)-tj)/totali; LR=(LH(:,1)-s)'*(LH(:,1)-s)/totali; LSj=(LH(:,2)-tj)'*(LH(:,2)-tj)/totali; PRSj=PR+PSj; Pmse(j,:)=[PR PSj]; -3-. i n U. v.

(57) Pmsesum(j,:)=[PRSj]; LRSj=LR+LSj; Lmse(j,:)=[LR LSj]; Lmsesum(j,:)=[LRSj]; kj(j,:)=[tj]; end. ‧ 國. ‧. io. sit. y. Nat. n. al. er. toc. 立. 政治大. 學. Pmean Pvar Lmean Lvar Pmse Pmsesum Lmse Lmsesum. Ch. engchi. -4-. i n U. v.

(58) 附表 2 MPLEmethod.m 各項計算數據. 附表 2.1： 1  0.1 ，  2 取不同值時 MLE 之均方差. 1. 2. MSE(ˆ1 ) (10 4 ). MSE(ˆ2 ) (105 ). MSE((ˆ1 ,ˆ2 )) (10 4 ). 0.1. 0.01. 8.91509566667924. 3.2558344444480. 9.24067911112. 0.1. 0.06. 9.00009000001279. 16.3620288888839. 10.63629288890. 0.1. 0.11. 8.99208066667941. 24.5553148148148. 0.1. 0.16. 8.99031300001273. 治政27.7455611111101 大. 11.44761214816. 0.1. 0.21. 8.99888100001281. 25.8995488888884. 11.58883588890. 0.1. 0.26. 9.00231400001278. 19.0773988888872. 0.1. 0.29. 8.98934800001273. 12.2856011111024. 學. 10.91005388890 10.21790811112. ‧. ‧ 國. 立. 11.76486911112. n. al. er. io. sit. y. Nat. 註： MSE((ˆ1 ,ˆ2 ))  MSE(ˆ1 )  MSE(ˆ2 ). v. 附表 2.2： 1  0.2 ，  2 取不同值時 MLE 之均方差. Ch. i n U. 1. 2. MSE(ˆ1 ) (10 ). e nMSE g c(ˆh2 ) i(105 ). 0.2. 0.01. 1.586237800001. 3.2583785185000. 1.618821585186. 0.2. 0.05. 1.598698833335. 14.0496837037000. 1.739195670372. 0.2. 0.09. 1.598720333335. 21.9115559259000. 1.817835892594. 0.2. 0.13. 1.599289933335. 26.4682655556000. 1.863972588890. 0.2. 0.16. 1.600043500001. 27.7181966667000. 1.877225466668. 0.2. 0.21. 1.599773733335. 25.9016225926000. 1.858789959260. 0.2. 0.26. 1.594331133335. 18.8006111111000. 1.782337244446. 3. -5-. MSE((ˆ1 ,ˆ2 )) (103 ).

(59) 附表 2.3： 1  0.3 ，  2 取不同值時 MLE 之均方差. 1. 2. MSE(ˆ1 ) (103 ). MSE(ˆ2 ) (105 ). MSE((ˆ1 ,ˆ2 )) (103 ). 0.3. 0.01. 2.081933166667. 3.2599655556000. 2.114532822223. 0.3. 0.05. 2.096991000001. 14.0360807407000. 2.237351807408. 0.3. 0.09. 2.102963933334. 21.8991411111000. 2.321955344445. 0.3. 0.13. 2.097753200001. 26.3922618519000. 2.361675818519. 0.3. 0.16. 2.100266566667. 27.7438318519000. 2.377704885186. 0.3. 0.19. 2.098436733334. 27.2097325926000. 2.370534059260. 0.3. 0.23. 2.088468266667. 治政23.6335748148000 大. 2.324804014815. 立. ‧ 國. 學. 附表 2.4： 1  0.4 ，  2 取不同值時 MLE 之均方差. 0.4. 0.01. 2.382212500000. 0.4. 0.04. 2.396330433334. 0.4. 0.07. 2.398909100000. 0.4. 0.10. 2.397380866667. 0.4. 0.13. 0.4 0.4. MSE((ˆ1 ,ˆ2 )) (103 ). MSE(ˆ2 ) (105 ). y. Nat. 2. ‧. MSE(ˆ1 ) (103 ). 1. n. Ch. sit. 2.414810962963. er. io. al. 3.2598462963000 11.5098003704000. i n U. 18.3925733333000. engchi. v. 2.511428437037 2.582834833334. 23.3372192593000. 2.630753059260. 2.399225133334. 26.4371125926000. 2.663596259260. 0.16. 2.400891633334. 27.7388466667000. 2.678280100000. 0.19. 2.391032966667. 27.0819600000000. 2.661852566667. -6-.

(60) 附表 2.5： 1  0.5 ，  2 取不同值時 MLE 之均方差. 1. 2. MSE(ˆ1 ) (103 ). MSE(ˆ2 ) (105 ). MSE((ˆ1 ,ˆ2 )) (103 ). 0.5. 0.01. 2.479935200000. 3.2582851852000. 2.512518051852. 0.5. 0.03. 2.484678700000. 8.7196244444000. 2.571874944445. 0.5. 0.06. 2.497233900000. 16.3535259259000. 2.660769159260. 0.5. 0.08. 2.497331600000. 20.2500985185000. 2.699832585186. 0.5. 0.11. 2.502226433334. 24.5938566667000. 2.748165000000. 0.5. 0.13. 2.501112833334. 26.4621392593000. 2.765734225926. 0.5. 0.16. 2.486750366667. 治政27.5900051852000 大. 2.762650418519. 立. ‧ 國. 學. 附表 2.6： 1  0.6 ，  2 取不同值時 MLE 之均方差. 0.6. 0.01. 2.373588100000. 0.6. 0.03. 2.388877266667. 0.6. 0.05. 2.397494800000. 0.6. 0.07. 2.399894333334. 0.6. 0.09. 0.6 0.6. MSE((ˆ1 ,ˆ2 )) (103 ). MSE(ˆ2 ) (105 ). y. Nat. 2. ‧. MSE(ˆ1 ) (103 ). 1. n. Ch. 8.7357125926000. sit. 2.414407237037. er. io. al. 3.2541603704000. i n U. 14.0559107407000. engchi. v. 2.470379359260 2.538819707408. 18.4005266667000. 2.586072766667. 2.396979266667. 21.9147800000000. 2.617974033334. 0.11. 2.392567100000. 24.5705681481000. 2.642346681482. 0.13. 2.396979266667. 26.2743988889000. 2.648121388889. -7-.

(61) 附表 2.7： 1  0.7 ，  2 取不同值時 MLE 之均方差. 1. 2. MSE(ˆ1 ) (103 ). MSE(ˆ2 ) (105 ). MSE((ˆ1 ,ˆ2 )) (103 ). 0.7. 0.01. 2.085406900001. 3.2568777778000. 2.117975677778. 0.7. 0.02. 2.069186333334. 5.7494744444000. 2.126681077778. 0.7. 0.03. 2.078182200001. 8.7352518518000. 2.165534718519. 0.7. 0.05. 2.093025866667. 14.0386674074000. 2.233412540741. 0.7. 0.07. 2.099482866667. 18.3926407407000. 2.283409274075. 0.7. 0.08. 2.098890700001. 20.2951274074000. 2.301841974075. 0.7. 0.09. 2.080105833334. 治政21.8270548148000 大. 2.298376381482. 立. 0.8. 0.01. ‧ 國. 0.8. 0.02. 0.8. MSE((ˆ1 ,ˆ2 )) (103 ). MSE(ˆ2 ) (105 ). 1.590652200001. 3.2647429630000. 1.561348233335. 5.7581240741000. 0.03. 1.572956133335. 8.7295018518000. 0.8. 0.04. 1.580343166668. 11.5066311111000. 0.8. 0.05. 1.582002200001. e 14.0536592593000 ngchi. 1.722538792594. 0.8. 0.06. 1.569800100001. 16.2828640741000. 1.732628740742. n. Ch. 1.618929474075. sit. io. al. 1.623299629631. er. Nat. MSE(ˆ1 ) (103 ). y. 2. ‧. 1. 學. 附表 2.8： 1  0.8 ，  2 取不同值時 MLE 之均方差. i n U. v. 1.660251151853. 1.695409477779. 附表 2.9： 1  0.9 ，  2 取不同值時 MLE 之均方差. 1. 2. MSE(ˆ1 ) (10 4 ). MSE(ˆ2 ) (105 ). MSE((ˆ1 ,ˆ2 )) (10 4 ). 0.9. 0.01. 8.13348400001302. 3.2607662962998. 8.45956062964301. 0.9. 0.02. 8.41088833334493. 5.7344640740702. 8.98433474075195. 0.9. 0.03. 8.76780033334594. 8.6455251851729. 9.63235285186323. -8-.

(62) 附表 2.10： 1  0.1 ，  2 取不同值時 MPLE 之均方差. 1. 2. ~ MSE(1 ) (10 4 ). ~ MSE( 2 ) (105 ). ~ ~ MSE((1 , 2 )) (10 4 ). 0.1. 0.01. 8.95428535562282. 3.2698567867714. 9.28127103430. 0.1. 0.06. 9.05898285030772. 16.3928529631726. 10.69826814662. 0.1. 0.11. 9.04810721930568. 24.6979456359901. 11.51790178290. 0.1. 0.16. 9.04257228694369. 28.0220296909965. 11.84477525604. 0.1. 0.21. 9.05082776934705. 26.2642497687732. 11.67725274622. 0.1. 0.26. 9.06059780949660. 19.3610865283204. 10.99670646233. 0.1. 0.29. 9.05826875804457. 治政12.4326245925811 大. 10.30153121730. 立. ~ ~ ~ ~ 註： MSE((1 , 2 ))  MSE(1 )  MSE( 2 ). ‧ 國. 學. 2. ~ MSE(1 ) (103 ). ~ MSE( 2 ) (105 ). y. 0.2. 0.01. 1.593914754859. 3.2735502751000. 0.2. 0.05. 1.604012985802. 14.0716841437000. 0.2. 0.09. 1.605115236086. e 22.0275116001000 ngchi. 1.825390352087. 0.2. 0.13. 1.606027387027. 26.7103562850000. 1.873130949877. 0.2. 0.16. 1.607160136460. 28.0497953210000. 1.887658089670. 0.2. 0.21. 1.608501005427. 26.2942958311000. 1.871443963738. 0.2. 0.26. 1.608089241521. 19.0252701015000. 1.798341942536. io. n. al. Ch. ~ ~ MSE((1 , 2 )) (103 ). er. Nat. 1. sit. ‧. 附表 2.11： 1  0.2 ，  2 取不同值時 MPLE 之均方差. i n U. -9-. v. 1.626650257610 1.744729827239.

(63) 附表 2.12： 1  0.3 ，  2 取不同值時 MPLE 之均方差. 1. 2. ~ MSE(1 ) (103 ). ~ MSE( 2 ) (105 ). ~ ~ MSE((1 , 2 )) (103 ). 0.3. 0.01. 2.091197095263. 3.2755493052000. 2.123952588315. 0.3. 0.05. 2.100432315331. 14.0602388128000. 2.241034703459. 0.3. 0.09. 2.107119405646. 22.0221553939000. 2.327340959585. 0.3. 0.13. 2.103157324515. 26.6489032508000. 2.369646357023. 0.3. 0.16. 2.106998815359. 28.0776615697000. 2.387775431056. 0.3. 0.19. 2.107993041585. 27.5759060722000. 2.383752102307. 0.3. 0.23. 2.105971507738. 治政23.8854041708000 大. 2.344825549446. 立. ‧ 國. 學. 附表 2.13： 1  0.4 ，  2 取不同值時 MPLE 之均方差. 0.4. 0.01. 2.391757684694. 0.4. 0.04. 2.398250499374. 0.4. 0.07. 2.400622062333. 0.4. 0.10. 2.399602587237. 0.4. 0.13. 0.4 0.4. ~ MSE( 2 ) (105 ). ~ ~ MSE((1 , 2 )) (103 ). y. Nat. 2. ‧. ~ MSE(1 ) (103 ). 1. n. Ch. sit. 2.424514039768. er. io. al. 3.2756355075000 11.5184721042000. i n U. 18.4612316592000. engchi. v. 2.513435220415 2.585234378924. 23.4927725617000. 2.634530312855. 2.402701965772. 26.6758878726000. 2.669460844497. 0.16. 2.407806409211. 28.0330507839000. 2.688136917051. 0.19. 2.404290104161. 27.3274530396000. 2.677564634557. - 10 -.

(64) 附表 2.14： 1  0.5 ，  2 取不同值時 MPLE 之均方差. 1. 2. ~ MSE(1 ) (103 ). ~ MSE( 2 ) (105 ). ~ ~ MSE((1 , 2 )) (103 ). 0.5. 0.01. 2.488809846473. 3.2739993201000. 2.521549839674. 0.5. 0.03. 2.487936024398. 8.7195521915000. 2.575131546313. 0.5. 0.06. 2.497994379904. 16.3991376647000. 2.661985756551. 0.5. 0.08. 2.498008637893. 20.3447613339000. 2.701456251232. 0.5. 0.11. 2.503608814592. 24.7622241090000. 2.751231055682. 0.5. 0.13. 2.504630011769. 26.6714287297000. 2.771344299066. 0.5. 0.16. 2.497287197533. 治政27.7773590862000 大. 2.775060788396. 立. ‧ 國. 學. 附表 2.15： 1  0.6 ，  2 取不同值時 MPLE 之均方差. 0.6. 0.01. 2.389200183742. 0.6. 0.03. 2.387738681477. 0.6. 0.05. 2.400149834727. 0.6. 0.07. 2.402773246402. 0.6. 0.09. 0.6 0.6. ~ MSE( 2 ) (105 ). ~ ~ MSE((1 , 2 )) (103 ). y. Nat. 2. ‧. ~ MSE(1 ) (103 ). 1. n. Ch. sit. 2.421899055053. er. io. al. 3.2698871311000 8.7354420546000. i n U. 14.0793519664000. engchi. v. 2.475093102024 2.540943354391. 18.4625804533000. 2.587399050935. 2.399233676317. 22.0138168882000. 2.619371845199. 0.11. 2.398377603488. 24.6951878532000. 2.645329482020. 0.13. 2.392464692399. 26.3968477121000. 2.656433169520. - 11 -.