複迴歸係數排列檢定方法探討 - 政大學術集成

全文

(1)國立政治大學統計學研究所碩士學位論文. 複迴歸係數排列檢定方法探討. 政治大 Methods for Testing 立 Significance of Partial Regression. ‧ 國. 學. Coefficients in Regression Model. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 指導教授：江振東博士研究生：闕靖元撰. 中華民國一百零六年六月.

(2) 謝辭論文口試結束後，也代表正式邁入畢業的最後一哩路。待了六年的政大，也即將與它說聲再見了。撰寫論文的過程，雖然充斥著艱辛與繁瑣，但看到最後的成果，那些付出也就成為無法取代的烙印，深深刻劃這段時光的回憶。首先，非常感謝我的指導教授江振東老師。還記得在大三那年，修習江老師的迴歸分析課程，開啟我對統計領域不一樣的看法。老師總是引導我們思考數學式子背後的涵義，而非囫圇吞棗地模糊接受。當初選擇繼續就讀統研所的其中一個原因，就是希望可以成為老師的指導學生，進一步與老師學習。很感. 政治大習，並且帶領我們往正確的方向前進。真的非常謝謝老師。立. 謝老師能以引導的方式，讓我們能在過程中不斷從錯誤中修正改進，從中學. ‧ 國. 學. 其次，感謝在碩班生涯中所認識的同學們。在課業上，我們總是互相扶持，並且總能從你們身上獲取新的想法，了解自己的不足之處；在玩樂上，總. ‧. 有你們能一同分享喜悅，抒解學業或是論文上的壓力。謝謝阿淵，總是留下來. sit. y. Nat. 跟著我們與老師一起討論並且給予建議；謝謝智哥，在各方面都能給予建議以. al. n. 會是永生難忘的經驗。. er. io. 及照顧；謝謝儀君以及詠琪，一同參加比賽獲獎的辛酸血淚崩潰史，我想應該. Ch. engchi. i n U. v. 再來，則要非常感謝一同奮鬥的夥伴，坤瑋。在碩班生涯中，我們一起做了好多事情。選擇指導教授、當統計學助教、參加比賽、玩樂等。如果我說我們建立了革命情感，應該也不為過吧！難以想像沒有你的碩班生涯會是怎樣的一段故事，能認識你真的是我的榮幸。最後，則要感謝我的家人們，支持我繼續修讀碩士，並且適時地給予鼓勵以及幫助。「相信自己，就一定能做得到。」這個座右銘，依舊不變。謝謝政大帶來的回憶以及豐富色彩，希望在未來，能繼續與你們聯繫、一起成長。闕靖元一百零六年六月謹於國立政治大學統計學研究所.

(3) 摘要在傳統的迴歸模型架構下，統計推論的進行需要假設誤差項之間相互獨立，且來自於常態分配。當理論模型假設條件無法達成的時候，排列檢定（permutation tests）這種無母數的統計方法通常會是可行的替代方法。在以往的文獻中，應用於複迴歸模型（multiple regression）之係數排列檢定方法主要以樞紐統計量（pivotal quantity）作為檢定統計量，進而探討不同排列檢定方式的差異。本文除了採用 t 統計量這一個樞紐統計量作為檢定統計量的排列檢定方式外，亦納入以非樞紐統計量的迴歸係數估計量𝑏2 所建構而成的排列檢定. 政治大機率以及檢定力（power），並觀察其可行性以及適用時機。模擬結果顯示，在解立. 方式，藉由蒙地卡羅模擬方法，比較以此兩類檢定方式之型一誤差（type I error）. ‧ 國. 學. 釋變數間不相關且誤差分配較不偏斜的情形下，Freedman and Lane (1983)、Levin and Robbins (1983)、Kennedy (1995)之排列方法在樣本數大時適用𝑏2 統計量，且. ‧. 其檢定力較使用𝑡2 統計量高，但差異程度不大；若解釋變數間呈現高度相關，則. sit. y. Nat. 不論誤差的偏斜狀態，Freedman and Lane (1983)、Kennedy (1995) 之排列方法於. al. er. io. 樣本數大時適用𝑏2 統計量，其檢定力結果也較使用𝑡2 統計量高，而且兩者的差異. v. n. 程度比起解釋變數間不相關時更加明顯。整體而言，使用𝑡2 統計量適用的場合較. Ch. engchi. i n U. 廣；相反的，使用𝑏2 的模擬結果則常需視樣本數大小以及解釋變數間相關性而定。. 關鍵字：排列檢定、複迴歸模型、樞紐統計量、蒙地卡羅模擬、型一誤差、檢定力.

(4) Abstract In traditional linear models, error term are usually assumed to be independently, identically, normally distributed with mean zero and a constant variance. When the assumptions cannot meet, permutation tests can be an alternative method. Several permutation tests have been proposed to test the significance of a partial regression coefficient in a multiple regression model. 𝑡 = 𝑏⁄𝑠𝑒(𝑏), an asymptotically pivotal quantity, is usually preferred and suggested as the test statistic. In this study, we take not only t statistics, but also the estimates of the partial regression coefficient. 政治大 committing a type I error and 立the power through the use of Monte Carlo simulation. as our test statistics. Their performance are compared in terms of the probability of. ‧ 國. 學. method. Situations where estimates of the partial regression coefficients may outperform t statistics are discussed.. ‧. Key words: Permutation test; Multiple regression model; Pivotal quantity; Monte. Nat. n. al. er. io. sit. y. Carlo simulation; Type I error; Power.. Ch. engchi. i n U. v.

(5) 目錄第一章緒論 ----------------------------------------------------------------------------------1 第一節. 研究背景與動機 -------------------------------------------------------------1. 第二節. 研究目的 ----------------------------------------------------------------------2. 第三節. 本文架構 ----------------------------------------------------------------------2. 第二章文獻探討 ----------------------------------------------------------------------------3 第一節. 簡單線性迴歸模型下係數排列檢定方法 -------------------------------3. 第二節. 複迴歸模型下係數排列檢定方法 ----------------------------------------4. 政治大迴歸係數估計值與𝑡值之對等（equivalent）關係 -------------------11 立. 第三章文獻相關議題探討 ---------------------------------------------------------------11 第一節. Kennedy(1995) 方法下，𝑡2 值自由度使用之探討 -------------------17. 第三節. Oja (1987)方法下設計變數值之探討 -----------------------------------21. ‧. ‧ 國. 學. 第二節. 第四章研究方法與設計 ------------------------------------------------------------------22 研究方法 ---------------------------------------------------------------------22. 第二節. 研究設計 ---------------------------------------------------------------------24. al. er. io. sit. y. Nat. 第一節. v. n. 第五章研究結果 ---------------------------------------------------------------------------27. Ch. engchi. i n U. 第一節. 型一誤差機率 ---------------------------------------------------------------27. 第二節. 檢定力 ------------------------------------------------------------------------33. 第三節小結 ---------------------------------------------------------------------------36 第六章結論與建議 ------------------------------------------------------------------------38 第一節. 結論 ---------------------------------------------------------------------------38. 第二節建議 ---------------------------------------------------------------------------39 參考文獻 ---------------------------------------------------------------------------------------40 附錄、 R 程式碼 -----------------------------------------------------------------------------42.

(6) 表目錄表 2.1 複迴歸係數排列分配估計式 -------------------------------------------------------9 表 2.2 複迴歸係數排列檢定方法比較表 ------------------------------------------------10 表 3.1 型一誤差機率及 Kolmogorov–Smirnov 檢定拒絕率 -------------------------20 表 3.2 設計變數值扣除平均與否之型一誤差機率平均值及標準差 ---------------21 表 4.1 文獻使用之模擬設定 ---------------------------------------------------------------26 表 4.2 本研究之參數設計 ------------------------------------------------------------------25 表 5.1 各排列檢定方法之型一誤差（解釋變數間相關係數為 0） --------------28. 政治大表 5.3 各排列檢定方法之檢定力立（解釋變數間相關係數為 0） -----------------34. 表 5.2 各排列檢定方法之型一誤差機率（解釋變數間相關係數為 0.8） ------31. ‧ 國. 學. 表 5.4 各排列檢定方法之檢定力（解釋變數間相關係數為 0.8） ---------------35 表 5.5 各排列方法適用時機 ---------------------------------------------------------------37. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(7) 圖目錄圖 3.1 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 10) ---------------18 圖 3.2 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 40) ---------------19 圖 3.3 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 70) ---------------19 圖 3.4 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 100) -------------19 圖 4.1 模擬流程圖 ---------------------------------------------------------------------------23 圖 5.1 各排列方法下，𝑡2 統計量之型一誤差機率圖 (相關係數為 0) -------------29 圖 5.2 各排列方法下，𝑏2 統計量之型一誤差機率圖 (相關係數為 0) -------------29. 政治大圖 5.4 各排列方法下，𝑏 立統計量之型一誤差機率圖 (相關係數為 0.8) -----------32 圖 5.3 各排列方法下，𝑡2 統計量之型一誤差機率圖 (相關係數為 0.8) -----------32 2. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v.

(8) 第一章. 第一節. 緒論. 研究背景與動機. 在傳統的迴歸模型架構下，統計推論的進行需要假設誤差項之間相互獨立，且來自於常態分配。若無法達成該假設，則藉由該模型所得出的推論可能會有問題。然而就實際的資料而言，該項假設的要求往往難以達成，尤其是當樣本數過少的時候。當理論模型假設條件無法達成的時候，排列檢定（permutation tests）這種無母數的統計方法通常會是可行的替代方法。. 政治大. 目前已有許多應用於複迴歸（multiple regression）模型之係數排列檢定方法. 立. 被提出，而 Anderson and Legendre (1999)、Anderson (2001)亦提供相當詳細的整. ‧ 國. 學. 理。這些檢定方法主要就是想要了解在不限制誤差項的假設之下，當模型中已經納入某些解釋變數的時候，再加入的解釋變數是否能顯著增加模型額外的解釋能. ‧. 力。在以往的文獻當中，幾乎都以樞紐統計量（pivotal quantity）作為執行排列檢. y. Nat. sit. 定的統計量。樞紐統計量的好處在於其存在一個已知的抽樣分配，並不受到欲探. n. al. er. io. 討的參數所影響。Kennedy and Cade (1996)認為，在執行排列檢定時，必須使用. i n U. v. 樞紐統計量，原因在於該統計量也將排列分配之變異程度納入考慮，以至不會發. Ch. engchi. 生型一誤差（type I error）機率過於膨脹的現象。然而亦有許多學者認為不一定要使用樞紐統計量，如 Manly (1991、1997、2006)、Oja (1987)就不是使用樞紐統計量。儘管如此，文獻中藉由模擬比較不同排列檢定方法的效果時，多半還是聚焦於以樞紐統計量作為檢定統計量的方法比較，如 Anderson and Legendre (1999)、 Anderson and Robinson (2001)、O’Gorman (2005)、Winkler et. al. (2014)，甚少將以非樞紐統計量作為分析工具的檢定方法也一併進行考量。. 1.

(9) 第二節. 研究目的. 就複迴歸模型中，任一迴歸參數的檢定，本研究主要想針對採用樞紐統計量（本文挑選𝑡值）或非樞紐統計量（本文挑選迴歸係數）作為檢定統計量的排列檢定方式，藉由蒙地卡羅模擬方法來模擬比較型一誤差機率及檢定力（power），藉此了解這兩類統計量之適用時機以及可行性。. 第三節. 本文架構. 本文總共分為六個章節。第一章為緒論，闡述研究背景與動機，並說明本研. 政治大. 究目的以及架構。第二章為文獻探討，針對簡單線性迴歸模型及複迴歸模型的參. 立. 數檢定，回顧相關的排列檢定方法。第三章為相關文獻議題探討，將就前述文獻. ‧ 國. 學. 中所衍生的一些相關議題，進一步進行說明或驗證。第四章為研究方法與設計，說明本研究之模擬流程圖以及模擬結果評估標準，並說明如何設定參數。第五章. ‧. 為研究結果，闡述模擬結果，並且比較𝑡2 統計量以及係數𝑏2 作為統計量之差異。. y. Nat. n. al. er. io. sit. 第六章為結論與建議，將於該章節說明本研究之結論以及後續相關建議。. Ch. engchi. 2. i n U. v.

(10) 第二章. 文獻探討. 本章將針對簡單線性迴歸模型（simple linear regression model）及複迴歸模型的參數檢定，回顧相關的排列檢定方法，並說明各種方法如何架構其排列分配（permutation distribution），以及其檢定統計量和決策法則（decision rule）。. 第一節. 簡單線性迴歸模型下係數排列檢定方法. 考慮僅有一個解釋變數𝑍之迴歸模型如下：. 政治大. 𝑌𝑖 = 𝛽0 + 𝛽1 𝑍𝑖 + 𝜀𝑖 , 𝑖 = 1,2, … , 𝑛. 立. 欲藉由無母數檢定方法，探討在不限制誤差項𝜀必須來自期望值 0，變異數為同. ‧ 國. 學. 質（𝜎 2 ）的常態分配假設之下，加入解釋變數𝑍是否對於模型解釋有所幫助。在顯著水準（significance level）𝛼之下，相對應的虛無檢定（null hypothesis）及對. ‧. Nat. y. 立假設（alternative hypothesis）為：. n. er. io. al. 𝐻1 ：𝛽1 ≠ 0. sit. 𝐻0 ：𝛽1 = 0. i n U. v. 藉由最小平方估計法（ordinary least square）可以得到𝛽0 、𝛽1 之參數估計值. Ch. e n g c𝑏h i. 𝑏0 、𝑏1，並計算觀察到的檢定統計量𝑡𝑜𝑏𝑠 = 1 ，其中𝑠(𝑏1 )為𝛽1估計值之標準差。 𝑠(𝑏 ) 1. 若虛無假設為真（𝛽1 = 0），則代表解釋變數𝑍與反應變數𝑌之間並無關聯，這意味著將𝑧值與𝑦值隨意配對後再進行簡單線性迴歸，其結果與透過原始資料所得到的分析結果應該不會有太大的差異。設π為一個與(1,2, … , 𝑛)一對一且映成 (1-1 and onto)之排列，令𝑌𝜋 為觀察值排列後之向量，亦即𝑌𝜋 = (𝑦𝜋1 , 𝑦𝜋2 , … , 𝑦𝜋𝑛 )。將𝑌𝜋 對𝑍做迴歸，利用最小平方估計法求得參數估計值𝑏0𝜋 、𝑏1𝜋，並且計算檢定統 𝑏𝜋. 計量𝑡𝜋 = 𝑠(𝑏1𝜋)。重複進行 M 次以上步驟，即可建構出排列分配，並以原始資料 1. 所計算出之 t 值（𝑡𝑜𝑏𝑠 ）作為臨界值（critical value）。觀察在排列分配中，大於或 3.

(11) # {𝑡𝜋 | |𝑡𝜋 |≥|𝑡𝑜𝑏𝑠 |}. 等於𝑡𝑜𝑏𝑠 之絕對值的比例，亦即若𝑝 − 𝑣𝑎𝑙𝑢𝑒 =. # {𝑡𝜋 | |𝑡𝜋 |≥|𝑡𝑜𝑏𝑠 |} 𝑀. ，並以此做為 p-value 來進行決策。. 𝑀. < 𝛼則拒絕虛無假設，代表有足夠證據顯示加入解. 釋變數𝑍對於模型解釋有所幫助。前述的論述，是在固定 Z 的情況，針對 Y 來進行排列。實際上，相同的檢定結果也可以藉由固定 Y，針對 Z 來進行排列的方式來獲得。. 第二節. 複迴歸模型下係數排列檢定方法. 政治大在不失一般性的情形下，我們將僅針對兩個解釋變數的情況來做說明。考慮立. 一、模型及假設檢定（hypothesis testing）. ‧ 國. 學. 兩個解釋變數𝑋、𝑍之複迴歸模型如下：. 𝑌𝑖 = 𝛽0 + 𝛽1 𝑋𝑖 + 𝛽2 𝑍𝑖 + 𝜀𝑖 , 𝑖 = 1,2, … , 𝑛. ‧. 在不限制誤差項𝜀𝑖 必須來自期望值為 0，變異數為同質（𝜎 2 ）的常態分配假. sit. y. Nat. 設之下，欲藉由無母數檢定方法，探討當模型已經納入解釋變數𝑋後，加入變數. al. n. 設及對立假設為：. er. io. 𝑍是否能顯著增加模型額外的解釋能力。因此在顯著水準α之下，相對應的虛無假. C h𝐻 ：𝛽 = 0 e0 n g2 c h i. i n U. v. 𝐻1 ：𝛽2 ≠ 0 針對原始資料，藉由最小平方估計法配適得出𝛽0 、𝛽1 、𝛽2之參數估計值𝑏0 、 𝑏. 𝑏1 、𝑏2，並得到各個觀察值之殘差（residual）𝑒𝑖 。令𝑡2 = 𝑠(𝑏2 )作為檢定統計量來 2. 執行𝛽2是否等於 0 的邊際檢定，其中𝑠(𝑏2 )為𝛽2估計值之標準差。後續小節裡所要回顧的六種排列檢定方式均架構在相同的虛無假設之下，並皆以原始資料所計算出之𝑡2 值（記為𝑡2𝑜𝑏𝑠 ）做為臨界值。其次，依據各自的排列檢定方式的構想，分別觀察藉由 M 個𝑡2𝜋 統計量所架構出的排列分配中，𝑡2𝜋 值大 4.

(12) # {𝑡2𝜋 | |𝑡2𝜋 |≥|𝑡2𝑜𝑏𝑠 |}. 於或等於𝑡2𝑜𝑏𝑠 之絕對值的比例，亦即決策。若𝑝 − 𝑣𝑎𝑙𝑢𝑒 =. # {𝑡2𝜋 | |𝑡2𝜋 |≥|𝑡2𝑜𝑏𝑠 |} 𝑀. 𝑀. ，並以此做為𝑝 − 𝑣𝑎𝑙𝑢𝑒進行. < α則拒絕虛無假設，代表有足夠證據顯示. 在模型已經存在解釋變數𝑋的情況下，加入解釋變數𝑍能顯著增加模型的額外解釋能力。. 二、. 排列分配. (一) Freedman and Lane (1983) Freedman and Lane (1983)認為在虛無假設為真之下，如果仿照簡單線性迴歸. 政治大. 的方式，將𝑌或𝑍進行排列都不是適當的做法。他們認為在所有變數當中都會存在. 立. 某些相關性，而在此假設之下，若模型已存在𝑋的情況下，𝑌與𝑍沒有額外的關係. ‧ 國. 學. 存在，也就是說𝑌與𝑍的關係是建立在給定𝑋的情況下。因此若只針對𝑍進行排列，將會破壞𝑋與𝑍兩變數之間的原始相關性，這並不是一種合適的作法。因此. ‧. Freedman and Lane (1983)建議改採排列殘差的方式來進行。. y. Nat. sit. 首先將𝑌對𝑋做迴歸，藉此得到𝑦𝑖 = 𝑦̂𝑖 + 𝑢𝑖 = 𝑎0 + 𝑎1 𝑥𝑖 + 𝑢𝑖 ，其中𝑎0、𝑎1 為. n. al. er. io. 該迴歸參數之最小平方估計值，𝑢𝑖 為殘差。在虛無假設為真的情況之下，由於𝛽2. i n U. v. 為 0，代表在模型已經存在解釋變數𝑋之下，再加入解釋變數𝑍已沒有額外的解釋. Ch. engchi. 能力，因此藉由單獨對𝑋做迴歸所得之殘差𝑢𝑖，其值應與同時對𝑋、𝑍做迴歸所得之殘差𝑒𝑖 大致相同。也因此可以𝑢𝑖 取代𝑒𝑖 來進行排列，並且與𝑌對𝑋做迴歸的估計式相加，計算新的反應變數值𝑦𝑖∗ = 𝑎0 + 𝑎1 𝑥𝑖 + 𝑢𝜋𝑖，再將此新的反應變數值同時對𝑋、𝑍做迴歸，並以最小平方法得到參數估計值𝑏0𝜋 、𝑏1𝜋 、𝑏2𝜋 ，並且計算檢定統 𝑏𝜋. 計量𝑡2𝜋 = 𝑠(𝑏2𝜋)，其中𝑠(𝑏2𝜋 )為𝛽2之最小平方估計值之標準誤。重複進行 M 次以上 2. 步驟，即可建構𝑡2𝜋 之排列分配。. 5.

(13) (二) Levin and Robbins (1983) 在給定一些解釋變數的情況下，Levin and Robbins (1983)意欲藉由無母數統計結合迴歸分析的方法，探討比較平均薪資是否會因性別而有所差異。他們將殘差視為觀察值，想要藉由觀察其他解釋變數無法解釋的部分當中能夠由性別該變數所解釋的比例，判斷該變數是否具有額外解釋能力。由於性別只有兩類，因此實際的作法則是針對考慮其他變數之後得到無法被解釋的部分（殘差），藉此計算男性與女性的平均，進而檢定性別該變數的額外解釋能力。 Levin and Robbins (1983)意欲探討的變數性別為類別型變數，並以大樣本近. 政治大檢定統計量，其做法如下：首先將𝑌對𝑋做迴歸，藉此得到𝑦 = 𝑦̂ + 𝑢 = 𝑎 立. 似所得到之 z 值作為檢定統計量。依其想法，若欲運用至連續型變數並以 t 值為 𝑖. 𝑖. 𝑖. 0. +. 𝑎1 𝑥𝑖 + 𝑢𝑖 ，其中𝑎0、𝑎1 為該迴歸參數之最小平方估計值，𝑢𝑖 為殘差。將𝑢𝑖 視為新. ‧ 國. 學. 的反應變數並對其進行排列後，對𝑍做迴歸以最小平方法得到估計式𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏𝜋. ‧. 𝑏2𝜋 𝑧，並計算檢定統計量𝑡2𝜋 = 𝑠(𝑏2𝜋)，其中𝑏0𝜋、𝑏2𝜋 為排列過後之迴歸參數最小平方 2. sit. y. Nat. 估計值，𝑠(𝑏2𝜋 )為𝛽2 之最小平方估計值之標準誤。重複進行 M 次以上步驟，即可. n. al. er. io. 建構𝑡2𝜋 之排列分配。. (三) Oja (1987). Ch. engchi. i n U. v. Oja (1987)以實驗設計的角度出發，在完全隨機設計（completely randomized design）之下，隨機分配處理值（treatment value）給實驗單位（experiment unit）。若在考慮其他共變項（covariate variable）後，該設計變數（design variable）於各個水準下並無顯著差異，則代表設計變數值與其他共變項值任意做配對所得到的結果應大致相同。假設模型中𝑋為共變項（covariate variable），𝑍為設計變數（design variable）。該做法將𝑍隨意排列並產生新的資料配對型態(𝑦, 𝑥, 𝑧𝜋 )，再將𝑌對𝑋與𝑍𝜋 做迴歸，. 6.

(14) 𝑏𝜋. 以最小平方法得到估計式𝑦̂𝑖 = 𝑏0𝜋 + 𝑏1𝜋 𝑥𝑖 + 𝑏2𝜋 𝑧𝜋𝑖，並計算檢定統計量𝑡2𝜋 = 𝑠(𝑏2𝜋)， 2. 其中𝑏0𝜋 、𝑏1𝜋 、𝑏2𝜋 為排列過後之迴歸參數最小平方估計值，𝑠(𝑏2𝜋 )為𝛽2 之最小平方估計值之標準誤。重複進行 M 次以上步驟，即可建構𝑡2𝜋 之排列分配。. (四) Manly (1991、1997、2006) Manly (1997) 認為在複迴歸模型之下，亦可仿照簡單線性迴歸模型下的方法，亦即直接就反應變數𝑌進行排列來執行。由於此法基本上奠基於假設𝑌與所有解釋變數均無關的情況之下，此並未考量其他解釋變數與𝑌之間的關係是否因此被. 政治大（approximate）的，端看於該方法的近似好壞程度。Manly (1997、2006)並藉由立. 破壞，Manny (1991、1997)認為在複迴歸所使用的排列檢定方法都只是近似. ‧ 國. 學. 例子說明排列反應變數𝑌亦有相當好的結果。. 此法將𝑌進行排列並產生新的資料配對型態(𝑦𝜋 , 𝑥, 𝑧)，再將𝑌𝜋 對𝑋與𝑍做迴歸，. ‧. 𝑏𝜋. 以最小平方法得到估計式𝑦̂𝜋𝑖 = 𝑏0𝜋 + 𝑏1𝜋 𝑥𝑖 + 𝑏2𝜋 𝑧𝑖，並計算檢定統計量𝑡2𝜋 = 𝑠(𝑏2𝜋)，. Nat. y. 2. sit. 其中𝑏0𝜋 、𝑏1𝜋 、𝑏2𝜋 代表排列過後之迴歸參數最小平方估計值，𝑠(𝑏2𝜋 )為𝛽2之最小平. n. al. er. io. 方估計值之標準差。重複進行 M 次以上步驟，即可建構𝑡2𝜋 之排列分配。. (五) ter Braak (1992). Ch. engchi. i n U. v. ter Braak (1992)提到，一般傳統排列方法都是建立在虛無假設為真，且殘差可以排列（permutable）的情況之下。ter Braak (1992)認為亦可架構於對立假設為真的情況來進行排列，進而執行檢定。首先將𝑌對𝑋與𝑍做迴歸，並以最小平方法得到估計式以及殘差𝑒𝑖 。將𝑒𝑖 排列後與估計式相加，以計算新的反應變數值𝑦𝑖∗ = 𝑦̂𝑖 + 𝑒𝜋𝑖 = 𝑏0 + 𝑏1 𝑥𝑖 + 𝑏2 𝑧𝑖 + 𝑒𝜋𝑖，再將此與𝑋、𝑍配對做迴歸，並以最小平方法得到參數估計值𝑏0𝜋 、𝑏1𝜋 、𝑏2𝜋 ，並且計算檢定統計量𝑡2𝜋 =. 𝑏2𝜋 −𝑏2 。重複進行 𝑠(𝑏2𝜋 ). M 次以上步驟，即可建構𝑡2𝜋 之排列分配。 7.

(15) 值得注意的是，此法的檢定統計量與其他方法有些微差異。不過 Anderson and Legendre (1999)說明該做法是建立於𝑏2𝜋 = 𝑏2 的假設之下，也就是假設排列後所得之最小平方參數估計值會與排列前之參數估計值相同（亦即架構於對立假設為真之下），而𝑏2𝜋 於𝑏2 附近的變化性（variability）又仿效𝑏2 在真實參數值𝛽2的變化性，因此使用𝑡2𝜋 =. 𝑏2𝜋 −𝑏2 作為檢定統計量的結果，應該與其他方法相去不遠。 𝑠(𝑏2𝜋 ). (六) Kennedy (1995) Kennedy (1995) 認為針對𝛽2的檢定，是建立在考慮解釋變數𝑋之下，來探討. 政治大效果消除之後，再來探討解釋變數𝑍的額外解釋能力。因此不只應先消除反應變立解釋變數𝑍的額外解釋能力，因此𝛽1是個干擾變數(nuisance variable)，應先將𝑋的. ‧ 國. 學. 數𝑌中可被𝑋解釋的部分，仍需將解釋變數𝑍中可被𝑋解釋的部分一併消除，再觀察𝑍與𝑌的淨關係。. ‧. 做法一樣是將殘差進行排列。首先將𝑌對𝑋做迴歸，藉此得到𝑦𝑖 = 𝑦̂𝑖 + 𝑢𝑖 =. sit. y. Nat. 𝑎0 + 𝑎1 𝑥𝑖 + 𝑢𝑖 ，其中𝑎0、𝑎1 為該迴歸參數之最小平方估計值，𝑢𝑖 為殘差。此外，. al. er. io. 亦將𝑍對𝑋做迴歸，藉此得到𝑧𝑖 = 𝑧̂𝑖 + 𝑣𝑖 = 𝑑0 + 𝑑1 𝑥𝑖 + 𝑣𝑖 ，其中𝑑0 、𝑑1 為該迴歸. v. n. 參數之最小平方估計值，𝑣𝑖 為殘差。將𝑢𝑖 做排列後對𝑣𝑖 做迴歸，以最小平方法得. Ch. engchi. i n U𝑏 𝜋. 到估計式𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏2𝜋 𝑣𝑖 並且計算檢定統計量𝑡2𝜋 = s(𝑏2𝜋)，其中𝑏0𝜋 、𝑏2𝜋 代表排列 2. 過後之迴歸線最小平方參數估計值，𝑠(𝑏2𝜋 )為𝛽2 之最小平方估計值之標準差。重複進行 M 次以上步驟，即可建構𝑡2𝜋 之排列分配。此法與 Freedman and Lane (1983) 所提出的方法，計算之𝑏2𝜋 結果均相同，不過由於不需要像 Freedman and Lane (1983) 一樣產生新的反應變數值，因此在進行模擬時，使用該方法會較有效率。此外，在該方法之下𝛽1不會隨著排列而改變其估計值。. 8.

(16) 三、複迴歸係數排列檢定方法差異比較這一小節中，我們將就以上所提到的六種複迴歸無母數係數檢定方法，統整各方法的特性及差異。各排列分配之估計式如表 2.1 呈現。在架構排列分配方面，除了 Manly (1991、1997)排列觀察值及 Oja (1987)排列解釋變數，其他四種方法均使用排列殘差值的方法來進行，其基本假設為殘差是可以排列、交換的（exchangeable）。反應變數值方面，四種排列殘差值的方法中，Levin and Robbins(1983) 以及 Kennedy (1995)將𝑢𝑖（𝑌對𝑋做迴歸所得之殘差）視為新的反應變數；Freedman and. 政治大 Manly 及 Oja 的方法則是產生新的資料配對型態（將觀察值或解釋變數進行排立. Lane (1983)以及 ter Braak (1992)則是將殘差進行排列後，產生新的反應變數值𝑦𝑖∗。. ‧ 國. 學. 列）。. 假設檢定方面，除了 ter Braak 建立在對立假設為真的情況之下進行討論，. ‧. 其餘方法皆建立在虛無假設為真之下。六種方法的差異比較如表 2.2 所示。. sit. y. Nat. al. n. 方法. er. io. 表 2.1 複迴歸係數排列分配估計式. Freedman & Lane. Ch. v. 估計式. i n U𝜋. e n g c h𝑦̂i𝑖∗ = 𝑏0 + 𝑏1𝜋 𝑥𝑖 + 𝑏2𝜋 𝑧𝑖. Levin & Robbins. 𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏2𝜋 𝑧. Oja. 𝑦̂𝑖 = 𝑏0𝜋 + 𝑏1𝜋 𝑥𝑖 + 𝑏2𝜋 𝑧𝜋𝑖. Manly. 𝑦̂𝜋𝑖 = 𝑏0𝜋 + 𝑏1𝜋 𝑥𝑖 + 𝑏2𝜋 𝑧𝑖. ter Braak. 𝑦̂𝑖∗ = 𝑏0𝜋 + 𝑏1𝜋 𝑥𝑖 + 𝑏2𝜋 𝑧𝑖. Kennedy. 𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏2𝜋 𝑣𝑖. 9.

(17) 表 2.2 複迴歸係數排列檢定方法比較表 Freedman & Lane 排列觀察值排列殘差值排列解釋變數殘差值𝑢𝑖 視為新的反應變數產生新的資料配對型態產生新的反應變數值𝑦𝑖∗ 建立在虛無假設為真. Levin & Robbins. Oja. Manly. ter Braak. Kennedy. ●. ●. ● ●. ● ● ●. ● ●. ● ●. ● ●. ●. ●. ●. 建立在對立假設為真. ● ●. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 10. i n U. v.

(18) 第三章. 第一節. 文獻相關議題探討. 迴歸係數估計值與𝒕值之對等（equivalent）關係. 本小節將說明於簡單線性迴歸以及複迴歸模型之下，使用係數估計值或者𝑡 值作為排列分配之統計量是否具有對等的關係。. 一、. 簡單線性迴歸模型. 政治大. 在簡單線性迴歸的架構下，針對 Y 來進行排列，𝑏1 、相關係數（correlation coefficient）、𝑡值以及∑𝑛1 𝑧𝑖 𝑦𝑖，彼此均為對等的統計量，因此會得到相同的排列分. 立. 配，檢定結果亦同。以下以數學式子進行說明。. y. sit. io. 𝑛. n. al. Ch. 值除以其標準誤計算求得𝑡 = 𝑠(𝑏 ) = 1. 𝑛−2. =. 2 ∑𝑛 1 (𝑦𝑖 −𝑏0 −𝑏1 𝑧𝑖 ). 𝑛−2. =. 2 ∑𝑛 ̅)2 −2𝑏1 ∑𝑛 ̅)(𝑧𝑖 −𝑧̅ )+𝑏12 ∑𝑛 1 (𝑦𝑖 −𝑦 1 (𝑦𝑖 −𝑦 1 (𝑧𝑖 −𝑧̅ ). 𝑛−2. 𝑟(𝑦, 𝑧) =. √𝑉𝑎𝑟(𝑌)√𝑉𝑎𝑟(𝑍). =. i n U. 𝑛−2. ∑𝑛 ̅)2 − 1 (𝑦𝑖 −𝑦. =. ；𝑡值以迴歸參數估計. 𝑛. =. ∑𝑛 ̅−𝑏1 𝑧̅ )−𝑏1 𝑧𝑖 ]2 1 [𝑦𝑖 −(𝑦. 𝑛−2. 𝑛. 2 (∑𝑛 𝑧 ) √𝑀𝑆𝐸 √∑1𝑛 𝑧𝑖2 − 1𝑛 𝑖. =. 𝑛. 2. 2. √∑1𝑛 𝑦 2 −(∑1 𝑦𝑖 ) √∑1𝑛 𝑧 2 −(∑1 𝑧𝑖 ) 𝑖 𝑖 𝑛 𝑛. 11. ，其中. ∑𝑛 ̅)−𝑏1 (𝑧𝑖 −𝑧̅ )]2 1 [(𝑦𝑖 −𝑦 𝑛−2. =. ；相關係數則以. 𝑛. 𝑛. 𝑛. ∑1 𝑧𝑖 ∑1 𝑦𝑖 ∑𝑛 1 𝑧 𝑖 𝑦𝑖 −. 2 ̅] [∑𝑛 1 𝑧𝑖 𝑦𝑖 −𝑛𝑧̅𝑦 2 ∑𝑛 1 (𝑧𝑖 −𝑧̅). ∑1 𝑧𝑖 ∑1 𝑦𝑖 ∑𝑛 1 𝑧 𝑖 𝑦𝑖 − 𝑛. v. 𝑛 (∑𝑛 𝑧𝑖 )2 𝑛 2 1 ∑1 𝑧𝑖 − 𝑛. 𝑛 ∑𝑛 1 𝑧𝑖 ∑1 𝑦𝑖 ∑𝑛 1 𝑧 𝑖 𝑦𝑖 − 𝑛 2 𝑛 2 (∑1 𝑧𝑖 ) ∑𝑛 1 𝑧𝑖 − 𝑛 𝑀𝑆𝐸 2 √ 𝑛 (∑𝑛 1 𝑧𝑖 ) ∑1 𝑧2 − 𝑖 𝑛. 𝑛. 𝐶𝑂𝑉(𝑌,𝑍). 𝑛. ∑1 𝑧𝑖 ∑1 𝑦𝑖 ∑𝑛 1 𝑧 𝑖 𝑦𝑖 −. engchi. 𝑏1. ∑𝑛 ̂ 𝑖 )2 1 (𝑦𝑖 −𝑦. er. Nat. 𝑌𝑖 = 𝛽0 + 𝛽1 𝑍𝑖 + 𝜀𝑖 , 𝑖 = 1,2, … , 𝑛. 令𝑏1 為迴歸參數最小平方估計值，𝑏1 =. 𝑀𝑆𝐸 =. ‧. ‧ 國. 學. 假設模型為：. 計算得之。.

(19) 不論反應變數值如何進行排列，反應變數值𝑦𝑖 以及解釋變數值𝑧𝑖 之總和及其平均值均不受排列結果影響而有所改變。因此僅∑𝑛1 𝑧𝑖 𝑦𝑖 會改變𝑏1、𝑡值、𝑟(𝑦, 𝑧)三個統計量之大小。若∑𝑛1 𝑧𝑖 𝑦𝑖 其值越大，則𝑏1、𝑡值、𝑟(𝑦, 𝑧)之值也會越大，反之亦然。因此可以得知在簡單線性迴歸的架構下，這些統計量彼此之間確實具有對等的關係。. 二、. 複迴歸模型. 在複迴歸模型的架構下，𝑏2 與𝑡2 值對等的關係不一定存在，以下將以數學式. 政治大各解釋變數值扣除其樣本平均值，使得截距項為 0 之複迴歸模型進行說明。立. 學. 假設模型為：. 𝑌𝑖 = 𝛽1 𝑋𝑖 + 𝛽2 𝑍𝑖 + 𝜀𝑖 , 𝑖 = 1,2, … , 𝑛. Nat. y. ‧. ‧ 國. 子說明於不同排列方法之下兩者之間的變動關係。為方便及簡化列式，以下將以. sit. er. io. 𝑥11 𝑧12 𝑥21 𝑧22 令 𝑐1 = ∑𝑛1 𝑥𝑖2 , 𝑐2 = ∑𝑛1 𝑧𝑖2 , 𝑐3 = ∑𝑛1 𝑦𝑖2；𝑿 = ( ⋮ ⋮ ) 為解釋變數矩陣， 𝑥𝑛1 𝑧𝑛2 𝑦1 ∑𝑛1 𝑥𝑖 𝑧𝑖 𝑐1 𝑦2 𝑇 𝒀 = ( ) 為反應變數矩陣。因此𝑿 𝑿 = ( 𝑛 )； ∑1 𝑥𝑖 𝑧𝑖 𝑐2 ⋮ 𝑦𝑛. n. al. 𝑿𝑇 𝒀 =. ∑𝑛 𝑥 𝑦 ( 1𝑛 𝑖 𝑖 )；(𝑿𝑇 𝑿)−1 ∑1 𝑧𝑖 𝑦𝑖. Ch. i n U. engchi. v. 𝑐2. − ∑𝑛 1 𝑥𝑖 𝑧 𝑖. 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ) − ∑𝑛 𝑥 𝑧 1 𝑖 𝑖 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). =(. 𝑐1. )。. 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 藉由以上式子進而計算迴歸參數最小平方估計值及其共變異數矩陣 𝑛 𝑛 𝑐2 ∑𝑛 1 𝑥𝑖 𝑦𝑖 −∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑧𝑖 𝑦𝑖 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 𝑏 𝒃 = ( 1 ) = (𝑿𝑇 𝑿)−1 (𝑿𝑇 𝒀) = (𝑐 ∑𝑛 𝑧 𝑦 −∑𝑛 𝑥 𝑧 ∑𝑛 𝑥 𝑦 )； 𝑏2 1 1 𝑖 𝑖 1 𝑖 𝑖 1 𝑖 𝑖 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 𝑐2. − ∑𝑛 1 𝑥𝑖 𝑧 𝑖. 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ) 𝑛 − ∑1 𝑥𝑖 𝑧𝑖 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). ̂ = (𝑿𝑇 𝑿)−1 𝑀𝑆𝐸 = ( 𝑐𝑜𝑣(𝒃). 12. 𝑐1 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 𝑆𝑆𝐸. ) 𝑛−2 ，其中.

(20) 𝑆𝑆𝐸 = 𝒀𝑇 𝒀 − 𝒃𝑇 𝑿𝑇 𝒀 = 𝑐3 − 𝑏1 ∑𝑛1 𝑥𝑖 𝑦𝑖 − 𝑏2 ∑𝑛1 𝑧𝑖 𝑦𝑖 。因此𝑏2 =. 𝑛 𝑛 𝑐1 ∑𝑛 1 𝑧𝑖 𝑦𝑖 −∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑥𝑖 𝑦𝑖 ， 𝑛 𝑐1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 )2. 𝑐1 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). 𝑠 2 (𝑏2 ) = 𝑐. 𝑆𝑆𝐸. 1. 𝑛−2. 𝑐1 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). = 𝑛−2 𝑐. (𝑐3 − 𝑏1 ∑𝑛1 𝑥𝑖 𝑦𝑖 − 𝑏2 ∑𝑛1 𝑧𝑖 𝑦𝑖 )，且. 𝑏. 𝑡2 = 𝑠(𝑏2 )。 2. (一) Freedman and Lane (1983)、ter Braak (1992) 資料配對方式為(𝑌𝑖∗ , 𝑥𝑖 , 𝑧𝑖 )，因此∑𝑛1 𝑥𝑖2 、 ∑𝑛1 𝑧𝑖2 、 ∑𝑛1 𝑥𝑖 𝑧𝑖 不會隨著排列方式而改變。此時迴歸係數估計值為 𝒃𝜋 = (. 政治大. ∗ ∗ 𝑛 𝑛 𝑐2 ∑𝑛 1 𝑥𝑖 𝑦𝑖 −∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑧𝑖 𝑦𝑖 𝑛 𝑐1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 )2. 立. 𝑏1𝜋 ) = (𝑐 ∑𝑛 𝑧 𝑦 ∗−∑𝑛 𝑥 𝑧 ∑𝑛 𝑥 𝑦 ∗)，欲探討之迴歸係數變異數為 𝑏2𝜋 1 1 𝑖 𝑖 1 𝑖 𝑖 1 𝑖 𝑖 𝑆𝑆𝐸. 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). 𝑛−2. 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). 。. 𝑠(𝑏2𝜋 ). al. ∗ 2 ∗ 𝑛 ∗ ∗ 2 𝑛 𝑛 𝑛 𝑐2 (∑𝑛 1 𝑥𝑖 𝑦𝑖 ) +𝑐1 (∑1 𝑧𝑖 𝑦𝑖 ) −2 ∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑧𝑖 𝑦𝑖 ∑1 𝑥𝑖 𝑦𝑖 )，且 𝑛 2 𝑐1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). n. 𝑏2𝜋. io. 𝑡2𝜋 =. (∑𝑛1(𝑦𝑖∗ )2 −. er. 𝑐1. Nat. 1. = 𝑛−2 𝑐. (∑𝑛1(𝑦𝑖∗ )2 − 𝑏1𝜋 ∑𝑛1 𝑥𝑖 𝑦𝑖∗ − 𝑏2𝜋 ∑𝑛1 𝑧𝑖 𝑦𝑖∗ ). y. 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). sit. 𝑐1. 1. = 𝑛−2 𝑐. ‧. ‧ 國 𝑐1. 𝑠 2 (𝑏2𝜋 ) = 𝑐. 學. 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). Ch. engchi. i n U. v. 若 ∑𝑛1 𝑥𝑖 𝑦𝑖∗ 不變，且 ∑𝑛1 𝑧𝑖 𝑦𝑖∗ 值越大，則𝑏1𝜋 將會越小， 𝑏2𝜋 值將會越大；然而 𝑠 2 (𝑏2𝜋 )之變化則不一定，因此𝑡𝜋 值之變動亦不一定。不論情況為 ∑𝑛1 𝑥𝑖 𝑦𝑖∗ 變小，且 ∑𝑛1 𝑧𝑖 𝑦𝑖∗ 值不變，抑或是∑𝑛1 𝑥𝑖 𝑦𝑖∗ 越小，且 ∑𝑛1 𝑧𝑖 𝑦𝑖∗ 越大，其變動方式皆與上述相同。因此𝑏2𝜋 與𝑡2𝜋 值之對等關係不一定存在。. 13.

(21) (二) Levin and Robbins (1983) 資料配對方式不變，仍為(𝑌𝑖 , 𝑥𝑖 , 𝑧𝑖 )，因此∑𝑛1 𝑦𝑖2 、 ∑𝑛1 𝑥𝑖2 、 ∑𝑛1 𝑧𝑖2 、 ∑𝑛1 𝑥𝑖 𝑦𝑖 、 ∑𝑛1 𝑧𝑖 𝑦𝑖 、 ∑𝑛1 𝑥𝑖 𝑧𝑖 、𝑏1𝜋 不會隨著排列方式而改變。首先將𝑌對解釋變數𝑋做迴歸得到殘差𝑢𝑖 = 𝑦𝑖 − 𝑎1 𝑥𝑖 = 𝑦𝑖 −. ∑𝑛 1 𝑥𝑖 𝑦 𝑖 ∑1𝑛 𝑥𝑖2. 𝑥𝑖，其中𝑎1 為迴歸參數最小平方估計值。再將. 2 𝑢𝑖 排列後對解釋變數𝑍做迴歸，而∑𝑛1 𝑢𝜋𝑖、∑𝑛1 𝑢𝜋𝑖 亦不會隨著排列方式而改變。此 𝑛. 時欲探討之迴歸係數估計值為𝑏2𝜋. 𝑠 2 (𝑏2𝜋 ) =. =. 𝑛. ∑1 𝑧𝑖 ∑1 𝑢𝜋𝑖 ∑𝑛 1 𝑧𝑖 𝑢𝜋𝑖 − 𝑛 (∑𝑛 𝑧𝑖 )2 𝑛 2 1 ∑1 𝑧𝑖 − 𝑛. 2 [∑𝑛 𝑢𝜋𝑖 1 𝑧𝑖 𝑢𝜋𝑖 −𝑛𝑧̅̅̅̅̅̅̅] 2 ∑𝑛 1 (𝑧𝑖 −𝑧̅) 2 𝑛 (∑ 𝑧 ) (∑1𝑛 𝑧𝑖2 − 1 𝑖 )(𝑛−2) 𝑛. ，其變異數為. 2 ∑𝑛 ̅̅̅̅̅) 𝜋𝑖 − 1 (𝑢𝜋𝑖 −𝑢. 𝑀𝑆𝐸. =. 若 ∑𝑛1 𝑧𝑖 𝑢𝜋𝑖. 𝜋 2. 2. 𝑏𝜋. ，且𝑡2𝜋 = 𝑠(𝑏2𝜋)。. 政治大越大，則𝑏 立之值越大，𝑠 (𝑏 )則越小，因此𝑡. 2 (∑𝑛 𝑧 ) ∑1𝑛 𝑧𝑖2 − 1 𝑖 𝑛. 𝜋 2. 2. 2𝜋 也會越大，. 故使. ‧ 國. 學. 用𝑏2𝜋 與𝑡2𝜋 值架構之排列分配會相同。然而由於觀察到的𝑏2 以及𝑡2 值之計算方式與排列分配的計算方式不同，兩個統計量所對應回各自的排列分配之相對位置有. ‧. 可能並不相同，因此兩種統計量之檢定結果也可能有所差異。. al. er. io. sit. y. Nat. (三) Oja (1987). v. n. 2 資料配對方式為(𝑌𝑖 , 𝑥𝑖 , 𝑧𝜋𝑖 )，因此∑𝑛1 𝑦𝑖2 、 ∑𝑛1 𝑥𝑖2 、 ∑𝑛1 𝑧𝜋𝑖 、 ∑𝑛1 𝑥𝑖 𝑦𝑖 不會隨著. Ch. engchi. 排列方式而改變。此時迴歸係數估計值為 𝒃𝜋 = (. 2 𝑛 𝑛 𝑛 ∑𝑛 1 𝑧𝜋𝑖 ∑1 𝑥𝑖 𝑦𝑖 −∑1 𝑥𝑖 𝑧𝜋𝑖 ∑1 𝑧𝜋𝑖 𝑦𝑖 2 −(∑𝑛 𝑥 𝑧 )2 𝑐1 ∑1𝑛 𝑧𝜋𝑖 1 𝑖 𝜋𝑖 𝑛 𝑛 𝑐1 ∑1 𝑧𝜋𝑖 𝑦𝑖 −∑𝑛 1 𝑥𝑖 𝑧𝜋𝑖 ∑1 𝑥𝑖 𝑦𝑖 𝑛 2 𝑛 𝑐1 ∑1 𝑧𝜋𝑖 −(∑1 𝑥𝑖 𝑧𝜋𝑖 )2. 𝑏1𝜋 )=( 𝑏2𝜋. 𝑐1 𝑛 2 𝑛 2 1 ∑1 𝑧𝜋𝑖 −(∑1 𝑥𝑖 𝑧𝜋𝑖 ). 𝑠 2 (𝑏2𝜋 ) = 𝑐. i n U. )，欲探討之迴歸係數變異數為. 𝑆𝑆𝐸 𝑛−2. 1. 𝑐1 𝑛 2 𝑛 2 1 ∑1 𝑧𝜋𝑖 −(∑1 𝑥𝑖 𝑧𝜋𝑖 ). (𝑐3 − 𝑏1𝜋 ∑𝑛1 𝑥𝑖 𝑦𝑖 − 𝑏2𝜋 ∑𝑛1 𝑧𝜋𝑖 𝑦𝑖 ). 1. 𝑐1 𝑛 2 𝑛 2 1 ∑1 𝑧𝜋𝑖 −(∑1 𝑥𝑖 𝑧𝜋𝑖 ). (𝑐3 −. = 𝑛−2 𝑐 = 𝑛−2 𝑐. 2 𝑛 𝑛 𝑛 𝑛 𝑛 2 2 ∑𝑛 1 𝑧𝜋𝑖 (∑1 𝑥𝑖 𝑦𝑖 ) +𝑐1 (∑1 𝑧𝜋𝑖 𝑦𝑖 ) −2 ∑1 𝑥𝑖 𝑧𝜋𝑖 ∑1 𝑧𝜋𝑖 𝑦𝑖 ∑1 𝑥𝑖 𝑦𝑖 2 −(∑𝑛 𝑥 𝑧 )2 𝑐1 ∑1𝑛 𝑧𝜋𝑖 1 𝑖 𝜋𝑖. 𝑏𝜋. ，且𝑡2𝜋 = 𝑠(𝑏2𝜋)。 2. 14. ).

(22) 𝑏. 若∑𝑛1 𝑥𝑖 𝑧𝜋𝑖 變動，則𝑏1𝜋 、𝑏2𝜋 、𝑠 2 (𝑏2𝜋 )、𝑡2𝜋 = 𝑠(𝑏2 ) 之變動情形均不一定，且仍 2. 需考慮其他項之變動程度，因此難以確認𝑏2𝜋 與𝑡2𝜋 值之對等關係是否存在。. (四) Manly (1991、1997) 資料配對方式為(𝑦𝜋𝑖 , 𝑥𝑖 , 𝑧𝑖 )，因此∑𝑛1(𝑦𝜋𝑖 )2 、 ∑𝑛1 𝑥𝑖2 、 ∑𝑛1 𝑧𝑖2 、 ∑𝑛1 𝑥𝑖 𝑧𝑖 不會隨著排列方式而改變。此時迴歸係數估計值為 𝒃𝜋 =. 𝑛 𝑛 𝑐2 ∑𝑛 1 𝑥𝑖 𝑦𝜋𝑖 −∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑧𝑖 𝑦𝜋𝑖 𝑛 2 𝑐1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). 𝑏𝜋 ( 1𝜋 ) 𝑏2. = (𝑐. 立. 𝑐1. 𝑠 2 (𝑏2𝜋 ) = 𝑐. 𝑆𝑆𝐸. )，欲探討之迴歸係數變異數為. 政治大. 𝑛 𝑛 𝑛 1 ∑1 𝑧𝑖 𝑦𝜋𝑖 −∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑥𝑖 𝑦𝜋𝑖 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). 𝑐1. 1. = 𝑛−2 𝑐. 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ). (∑𝑛1(𝑦𝜋𝑖 )2 − 𝑏1𝜋 ∑𝑛1 𝑥𝑖 𝑦𝜋𝑖 − 𝑏2𝜋 ∑𝑛1 𝑧𝑖 𝑦𝜋𝑖 ). 𝑐1. ，且𝑡2𝜋 = 𝑠(𝑏2𝜋)。 2. 𝑖 𝑖. Nat. 𝑏𝜋. 1. 𝑛 𝑛 𝑛 𝑛 2 2 𝑐2 (∑𝑛 1 𝑥𝑖 𝑦𝜋𝑖 ) +𝑐1 (∑1 𝑧𝑖 𝑦𝜋𝑖 ) −2 ∑1 𝑥𝑖 𝑧𝑖 ∑1 𝑧𝑖 𝑦𝜋𝑖 ∑1 𝑥𝑖 𝑦𝜋𝑖 ) 2 𝑐1 𝑐2 −(∑𝑛 1 𝑥𝑖 𝑧 𝑖 ). y. 1 𝑐2. (∑𝑛1(𝑦𝜋𝑖 )2 − −(∑𝑛 𝑥 𝑧 )2. sit. = 𝑛−2 𝑐. ‧. 1. 學. ‧ 國. 𝑛 2 1 𝑐2 −(∑1 𝑥𝑖 𝑧𝑖 ) 𝑛−2. n. al. er. io. 若 ∑𝑛1 𝑥𝑖 𝑦𝜋𝑖 不變，且 ∑𝑛1 𝑧𝑖 𝑦𝜋𝑖 值越大，則𝑏1𝜋 將會越小， 𝑏2𝜋 值將會越大；然而. i n U. v. 𝑠 2 (𝑏2𝜋 )之變化則不一定，因此𝑡2𝜋 值之變動亦不一定。不論情況為 ∑𝑛1 𝑥𝑖 𝑦𝜋𝑖. Ch. e n g越小，且 c h i ∑𝑛1 𝑧𝑖 𝑦𝜋𝑖 越大，其變動方式皆. 變小，且 ∑𝑛1 𝑧𝑖 𝑦𝜋𝑖 值不變，抑或是∑𝑛1 𝑥𝑖 𝑦𝜋𝑖. 與上述相同。因此𝑏2𝜋 與𝑡2𝜋 值之對等關係不一定存在。. (五) Kennedy (1995) 資料配對方式不變仍為(𝑌𝑖 , 𝑥𝑖 , 𝑧𝑖 )，因此∑𝑛1 𝑦𝑖2 、 ∑𝑛1 𝑥𝑖2 、 ∑𝑛1 𝑧𝑖2 、 ∑𝑛1 𝑥𝑖 𝑦𝑖 、 ∑𝑛1 𝑧𝑖 𝑦𝑖 、 ∑𝑛1 𝑥𝑖 𝑧𝑖 、𝑏1𝜋 不會隨著排列方式而改變。首先將𝑌對解釋變數𝑋做迴歸得到殘差𝑢𝑖 = 𝑦𝑖 − 𝑎1 𝑥𝑖 = 𝑦𝑖 −. ∑𝑛 1 𝑥𝑖 𝑦 𝑖 ∑1𝑛 𝑥𝑖2. 𝑥𝑖，其中𝑎1 為迴歸參數最小平方估計值。亦將. 解釋變數𝑍對解釋變數𝑋做迴歸得到殘差𝑣𝑖 = 𝑧𝑖 − 𝑑1 𝑥𝑖 = 𝑧𝑖 − 15. ∑𝑛 1 𝑥𝑖 𝑧 𝑖 ∑1𝑛 𝑥𝑖2. 𝑥𝑖，其中𝑑1 為.

(23) 2 迴歸參數最小平方估計值。再將𝑢𝑖 排列後對𝑣𝑖 做迴歸，而∑𝑛1 𝑢𝜋𝑖 、 ∑𝑛1 𝑢𝜋𝑖 、. ∑𝑛1 𝑣𝑖 、 ∑𝑛1 𝑣𝑖2 亦不會隨著排列方式而改變。此時欲探討之迴歸係數估計值為𝑏2𝜋 = 𝑛. 𝑛. ∑1 𝑣𝑖 ∑1 𝑢𝜋𝑖 ∑𝑛 1 𝑣𝑖 𝑢𝜋𝑖 − 𝑛. 𝑛. 2. (∑ 𝑣 ) ∑1𝑛 𝑣𝑖2 − 1 𝑖. ，其變異數為. 𝑛. 𝑠 2 (𝑏2𝜋 ) =. 2 ̅̅̅̅̅̅̅] [∑𝑛 𝑢𝜋𝑖 1 𝑣𝑖 𝑢𝜋𝑖 −𝑛𝑣 2 ∑𝑛 ̅) 1 (𝑣𝑖 −𝑣 𝑛 𝑣 )2 (∑ (∑1𝑛 𝑣𝑖2 − 1 𝑖 )(𝑛−2) 𝑛. 2 ∑𝑛 ̅̅̅̅̅) 𝜋𝑖 − 1 (𝑢𝜋𝑖 −𝑢. 𝑀𝑆𝐸 (∑𝑛 𝑣 )2 ∑1𝑛 𝑣𝑖2 − 1 𝑖 𝑛. =. 𝑏𝜋. ，且𝑡2𝜋 = 𝑠(𝑏2𝜋)。 2. 若∑𝑛1 𝑣𝑖 𝑢𝜋𝑖 越大，則𝑏2𝜋 之值越大，𝑠 2 (𝑏2𝜋 )則越小，因此𝑡2𝜋 也會越大，故使用 𝑏2𝜋 與𝑡2𝜋 值架構之排列分配會相同，然而由於觀察到的𝑏2 以及𝑡2 值之計算方式與. 政治大能並不相同，因此兩種統計量之檢定結果也可能有所差異。立. 排列分配的計算方式不同，兩個統計量所對應回各自的排列分配之相對位置有可. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 16. i n U. v.

(24) 第二節. Kennedy(1995) 方法下，𝒕𝟐值自由度使用之探討. Anderson and Legendre (1999)、Anderson and Robinson (2001) 提及 Kennedy (1995)方法時，t 值的計算式中使用自由度𝑛 − 𝑝來進行計算，而非使用𝑛 − 2，藉以考量解釋變數𝑋被用來計算𝑢𝑖 、𝑣𝑖 所造成的自由度損失。他們認為使用自由度 𝑛 − 𝑝來計算𝑡2 值之型一誤差機率均有膨脹的效果（inflated），尤其在樣本數較小的時候特別明顯；使用𝑛 − 2來進行計算則可降低膨脹的現象。本小節將就採取自由度𝑛 − 2計算較為合理進行說明，並藉由統計模擬來進行驗證。. 一、. 政治大. 自由度𝒏 − 𝟐的著眼點. 立. 根據文獻探討中的介紹，由於 Kennedy (1995)的方法在架構排列分配時，僅. ‧ 國. 學. 考慮反應變數𝑌以及欲探討之解釋變數𝑍之淨關係，因此先將𝑌與𝑍當中，能被干擾變數𝑋解釋的部分扣除後再進行討論。換句話說，就是將兩個殘差（𝑢𝑖 對𝑣𝑖 ）. ‧. 進行迴歸進而架構其排列分配。儘管計算這兩個殘差的過程涉及到其他參數的估. y. Nat. sit. 計，但在最後將𝑢𝑖 視為新的反應變數值，𝑣𝑖 視為新的解釋變數，並且將其他估計. n. al. er. io. 值皆視為已知來進行迴歸估計時，最後僅需估計兩個參數，因此自由度應為𝑛 − 2。. 二、. Ch. engchi. i n U. v. 模擬驗證. 此處將採用與 Anderson and Robinson (2001) 相同的模擬條件來產生資料，藉以驗證上述的論述。假設模型中存在五個解釋變數：𝑋1 、𝑋2 、𝑋3 、𝑋4以及欲探討之變數𝑍，數值皆由均勻分配 U(0,3)隨機產生；解釋變數𝑍之係數設定為 0，其餘解釋變數之係數和截距項均設定為 1；誤差項𝜀𝑖 來自標準常態分配 N(0,1)。藉由以上設定，進而產生反應變數值𝑦𝑖 = 1 + 1𝑥1𝑖 + 1𝑥2𝑖 + 1𝑥3𝑖 + 1𝑥4𝑖 + 0𝑧𝑖 + 𝜀𝑖，並使用 Kennedy (1995)之排列方法產生排列分配（其中排列次數 M 為 999 次）。 17.

(25) 接著，分別使用𝑛 − 𝑝與𝑛 − 2這兩種自由度來計算最小平方估計值𝑏2𝜋 之標準誤 𝑠(𝑏2𝜋 )，以產生 t 值統計量，分別以𝑡2𝜋(𝑛−𝑝) = 𝜋(𝑛−𝑝). 其中𝑠(𝑏2. 𝑆𝑆𝐸. 𝜋(𝑛−2). ) = √𝑛−𝑝、𝑠(𝑏2. 𝑏2𝜋 𝜋(𝑛−𝑝) 𝑠(𝑏2 ). 、𝑡2𝜋(𝑛−2) =. 𝑏2𝜋 𝜋(𝑛−2) 𝑠(𝑏2 ). 表示，. 𝑆𝑆𝐸. ) = √𝑛−2。. 此處將額外針對模擬結果初步以圖形作為比較，觀察各自由度下所產生之排列分配是否與理論分配相符。此外亦進行 Kolmogorov–Smirnov 檢定（K-S test），檢定各自由度下所產生之排列分配是否服從理論分配之拒絕次數。若拒絕比例過高則表示使用該統計量架構之排列分配與理論分配較不符合，並且觀察拒絕比例是否會隨著樣本數增加而有所變動。. 政治大. 圖 3.1 至 3.4 分別呈現不同樣本數（𝑛 = 10、40、70、100）的模擬結果，. 立. 以兩種自由度計算之𝑡2 值排列分配，並各自與理論上之分配（𝑡(𝑛 − 𝑝)、𝑡(𝑛 − 2)）. ‧ 國. 學. 相互比較。可以發現藉由自由度𝑛 − 2架構之排列分配與理論分配較相符，在樣本數較小的情況之下更為明顯；樣本數較大時，由於理論分配受到估計參數個數. ‧. 的影響不大，因此不論使用何種自由度架構排列分配均與理論分配差異不大。. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 3.1 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 10). 18.

(26) 圖 3.2 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 40). 立. 政治大. ‧. ‧ 國. 學 er. io. sit. y. Nat. al. v. n. 圖 3.3 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 70). Ch. engchi. i n U. 圖 3.4 兩種自由度架構之𝑡2 值排列分配與理論分配 (樣本數為 100) 19.

(27) 表 3.1 為在顯著水準α = 0.05 之下，藉由產生一萬組資料並考慮不同樣本數以及兩種自由度之𝑡2 統計量之型一誤差機率模擬結果以及 K-S 檢定之拒絕比例。模擬結果顯示，若使用自由度為𝑛 − 𝑝之統計量，其型一誤差機率確實會呈現膨脹的效果，且於樣本數較小時特別明顯；K-S 檢定之拒絕比例亦於樣本數較小時較高，表示在樣本數較小時使用該自由度之統計量與理論分配是較不相符的。相反地，使用自由度為𝑛 − 2之統計量其型一誤差與顯著水準均較接近，且其 K-S 檢定之拒絕比例也都較低。. 政治大型一誤差機率 K-S 檢定拒絕率立. 表 3.1 型一誤差機率及 Kolmogorov–Smirnov 檢定拒絕率. 0.0538 0.0465 0.0504 0.0479 0.0509 0.0505. 0.0839 0.0695 0.0678 0.0601 0.0580 0.0571. io. 0.0650 0.0565 0.0570 0.0537 0.0562 0.0549. n. al. Ch. y. 1.0000 0.6704 0.2201 0.1155. sit. 0.0813 0.0519 0.0519 0.0488. er. 0.1800 0.0813 0.0700 0.0605. ‧ 國. n-p. Nat. n=50 n=60 n=70 n=80 n=90 n=100. n-2. ‧. n=10 n=20 n=30 n=40. n-p. 學. df. engchi. 20. i n U. v. n-2 0.1122 0.0580 0.0506 0.0468 0.0520 0.0493 0.0527 0.0480 0.0514 0.0511.

(28) 第三節. Oja (1987)方法下設計變數值之探討. Oja (1987) 在提到設計變數𝑍時有給予條件∑𝑛1 𝑧𝑖 = 0，亦即該變數值加總為零。本小節欲以模擬的方式，以兩個解釋變數為例（一共變項𝑋及一設計變數𝑍），藉由驗證設計變數值扣除其平均值與否其型一誤差機率是否有所差異，來說明在一般複迴歸模型下(亦即非實驗設計的情況)，限制條件 ∑𝑛1 𝑧𝑖 = 0的必要性。首先產生 1000 組資料集（dataset），假設樣本數為 20（n=20），μ為 5，𝛽1 、 𝛽2分別為 2 和 0；解釋變數𝑋及𝑍皆來自均勻分配 U(0,3)，誤差項𝜀𝑖 來自標準常態分配 N(0,1)。藉由以上設定產生反應變數值𝑦𝑖 = 5 + 2𝑥𝑖 + 0𝑧𝑖 + 𝜀𝑖 ，並分別考慮. 政治大中排列次數 M 為 999），進而計算𝑝 立 − 𝑣𝑎𝑙𝑢𝑒。在顯著水準α = 0.05之下，計算 1000. 標準化及非標準化之設計變數𝑍，以文獻探討中所介紹之方法產生排列分配（其. ‧ 國. 學. 個𝑝 − 𝑣𝑎𝑙𝑢𝑒小於顯著水準之比例即為型一誤差機率。. 表 3.2 為考慮設計變數值扣除其平均值與否，執行 100 次之型一誤差機率平. ‧. 均值及標準差。可以發現兩者平均值僅差 0.00001，標準差差距約為 0.00051，兩. sit. y. Nat. 者差異不大。. al. er. io. 由於該方法原先架構於實驗設計的角度下，欲探討的變數為類別型變數，因. v. n. 此有設計變數值加總為 0（∑𝑛1 𝑧𝑖 = 0）之條件。若推廣至一般複迴歸模型，則並沒有其必要性。. 表 3.2. Ch. engchi. i n U. 設計變數值扣除平均與否之型一誤差機率平均值及標準差平均值. 標準差. 扣除平均值. 0.04930. 0.00639. 未扣除平均值. 0.04959. 0.00593. 21.

(29) 第四章. 研究方法與設計. 第一節. 研究方法. 藉由第三章第一節的討論得知，在複迴歸模型之下，係數（𝑏2 ）與𝑡值之對等關係不一定存在。此外，若誤差並非來自常態分配，則𝑡2 統計量也不一定是樞紐統計量，僅在樣本數大時為近似樞紐統計量（asymptotic pivotal statistics）。為了解使用係數做為統計量之可行性，本研究將使用蒙地卡羅方法（monte carlo method），透過 R 統計軟體（version 3.3.2）來模擬比較型一誤差機率及檢定力。. 一、. 治政資料生成以及型一誤差機率、檢定力計算方式大立. 首先藉由設定的特定分配隨機產生數據，分別做為解釋變數值及誤差值，並. ‧ 國. 學. 給定各解釋變數之真實參數值，進而產生反應變數值。將反應變數針對解釋變數. ‧. 做迴歸得到觀察到的檢定統計量，並取絕對值作為臨界值。接著再以文獻中所介. y. Nat. 紹之六種複迴歸係數排列檢定方法，將資料進行排列並建立其排列分配，進而計. er. io. sit. 算在排列分配中大於或等於臨界值之比例，並以此作為𝑝 − 𝑣𝑎𝑙𝑢𝑒。重複以上動作 N 次即可得出型一誤差機率及檢定力的一個估計值。詳細模擬流程如圖 4.1 所示。. n. al. 二、. Ch. 模擬結果評估方式. engchi. i n U. v. 欲探討任一檢定方法之可行性，首先須先探討其型一誤差機率值是否呈現過度膨脹，抑或過度縮水之情形。若模擬次數為 N 次，並給定顯著水準α = 0.05，則預期檢定結果小於顯著水準之比例應為 5%。以 95%信賴區間的角度來看，若該檢定方法所計算出之型一誤差機率值並未介於 0.05×0.95. (0.05 − 1.96 × √. 𝑁. 區間內，則視該方法可能不適當。 22. 0.05×0.95. , 0.05 + 1.96 × √. 𝑁. ).

(30) 產生資料解釋變數 X 和 Z 以及誤差均由特定分配隨機產生依給定之真實參數值計算反應變數值 Y 𝑌 = 𝛽0 + 𝛽1 𝑋 + 𝛽2 𝑍 + 𝑒. 計算𝒃𝟐,𝒐𝒃𝒔 (觀察到的檢定統計量) 將反應變數 Y 對解釋變數 X 和 Z 做迴歸得到最小平方參數估計值. 政治大. 並計算𝑏2,𝑜𝑏𝑠 作為臨界值. N次. 建立排列分配. 依據第二章所述的六種方法. 學. 分別將資料進行排列. Nat. y. 以最小平方法計算參數估計值𝑏2𝜋 值. n. er. io. sit. 重複執行 M 次. al. ‧. ‧ 國. 立. 重複執行. 計算 𝒑 − 𝒗𝒂𝒍𝒖𝒆. Ch. engchi. i n U. v. 計算𝑏2𝜋 大於或等於𝑏2,𝑜𝑏𝑠 之絕對值的比例 𝑝 − 𝑣𝑎𝑙𝑢𝑒 =. # {𝑏2𝜋 | |𝑏2𝜋 | ≥ |𝑏2,𝑜𝑏𝑠 |} 𝑀+1. 型一誤差機率／檢定力計算資料數據集𝑝 − 𝑣𝑎𝑙𝑢𝑒小於顯著水準α的比例 # {𝑝 − 𝑣𝑎𝑙𝑢𝑒| 𝑝 − 𝑣𝑎𝑙𝑢𝑒 < α} 𝑁 *註：𝑡2 統計量之模擬流程亦同。圖 4.1 模擬流程圖 23.

(31) 第二節. 研究設計. 在以往的文獻中亦提及過類似的模擬研究，然而卻沒有同時比較這六種複迴歸係數排列檢定方法，以及統計量若非使用樞紐統計量 (此處指的是𝑡2 統計量)之相關模擬。參考過去文獻的參數設定方式（如表 4.1），本研究之參數設計如下表 4.2 所示。其中考量在排列檢定下，誤差分配並無限制必須來自標準常態分配的條件之下，若分配結構不同，其模擬結果或許也有所差異。因此在本節的設定中，考慮三種不同偏斜程度的分配作為誤差的分配結構，除了在執行迴歸分析時要求之標. 政治大配），以及右偏之指數分配（在此將隨機產生之誤差開三次方，以凸顯該分配之立. 準常態分配外，亦考量兩端極端值較多之厚尾分配（在此挑選自由度為 5 之 t 分. ‧ 國. 學. 右尾特性）。. 此外，我們也將解釋變數間之相關性納入考量。參考 Anderson and Legendre. ‧. (1999) 之方法，將相關係數矩陣進行特徵值分解（singular value decomposition），. sit. y. Nat. 以計算相關係數矩陣平方根（square root of correlation matrix），進而與解釋變數. al. Ch. engchi. er. 𝑧12 𝑧22 1 ⋮ ) 為解釋變數矩陣，𝑹 = (𝑟21 𝑧𝑛2. n. 𝑥11 𝑥21 令𝑾=( ⋮ 𝑥𝑛1. io. 矩陣相乘，以產生具有相關性之新解釋變數值。詳細計算方式如下呈現：. i𝑟v12) = 𝑷𝑫𝑷𝑇 為相關係 n U 1. 數矩陣，其中 P 為特徵向量（eigen vector），D 為特徵值（eigen value）對角線矩 1. 1. 陣。則 𝑹2 = 𝑷𝑫2 𝑷𝑇 即為相關係數矩陣平方根，𝑾𝑹 = 𝑾𝑹1/2 即為具相關性之新解釋變數矩陣。. 24.

(32) 表 4.2 本研究之參數設計重複模擬次數. 3000. 排列次數. 999. 樣本數. 10, 30, 50. 解釋變數. 均勻分配 U(0, 3). 解釋變數間相關性. 0, 0.8 標準常態分配 N(0, 1). 誤差分配. 3. 1. ‧ 國. 學. 𝛽0 、𝛽1. 立. 自由度為 5 的 t 分配 t(5) 政治大指數分配三次方exp(1). 𝛽2. 0, 0.3, 0.75. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 25. i n U. v.

(33) 表 4.1 文獻使用之模擬設定 Method Issue Manly. Freedman and Lane. Kennedy. ter Braak. Levin and Robbins. Oja. Type I Error comparing t / numerator / slope coefficient as statistics. ●. Type I Error. ●. ●. ●. ●. ●. ●. ● ● (using n-p) ● (using n-p). ●. ●. Significance and Power. ●. Type I Error. ●. al. ●. 10000. 768 Power. ●. ●. ●. {3}. N(0, 1)、exp(1)、 exp(1)^3. uniformly at values {1, 2, 3} in a crossed 3*3 design. {0.0, 0.5, 1.0, 2.41}. N(0, 1)、exp(1)^3. {10, 20, 30, 40, 50, 60). N(0, 1)、exp(1)^3. {2}. N(0, 1). {8, 20, 100}. N(0, 1)、exp(1)、 exp(1)^3、 generalized lambda distribution. not mentioned {20, 50}. Bivariate Lognormal(1, 1). iv. {0.0, 0.5, 0.9}. {0.75 (n=9, 18), 0.4 (n=36, 54), 0.3 (n=72,90). {0.0, 0.9}. {0, 2, 4, 5, 6, 8, 10, 20}. {0}. no setting. {1}. {0}. no setting. {1}. {0} {2}. {0.0, 0.8} {2.5/sqrt(n), 4/sqrt(n)} not mentioned. X1、Z1 from Bivariate Lognormal(1, 1) ; X2、Z2 from Bivariate Lognormal(1, 1). {4}. {0} {0.8} {4/sqrt(n)}. {20}. exp(1)^3. 19's X from U(0, 3) , 20th X is 33 ; Z from U(0, 3). {2}. {6}. 1000. {12, 24, 48, 96}. N(0, 1)、U(sqrt(3),sqrt(3))、 exp(1)、Weibull(1, 1/3). Z from U(-1, 1) ; X from square trend of Z and mean-centred. {2}. {1}. 26. no setting. {0}. {0}. 99. ●. Z=0.3X+U(0, n) , n is chosen to create a desired degree of collinearity. {2, 5, 10}. N(0, 1)、exp(1)、 exp(1)^3、 generalized lambda distribution. n engchi U. {0}. Collinearity. {5, 10}. U(0, 3). {12, 20, 40}. {1}. (n-1)'s X value from U(0, 3) nth value is 55 ; Z from U(0, 3). 999. ●. A.M. Winkler et al. (2014). {2} {2}. {10, 20, 100}. ●. Ch. N(0, 1). 29's X from U(0, 3), 30th X {33, 55, 111, 222} ; Z from U(0, 3). 999. ● 10000. U(0, 55). {30}. ●. ●. ●. ●. 10000. n. ●. Power. 10000. io. O'Gorman (2005) Type I Error. 1000. {9, 18, 36, 54, 72, 90}. Nat. ●. Power. 立 ●. 政治大. 1000. ●. ●. Type I Error. Manly (2007). 𝟐. N(0, 36). ‧. ●. ●. ●. Anderson and Robinson (2001) ●. ●. ●. ●. Type I Error Type I Error with Non-Pivotoal Statistics (using slope coefficient). Number of Explanatory Variable. y. Type I Error w/ and w/o Outlier. Type I Error w/ and Outlier. Explanatory Variable. sit. ●. Type I Error. Power. Error. 學. Anderson and Legendre (1999). 𝒏. ●. ‧ 國. Kennedy and Cade (1996). Simulation Permutation Dataset. er. Paper. {(0.0, 0.0), (1.5, 0.0), (3.0, 0.0), (0.0, 6.0), (0.0, 12.0), (1.5, 6.0)}. no setting. {0} {0.5}. {0, 0.8} {0.5}.

(34) 第五章. 研究結果. 本章將藉由第四章所詳述之參數設定進行模擬，並且比較𝑡2 統計量以及係數 𝑏2 作為統計量之差異。首先觀察在各種參數設定之下，每一種排列檢定方法所計算之型一誤差機率是否介於 0.05×0.95. (0.05 − 1.96 × √. 3000. 0.05×0.95. , 0.05 + 1.96 × √. 3000. ) = (0.0422, 0.0578). 之區間內，以衡量該方法之可行性。若該方法合適，則再進一步觀察兩種統計量之檢定力大小，以了解在型一誤差犯錯機率都在同一基準之下，何種統計量所得之檢定力較大。. 立. 政治大. 學. 一、. 型一誤差機率. ‧ 國. 第一節. 解釋變數間相關係數為 0. ‧. 表 5.1 為假定解釋變數間不相關的情況，各種排列檢定方法於不同樣本數以. sit. y. Nat. 及誤差分配下之型一誤差機率。整體而言，在誤差分配並無太大偏斜之狀態下，. al. er. io. 不論何種方法，使用𝑡2 統計量之型一誤差機率均介於容許範圍之下；若誤差分配. v. n. 較偏斜，則不論樣本數大小，使用理論方法計算之型一誤差機率均低於區間下界；. Ch. engchi. i n U. ter Braak (1992)方法則隨著樣本數增加其值越接近區間範圍；其餘方法則皆適用。若使用𝑏2 作為統計量，則在誤差分配無太大偏斜之下，使用 Freedman and Lane、Kennedy、Levin and Robbins、ter Braak 方法之型一誤差機率值皆於樣本數較小時呈現膨脹，並且隨著樣本數增加呈現下降之趨勢；Manly 方法則不論樣本數大小，其值均嚴重偏低；Oja 方法則相對較穩定，於各樣本數大小下型一誤差均介於範圍內。若誤差分配較偏斜，以 Oja 方法相對穩定，Manly、Freedman and Lane 及 Kennedy 方法則於樣本數大時適用，其餘方法則不太適合。為更輕易觀察出各種方法的相對差異，將各種排列方法之型一誤差機率圖繪製於圖 5.1 及圖 5.2。 27.

(35) 表 5.1 各排列檢定方法之型一誤差（解釋變數間相關係數為 0） N(0, 1). exp(1)3. t(5). Method 10. 30. 50. 10. 30. 50. 10. 30. 50. 𝑡2. 0.0513 0.0537 0.0493. 0.0510 0.0497 0.0543. 0.0377 0.0333 0.0327. Freedman 𝑡2. 0.0530 0.0500 0.0477. 0.0493 0.0530 0.0503. 0.0423 0.0450 0.0530. 𝑏2 0.0667 0.0547 0.0503. 0.0703 0.0563 0.0523. 0.0650 0.0503 0.0570. 𝑡2. 0.0560 0.0513 0.0480. 0.0577 0.0537 0.0503. 0.0457 0.0447 0.0530. 𝑏2 0.0667 0.0547 0.0503. Theory. & Lane. 𝑡2. 0.0553 0.0500 0.0477. 0.0557 0.0523 0.0487. 0.0513 0.0450 0.0543. Robbins. 𝑏2 0.0957 0.0607 0.0523. 0.0967 0.0587 0.0563. 0.1010 0.0547 0.0610. 𝑡2. 0.0527 0.0517 0.0507. 0.0503 0.0510 0.0497. 0.0433 0.0460 0.0547. 𝑏2 0.0130 0.0083 0.0083. 0.0200 0.0173 0.0147. 0.0397 0.0457 0.0537. 𝑡2. 0.0533 0.0513 0.0507. 0.0503 0.0507 0.0497. 0.0457 0.0473 0.0560. 𝑏2 0.0513 0.0487 0.0497. 0.0497 0.0490 0.0500. 0.0510 0.0477 0.0560. 0.0490 0.0513 0.0490. 0.0367 0.0413 0.0483. 0.0723 i U 0.0623 e0.1367 ngch. 0.1267 0.0657 0.0663. Ch. 𝑏2 0.1360 0.0730 0.0617. 0.0650 0.0503 0.0570. sit. y. ‧. al. 0.0523 0.0507 0.0503. n. ter Braak. io. 𝑡2. Nat. Oja. ‧ 國. Manly. 立. 學. Levin &. 政0.0703治0.0563大0.0523. er. Kennedy. v ni. *粗體表示型一誤差機率未介於(0.04220,0.0578)區間內。. 28.

(36) a. error from N(0, 1). c. error from exp(1)3. b. error from t(5). 立. 政治大. 圖 5.1 各排列方法下，𝑡2 統計量之型一誤差機率圖 (相關係數為 0). ‧ 國. 學. a. error from N(0, 1). c. error from exp(1)3. b. error from t(5). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5.2 各排列方法下，𝑏2 統計量之型一誤差機率圖 (相關係數為 0). 29.

(37) 二、. 解釋變數間相關係數為 0.8. 表 5.2 為考慮兩解釋變數間相關係數為 0.8 時，各種排列方法於不同樣本數以及誤差分配之型一誤差機率。可以發現與相關係數為 0 時一樣，在誤差分配並無太大偏斜之下，各種方法使用𝑡2 統計量均相當適合；若誤差分配較偏斜，則大多數方法計算之型一誤差機率都會稍微偏低，其中以 Oja (1987)、Manly (1991、 1997)兩種方法較為適合。然而在該情境之下，若使用𝑏2 作為統計量，不論誤差分配以及樣本數大小為何，Levin and Robbins、Oja、ter Braak 三種方法之型一誤差機率值均呈現膨脹的. 政治大僅 Freedman and Lane 以及立Kennedy 方法於樣本數大時，使用該統計量計算之值現象，Manly 則屬偏低，因此這四種方法較不適合使用此統計量。六種方法中，. ‧. ‧ 國. 學. 落於區間之內。圖 5.3 及圖 5.4 呈現的是各種排列方法之型一誤差機率比較圖。. n. er. io. sit. y. Nat. al. Ch. engchi. 30. i n U. v.

(38) 表 5.2 各排列檢定方法之型一誤差機率（解釋變數間相關係數為 0.8） N(0, 1). exp(1)3. t(5). Method 10. 30. 50. 10. 30. 50. 10. 30. 50. 𝑡2. 0.0500 0.0577 0.0527. 0.0503 0.0547 0.0530. 0.0400 0.0357 0.0350. Freedman 𝑡2. 0.0527 0.0463 0.0467. 0.0530 0.0510 0.0503. 0.0473 0.0417 0.0463. 𝑏2 0.0707 0.0533 0.0497. 0.0700 0.0543 0.0527. 0.0657 0.0457 0.0480. 𝑡2. 0.0583 0.0477 0.0470. 0.0583 0.0507 0.0493. 0.0467 0.0413 0.0460. 𝑏2 0.0707 0.0533 0.0497. Theory. & Lane. 𝑡2. 0.0560 0.0480 0.0480. 0.0547 0.0507 0.0520. 0.0607 0.0410 0.0510. Robbins. 𝑏2 0.3350 0.2513 0.2600. 0.3243 0.2610 0.2647. 0.3370 0.2897 0.2713. 𝑡2. 0.0513 0.0483 0.0463. 0.0543 0.0493 0.0490. 0.0450 0.0433 0.0487. 𝑏2 0.0140 0.0117 0.0120. 0.0173 0.0207 0.0120. 0.0367 0.0410 0.0470. 𝑡2. 0.0533 0.0477 0.0470. 0.0507 0.0517 0.0500. 0.0543 0.0430 0.0487. 𝑏2 0.2717 0.2353 0.2523. 0.2610 0.2433 0.2540. 0.2643 0.2723 0.2667. 0.0500 0.0500 0.0497. 0.0460 0.0420 0.0453. 0.0707 i U 0.0640 e0.1340 ngch. 0.1280 0.0683 0.0590. Ch. 𝑏2 0.1327 0.0673 0.0570. 0.0657 0.0457 0.0480. sit. y. ‧. al. 0.0537 0.0477 0.0473. n. ter Braak. io. 𝑡2. Nat. Oja. ‧ 國. Manly. 立. 學. Levin &. 政0.0700治0.0543大0.0527. er. Kennedy. v ni. *粗體表示型一誤差機率未介於(0.04220,0.0578)區間內。. 31.

(39) a. error from N(0, 1). c. error from exp(1)3. b. error from t(5). 立. 政治大. 圖 5.3 各排列方法下，𝑡2 統計量之型一誤差機率圖 (相關係數為 0.8). ‧ 國. 學. a. error from N(0, 1). c. error from exp(1)3. b. error from t(5). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 圖 5.4 各排列方法下，𝑏2 統計量之型一誤差機率圖 (相關係數為 0.8). 32.

(40) 第二節. 一、. 檢定力. 解釋變數間相關係數為 0. 表 5.3 為解釋變數間不相關時，各排列方法於型一誤差機率在同一基準下所計算之檢定力，其中由於使用 ter Braak 方法以𝑏2 作為統計量型一誤差機率在各種情境下均呈現膨脹，在此未將其納入考慮。此外，由於𝛽2 = 0.3以及𝛽2 = 0.75 兩種參數設定下所呈現之趨勢相同，在此僅陳列後者之檢定結果。在誤差分配較無偏斜之下， Freedman and Lane、Kennedy、Levin and Robbins. 政治大. 之方法，使用係數作為統計量所計算之檢定力，皆較使用𝑡2 統計量高； Oja 方法. 立. 於大多數情況皆以𝑡2 統計量之檢定力較高。若誤差分配較偏斜，不論 Oja 或是. ‧ 國. 學. Manly 之方法，使用𝑡2 統計量之檢定力幾乎都較高；Freedman and Lane、Kennedy 之方法則以係數作為統計量較高。整體而言，雖然檢定力有所差異，但其幅度相. ‧. io. sit. y. Nat. n. al. er. 當些微。. Ch. engchi. 33. i n U. v.

(41) 表 5.3 各排列檢定方法之檢定力（解釋變數間相關係數為 0）單位：百分比（％）. 誤差分配較無偏斜 N(0, 1). t(5). Method 10. 30. 50. 10. 30. 50. 𝑡2. -. 89.70. 98.80. -. 73.30. 91.13. 𝑏2. -. 90.47. 98.87. -. 74.73. 91.30. 𝑡2. -. 89.90. 98.73. -. 73.43. 91.13. 𝑏2. -. -. 74.73. 91.30. 𝑡2. 立-. 𝑏2. Freedman & Lane. Kennedy. 98.77. -. -. 91.17. -. -. 98.87. -. -. 91.93. 𝑡2. 34.50. 89.63. 98.73. 26.37. 73.63. 91.20. 𝑏2. 32.00. 89.63. 98.80. 25.00. 73.33. 91.07. ‧ 國. ‧. exp(1)3 10. n. al. 𝑡2 Oja. C h 11.10 engchi U. er. io. sit. y. 誤差分配較偏斜. Nat Method. 學. -. Levin & Robbins. Oja. 政90.47 治98.87 大. 30. 50. 8.70. 8.80. v ni. 𝑏2. 10.47. 8.47. 8.93. 𝑡2. -. 8.63. 8.77. 𝑏2. -. 8.03. 8.53. 𝑡2. -. 8.67. 8.53. 𝑏2. -. 9.27. 8.87. 𝑡2. -. 8.73. 8.60. 𝑏2. -. 9.27. 8.87. Manly. Freedman & Lane. Kennedy. *粗體表示該統計量檢定力較高。 34.

(42) 二、. 解釋變數間相關係數為 0.8. 若考慮解釋變數間之相關性，僅 Freedman and Lane、Kennedy 之方法在樣本數較大時，以𝑏2 作為統計量計算之型一誤差機率於容許範圍內。在此僅比較這兩種方法使用不同統計量之檢定力大小。下表 5.4 為解釋變數間相關係數為 0.8 時，兩種排列方法所計算之檢定力。於該情境下，不論誤差分配之偏斜狀態，兩種方法均以係數作為統計量之檢定力較高。此外，比起解釋變數間不相關之情況下，兩統計量檢定力差異程度較大。. 政治大表 5.4 各排列檢定方法之檢定力（解釋變數間相關係數為 0.8）立 exp(1)3 30. 50. y. 5.73. 5.93. sit. t(5). ‧. ‧ 國. 學. Method. N(0, 1). 6.27. 6.20. 5.60. 5.90. 6.27. 6.20. 50. 30. 50. 𝑡2. 50.17. 73.37. 36.70. 54.37. 𝑏2. 52.17. 74.20. 38.07. 54.97. Nat. 30. io. er. Freedman & Lane. a50.33 iv l C 73.23 36.97 n54.40 i U 54.97 e n g c h38.07 52.17 h74.20. n. 𝑡2 Kennedy. 𝑏2. 單位：百分比（％）. *粗體表示該統計量檢定力較高。. 35.

(43) 第三節. 小結. (1) 藉由觀察型一誤差機率的模擬結果，可將各排列方法適用時機統整於表 5.5。整體而言，使用𝑡2 統計量的模擬結果較為穩定，使用𝑏2 則較不穩定。 (2) 若解釋變數間不相關時，則當誤差分配較不偏斜時，Freedman and Lane、 Kennedy、Levin and Robbins 之排列方法於樣本數大時適用𝑏2 統計量，且檢定力結果皆較使用𝑡2 統計量高，但差異程度不大。若誤差分配較偏斜，雖 Oja、 Manly 方法適用𝑏2 統計量，但其檢定力較𝑡2 統計量低。 (3) 若解釋變數間相關性高，則不論誤差偏斜狀態，Freedman and Lane、Kennedy. 政治大異程度較解釋變數間不相關時明顯。立. 之排列方法於樣本數大時適用𝑏2 統計量，且檢定力結果比𝑡2 統計量高，且差. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 36. i n U. v.

(44) 表 5.5 各排列方法適用時機誤差無太大偏斜 𝑡2. 誤差較偏斜 𝑏2. 𝑡2. 𝑏2. Method 𝑟 = 0.8. 𝑟=0. 𝑟 = 0.8. 治政大. Theory t. 立. Manly. 較合適. 樣本數大. 樣本數大不太合適. 較合適. 不太穩定. a合適 l C h. 不太合適. engchi. i n U. 樣本數大較合適. 合適. v. 合適. 不太合適. 樣本數大. 不太合適. 不太穩定較合適. 37. 不太合適. 較合適. y 不太合適. n. ter Braak. 樣本數大不太穩定. 合適. io. Oja. -. 樣本數大較合適. Nat. 合適. 𝑟 = 0.8. 不太合適. ‧. Levin and Robbins. 𝑟=0. sit. Kennedy. 𝑟 = 0.8. 學. ‧ 國. Freedman and Lane. 𝑟=0. er. 𝑟=0. 不太合適.

(45) 第六章. 結論與建議. 第一節. 結論. 我們常常需要使用模型來進行統計分析以及推論，然而模型背後均有假設條件存在。若無法達成假設之要求，則藉由該模型所分析出的結論可能會有問題。當理論模型假設條件無法達成的時候，排列檢定這一種無母數的統計方法無疑是一種相當實用的方法，尤其在樣本數較少的情況下。該方法的優點主要為限制較少，且概念想法較為簡單並且容易操作。但是使用此檢定方法的缺點往往是過於保守，以至檢定力相對較低。. 立. 政治大. 就許多處理單一變數或二變數的無母數方法中，由於架構簡單，許多檢定統. ‧ 國. 學. 計量均存在對等關係，因此實務操作上，我們可以選擇計算量最少的統計量來進行。在迴歸模型下，由於涉及到的變數至少三個，結構上相對複雜，各統計量之. ‧. 間的對等關係也不復存在。因此我們需找尋一個合適的統計量來執行檢定，該統. y. Nat. sit. 計量既不能過於保守也不能過於寬鬆。本研究使用蒙地卡羅方法，探討使用係數. n. al. er. io. 估計值（𝑏2 ）作為檢定統計量之可行性，並與傳統的𝑡2 統計量相互比較。根據模. i n U. v. 擬結果，整體而言可以發現使用樞紐統計量（𝑡2 值）的型一誤差機率相較於僅使. Ch. engchi. 用係數作為統計量來得穩定，尤其在誤差分配較無偏斜的情形下。然而並非所有時機使用𝑡2 統計量均合適，若誤差分配呈現較偏斜的分布情形，則理論𝑡2 值並不適用，其他排列方法則需視樣本數大小而定。使用𝑏2 統計量求得之型一誤差機率雖於多數情況下較不合適，但若該統計量適用時，其檢定力結果會比𝑡2 統計量還高，像是在樣本數較大時 Freedman and Lane 以及 Kennedy 的排列方法。此外，當解釋變數間存在較高相關性時，藉由兩者統計量所得出的檢定力差異幅度會更加明顯。. 38.

(46) 第二節. 建議. 在現實的情況中，資料的架構往往較為複雜，因此無法透過模擬完整呈現真實的樣貌。本研究的模擬僅針對給定的條件下進行分析，若需進一步探討係數統計量的可行性，則有以下幾點建議：. (1) 可進一步藉由模擬的方式，尋找各排列方法於樣本數多大的情況下適合使用之基準點。雖於表 5.5 有大致統整適用時機，但僅描述大略概況，並無明確指出適用之樣本數大小基準為何。. 政治大釋變數間不相關以及高度相關兩種情況。因此可更深入探討解釋變數間不同立. (2) 在實際的資料中，解釋變數之間往往存在一定的相關性，於本文中僅考量解. ‧ 國. 學. 相關程度之情形。此外，本文之解釋變數僅以均勻分配隨機產生，亦可改變產生解釋變數之特定分配，並考量不同解釋變數個數下之情形。因此可觀察. ‧. 各種排列方法的檢定結果是否會因為以上所提及的情境而有所差異。. sit. y. Nat. (3) 我們亦可觀察產生誤差分配之其他特定分配，如考量誤差分布呈現較均勻，. al. er. io. 抑或是過度集中的情形。. v. n. (4) 本文在探討統計量可行性時，是以型一誤差機率值是否介於 95%信賴區間內. Ch. engchi. i n U. 作為判斷準則。然而使用不同統計量所得之型一誤差機率值本身就有所差異，在該基準之下判斷統計量之檢定力大小或許有失公允。或許可嘗試將各統計量之型一誤差機率值調整至同一基準後，再進行檢定力大小之比較。. 39.