第二章 文獻探討
第二節 複迴歸模型下係數排列檢定方法
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
4
等於𝑡𝑜𝑏𝑠之絕對值的比例，亦即# {𝑡𝜋| |𝑡𝜋|≥|𝑡𝑜𝑏𝑠|}
𝑀 ，並以此做為 p-value 來進行決策。
若𝑝 − 𝑣𝑎𝑙𝑢𝑒 =# {𝑡𝜋| |𝑡𝜋|≥|𝑡𝑜𝑏𝑠|}
𝑀 < 𝛼則拒絕虛無假設，代表有足夠證據顯示加入解 釋變數𝑍對於模型解釋有所幫助。
前述的論述，是在固定 Z 的情況，針對 Y 來進行排列。實際上，相同的檢定 結果也可以藉由固定 Y，針對 Z 來進行排列的方式來獲得。
第二節 複迴歸模型下係數排列檢定方法 一、 模型及假設檢定（hypothesis testing）
在不失一般性的情形下，我們將僅針對兩個解釋變數的情況來做說明。考慮 兩個解釋變數𝑋、𝑍之複迴歸模型如下：
𝑌𝑖 = 𝛽0+ 𝛽1𝑋𝑖+ 𝛽2𝑍𝑖+ 𝜀𝑖 , 𝑖 = 1,2, … , 𝑛
在不限制誤差項𝜀𝑖必須來自期望值為 0，變異數為同質（𝜎2）的常態分配假 設之下，欲藉由無母數檢定方法，探討當模型已經納入解釋變數𝑋後，加入變數 𝑍是否能顯著增加模型額外的解釋能力。因此在顯著水準α之下，相對應的虛無假 設及對立假設為：
𝐻0：𝛽2 = 0 𝐻1：𝛽2 ≠ 0
針對原始資料，藉由最小平方估計法配適得出𝛽0、𝛽1、𝛽2之參數估計值𝑏0、 𝑏1、𝑏2，並得到各個觀察值之殘差（residual）𝑒𝑖。令𝑡2 = 𝑏2
𝑠(𝑏2)作為檢定統計量來 執行𝛽2是否等於 0 的邊際檢定，其中𝑠(𝑏2)為𝛽2估計值之標準差。
後續小節裡所要回顧的六種排列檢定方式均架構在相同的虛無假設之下，並 皆以原始資料所計算出之𝑡2值（記為𝑡2𝑜𝑏𝑠）做為臨界值。其次，依據各自的排列 檢定方式的構想，分別觀察藉由 M 個𝑡2𝜋統計量所架構出的排列分配中，𝑡2𝜋值大
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
5
於或等於𝑡2𝑜𝑏𝑠之絕對值的比例，亦即# {𝑡2𝜋| |𝑡2𝜋|≥|𝑡2𝑜𝑏𝑠|}
𝑀 ，並以此做為𝑝 − 𝑣𝑎𝑙𝑢𝑒進行 決策。若𝑝 − 𝑣𝑎𝑙𝑢𝑒 =# {𝑡2𝜋| |𝑡2𝜋|≥|𝑡2𝑜𝑏𝑠|}
𝑀 < α則拒絕虛無假設，代表有足夠證據顯示 在模型已經存在解釋變數𝑋的情況下，加入解釋變數𝑍能顯著增加模型的額外解 釋能力。
二、 排列分配
(一) Freedman and Lane (1983)
Freedman and Lane (1983)認為在虛無假設為真之下，如果仿照簡單線性迴歸 的方式，將𝑌或𝑍進行排列都不是適當的做法。他們認為在所有變數當中都會存在 某些相關性，而在此假設之下，若模型已存在𝑋的情況下，𝑌與𝑍沒有額外的關係 存在，也就是說𝑌與𝑍的關係是建立在給定𝑋的情況下。因此若只針對𝑍進行排列，
將會破壞𝑋與𝑍兩變數之間的原始相關性，這並不是一種合適的作法。因此 Freedman and Lane (1983)建議改採排列殘差的方式來進行。
首先將𝑌對𝑋做迴歸，藉此得到𝑦𝑖 = 𝑦̂𝑖+ 𝑢𝑖 = 𝑎0+ 𝑎1𝑥𝑖 + 𝑢𝑖，其中𝑎0、𝑎1為 該迴歸參數之最小平方估計值，𝑢𝑖為殘差。在虛無假設為真的情況之下，由於𝛽2 為 0，代表在模型已經存在解釋變數𝑋之下，再加入解釋變數𝑍已沒有額外的解釋 能力，因此藉由單獨對𝑋做迴歸所得之殘差𝑢𝑖，其值應與同時對𝑋、𝑍做迴歸所得 之殘差𝑒𝑖大致相同。也因此可以𝑢𝑖取代𝑒𝑖來進行排列，並且與𝑌對𝑋做迴歸的估計 式相加，計算新的反應變數值𝑦𝑖∗ = 𝑎0+ 𝑎1𝑥𝑖+ 𝑢𝜋𝑖，再將此新的反應變數值同時 對𝑋、𝑍做迴歸，並以最小平方法得到參數估計值𝑏0𝜋、𝑏1𝜋、𝑏2𝜋，並且計算檢定統 計量𝑡2𝜋 = 𝑏2𝜋
𝑠(𝑏2𝜋)，其中𝑠(𝑏2𝜋)為𝛽2之最小平方估計值之標準誤。重複進行 M 次以上 步驟，即可建構𝑡2𝜋之排列分配。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
6
(二) Levin and Robbins (1983)
在給定一些解釋變數的情況下，Levin and Robbins (1983)意欲藉由無母數統 計結合迴歸分析的方法，探討比較平均薪資是否會因性別而有所差異。他們將殘 差視為觀察值，想要藉由觀察其他解釋變數無法解釋的部分當中能夠由性別該變 數所解釋的比例，判斷該變數是否具有額外解釋能力。由於性別只有兩類，因此
實際的作法則是針對考慮其他變數之後得到無法被解釋的部分（殘差），藉此計
算男性與女性的平均，進而檢定性別該變數的額外解釋能力。
Levin and Robbins (1983)意欲探討的變數性別為類別型變數，並以大樣本近 似所得到之 z 值作為檢定統計量。依其想法，若欲運用至連續型變數並以 t 值為 檢定統計量，其做法如下：首先將𝑌對𝑋做迴歸，藉此得到𝑦𝑖 = 𝑦̂𝑖 + 𝑢𝑖 = 𝑎0+ 𝑎1𝑥𝑖 + 𝑢𝑖，其中𝑎0、𝑎1為該迴歸參數之最小平方估計值，𝑢𝑖為殘差。將𝑢𝑖視為新 的反應變數並對其進行排列後，對𝑍做迴歸以最小平方法得到估計式𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏2𝜋𝑧，並計算檢定統計量𝑡2𝜋 = 𝑏2𝜋
𝑠(𝑏2𝜋)，其中𝑏0𝜋、𝑏2𝜋為排列過後之迴歸參數最小平方 估計值，𝑠(𝑏2𝜋)為𝛽2之最小平方估計值之標準誤。重複進行 M 次以上步驟，即可 建構𝑡2𝜋之排列分配。
(三) Oja (1987)
Oja (1987)以實驗設計的角度出發，在完全隨機設計（completely randomized design）之下，隨機分配處理值（treatment value）給實驗單位（experiment unit）。 若在考慮其他共變項（covariate variable）後，該設計變數（design variable）於各 個水準下並無顯著差異，則代表設計變數值與其他共變項值任意做配對所得到的 結果應大致相同。
假設模型中𝑋為共變項（covariate variable），𝑍為設計變數（design variable）。 該做法將𝑍隨意排列並產生新的資料配對型態(𝑦, 𝑥, 𝑧𝜋)，再將𝑌對𝑋與𝑍𝜋做迴歸，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
7
以最小平方法得到估計式𝑦̂𝑖 = 𝑏0𝜋+ 𝑏1𝜋𝑥𝑖 + 𝑏2𝜋𝑧𝜋𝑖，並計算檢定統計量𝑡2𝜋 = 𝑏2𝜋
𝑠(𝑏2𝜋)， 其中𝑏0𝜋、𝑏1𝜋、𝑏2𝜋為排列過後之迴歸參數最小平方估計值，𝑠(𝑏2𝜋)為𝛽2之最小平方 估計值之標準誤。重複進行 M 次以上步驟，即可建構𝑡2𝜋之排列分配。
(四) Manly (1991、1997、2006)
Manly (1997) 認為在複迴歸模型之下，亦可仿照簡單線性迴歸模型下的方法，
亦即直接就反應變數𝑌進行排列來執行。由於此法基本上奠基於假設𝑌與所有解 釋變數均無關的情況之下，此並未考量其他解釋變數與𝑌之間的關係是否因此被 破壞，Manny (1991、1997)認為在複迴歸所使用的排列檢定方法都只是近似
（approximate）的，端看於該方法的近似好壞程度。Manly (1997、2006)並藉由 例子說明排列反應變數𝑌亦有相當好的結果。
此法將𝑌進行排列並產生新的資料配對型態(𝑦𝜋, 𝑥, 𝑧)，再將𝑌𝜋對𝑋與𝑍做迴歸，
以最小平方法得到估計式𝑦̂𝜋𝑖 = 𝑏0𝜋 + 𝑏1𝜋𝑥𝑖 + 𝑏2𝜋𝑧𝑖，並計算檢定統計量𝑡2𝜋 = 𝑏2𝜋
𝑠(𝑏2𝜋)， 其中𝑏0𝜋、𝑏1𝜋、𝑏2𝜋代表排列過後之迴歸參數最小平方估計值，𝑠(𝑏2𝜋)為𝛽2之最小平 方估計值之標準差。重複進行 M 次以上步驟，即可建構𝑡2𝜋之排列分配。
(五) ter Braak (1992)
ter Braak (1992)提到，一般傳統排列方法都是建立在虛無假設為真，且殘差 可以排列（permutable）的情況之下。ter Braak (1992)認為亦可架構於對立假設為 真的情況來進行排列，進而執行檢定。
首先將𝑌對𝑋與𝑍做迴歸，並以最小平方法得到估計式以及殘差𝑒𝑖。將𝑒𝑖排列 後與估計式相加，以計算新的反應變數值𝑦𝑖∗ = 𝑦̂𝑖 + 𝑒𝜋𝑖 = 𝑏0 + 𝑏1𝑥𝑖 + 𝑏2𝑧𝑖 + 𝑒𝜋𝑖， 再將此與𝑋、𝑍配對做迴歸，並以最小平方法得到參數估計值𝑏0𝜋、𝑏1𝜋、𝑏2𝜋，並且 計算檢定統計量𝑡2𝜋 =𝑏2𝜋−𝑏2
𝑠(𝑏2𝜋)。重複進行 M 次以上步驟，即可建構𝑡2𝜋之排列分配。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
8
值得注意的是，此法的檢定統計量與其他方法有些微差異。不過 Anderson and Legendre (1999)說明該做法是建立於𝑏2𝜋 = 𝑏2的假設之下，也就是假設排列後 所得之最小平方參數估計值會與排列前之參數估計值相同（亦即架構於對立假設 為真之下），而𝑏2𝜋於𝑏2附近的變化性（variability）又仿效𝑏2在真實參數值𝛽2的變 化性，因此使用𝑡2𝜋 = 𝑏2𝜋−𝑏2
𝑠(𝑏2𝜋)作為檢定統計量的結果，應該與其他方法相去不遠。
(六) Kennedy (1995)
Kennedy (1995) 認為針對𝛽2的檢定，是建立在考慮解釋變數𝑋之下，來探討 解釋變數𝑍的額外解釋能力，因此𝛽1是個干擾變數(nuisance variable)，應先將𝑋的 效果消除之後，再來探討解釋變數𝑍的額外解釋能力。因此不只應先消除反應變 數𝑌中可被𝑋解釋的部分，仍需將解釋變數𝑍中可被𝑋解釋的部分一併消除，再觀 察𝑍與𝑌的淨關係。
做法一樣是將殘差進行排列。首先將𝑌對𝑋做迴歸，藉此得到𝑦𝑖 = 𝑦̂𝑖+ 𝑢𝑖 = 𝑎0+ 𝑎1𝑥𝑖+ 𝑢𝑖，其中𝑎0、𝑎1為該迴歸參數之最小平方估計值，𝑢𝑖為殘差。此外，
亦將𝑍對𝑋做迴歸，藉此得到𝑧𝑖 = 𝑧̂𝑖 + 𝑣𝑖 = 𝑑0+ 𝑑1𝑥𝑖 + 𝑣𝑖，其中𝑑0、𝑑1為該迴歸 參數之最小平方估計值，𝑣𝑖為殘差。將𝑢𝑖做排列後對𝑣𝑖做迴歸，以最小平方法得 到估計式𝑢̂𝜋𝑖 = 𝑏0𝜋+ 𝑏2𝜋𝑣𝑖並且計算檢定統計量𝑡2𝜋 = 𝑏2𝜋
s(𝑏2𝜋)，其中𝑏0𝜋、𝑏2𝜋代表排列 過後之迴歸線最小平方參數估計值，𝑠(𝑏2𝜋)為𝛽2之最小平方估計值之標準差。重 複進行 M 次以上步驟，即可建構𝑡2𝜋之排列分配。
此法與 Freedman and Lane (1983) 所提出的方法，計算之𝑏2𝜋結果均相同，不 過由於不需要像 Freedman and Lane (1983) 一樣產生新的反應變數值，因此在進
行模擬時，使用該方法會較有效率。此外，在該方法之下𝛽1不會隨著排列而改變
其估計值。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
9
三、 複迴歸係數排列檢定方法差異比較
這一小節中，我們將就以上所提到的六種複迴歸無母數係數檢定方法，統整 各方法的特性及差異。各排列分配之估計式如表 2.1 呈現。
在架構排列分配方面，除了 Manly (1991、1997)排列觀察值及 Oja (1987)排 列解釋變數，其他四種方法均使用排列殘差值的方法來進行，其基本假設為殘差 是可以排列、交換的（exchangeable）。
反應變數值方面，四種排列殘差值的方法中，Levin and Robbins(1983) 以及 Kennedy (1995)將𝑢𝑖（𝑌對𝑋做迴歸所得之殘差）視為新的反應變數；Freedman and Lane (1983)以及 ter Braak (1992)則是將殘差進行排列後，產生新的反應變數值𝑦𝑖∗。 Manly 及 Oja 的方法則是產生新的資料配對型態（將觀察值或解釋變數進行排 列）。
假設檢定方面，除了 ter Braak 建立在對立假設為真的情況之下進行討論，
其餘方法皆建立在虛無假設為真之下。六種方法的差異比較如表 2.2 所示。
表 2.1 複迴歸係數排列分配估計式
方法 估計式
Freedman & Lane 𝑦̂𝑖∗ = 𝑏0𝜋 + 𝑏1𝜋𝑥𝑖 + 𝑏2𝜋𝑧𝑖 Levin & Robbins 𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏2𝜋𝑧
Oja 𝑦̂𝑖 = 𝑏0𝜋+ 𝑏1𝜋𝑥𝑖+ 𝑏2𝜋𝑧𝜋𝑖 Manly 𝑦̂𝜋𝑖 = 𝑏0𝜋 + 𝑏1𝜋𝑥𝑖 + 𝑏2𝜋𝑧𝑖 ter Braak 𝑦̂𝑖∗ = 𝑏0𝜋 + 𝑏1𝜋𝑥𝑖 + 𝑏2𝜋𝑧𝑖 Kennedy 𝑢̂𝜋𝑖 = 𝑏0𝜋 + 𝑏2𝜋𝑣𝑖
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
10
表 2.2 複迴歸係數排列檢定方法比較表 Freedman
& Lane
Levin &
Robbins Oja Manly ter Braak Kennedy
排列觀察值 ●
排列殘差值 ● ● ● ●
排列解釋變數 ●
殘差值𝑢𝑖視為新的反應變數 ● ●
產生新的資料配對型態 ● ●
產生新的反應變數值𝑦𝑖∗ ● ●
建立在虛無假設為真 ● ● ● ● ●
建立在對立假設為真 ●