迴歸分析中Suppression與Enhancement現象之探討 - 政大學術集成

全文

(1)國立政治大學統計學系碩士論文. 指導教授：江振東博士. 立. 政治大. ‧ 國. 學 ‧. 迴歸分析中. n. al. er. io. sit. y. Nat. Suppression 與 Enhancement 現象之探討 Ch. engchi. i n U. v. 研究生：劉家齊. 中華民國 104 年 6 月. 0.

(2) 目錄第一章.. 引言............................................................................................................ 6. 第一節. Suppression 與 Enhancement .......................................................... 6 第二節. 實例說明............................................................................................ 9 第三節. 符號定義與公式.............................................................................. 10 第二章. Enhancement 現象探討 .......................................................................... 12 第一節. Classical Suppressor ......................................................................... 12 第二節. Reciprocal Suppressor 或 V-suppressor ......................................... 13 第三節. 判定係數 R 2 與相關係數 r12 的函數關係........................................ 14 第四節. Enhancement 的出現機率與相關議題 .......................................... 16 第三章. Suppression 現象探討 ............................................................................. 20 第一節. 第二節. 第三節.. 政治大 V-suppressor 與其迴歸係數的關係 ............................................... 21 立 Enhancement 與 Suppression 之關聯性 ............................................. 23 依 r12 及 r2 r1 來做區分 ..................................................................... 25 依定義來做區分.............................................................................. 27 藉由向量幾何圖形來做區分.......................................................... 29. sit. y. Nat. 第三節. 第四節.. 依 r12 來做區分 ................................................................................. 23. ‧. 第二節.. 學. 第一節.. ‧ 國. 第四章.. Negative Suppressor ........................................................................ 20 C-suppressor .................................................................................... 20. n. al. er. io. 第五章. Suppressor 變數在模型變數選取時的可能影響 .................................. 34 第一節. 模擬實驗中的變數生成.................................................................. 34 第二節. 三種選取變數的方式...................................................................... 36 第三節. Suppressor 變數被選入模型的機率 .............................................. 36 第六章. 總結.......................................................................................................... 40 參考文獻...................................................................................................................... 41 附錄.............................................................................................................................. 43. Ch. engchi. 1. i n U. v.

(3) 表目錄表 1-1 文獻內容分類表 ............................................................................................... 8 表 1-2 判定係數比較表 ............................................................................................... 9 表 2-1 發生 Enhancement 的機率與期望值 ............................................................. 19 表 4-1 利用相關係數 r12 的值，來說明判定係數的變化情形 ................................ 23 表 4-2 利用相關係數 r12 來區分 V-suppressor 與 C-suppressor 的異同 .................. 24 表 5-1 Classical Suppressor 在 Forward Selection 時被選入模型的機率.................. 38 表 5-2 Classical Suppressor 在 Backward Elimination 時被選入模型的機率 ............ 38 表 5-3 Reciprocal Suppressor 在 Forward Selection 時被選入模型的機率 .............. 38 表 5-4 Reciprocal Suppressor 在 Backward Elimination 時被選入模型的機率......... 39 表 5-5 Negative Suppressor 在 Forward Selection 時被選入模型的機率 ................. 39 表 5-6 Negative Suppressor 在 Backward Elimination 時被選入模型的機率 ........... 39. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 2. i n U. v.

(4) 圖目錄: 圖 2-2 判定係數與相關係數的關係圖 ..................................................................... 16 圖 2-3 Enhancement 現象產生的區域 ....................................................................... 17 圖 4-1 藉由 r12 及 r2 r1 來呈現不同 Suppressor 變數發生的範圍.............................. 26 圖 4-2 兩自變數迴歸模型的向量幾何圖示 ............................................................. 30 圖 4-3 利用向量幾何來說明 Enhancement 與 Suppression 現象。 ....................... 33. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 3. i n U. v.

(5) 摘要自 Horst (1941)提出 suppressor 變數一詞起，由於後續許多研究採用不盡相同思維之著眼點，也就衍生出許多不同定義的 suppressor 變數。Horst (1941)著重在判定係數的變化，Darlington (1968)、Conger (1974) 及 Cohen and Cohen (1975) 則著重在迴歸係數的變化， Velicer (1978)則改用 semipartial correlation coefficient 來定義 suppressor 變數，再度將焦點轉回 Horst (1941)的思維。Currie and Korabinski (1984)引進 enhancement 一詞，以便與 suppression 有所區分。為了釐清這些紛擾的名詞定義，第二章、三章中，我們分別回顧 enhancement. 政治大的關聯性，依據四種不同的面向進行比較。第五章，我們針對 suppressor 變數存立. 與 suppression 兩現象。第四章中，我們針對 enhancement、suppression 兩種現象. ‧ 國. 學. 在的情況下，藉由模擬實驗的方式，探討 stepwise regression、forward selection、 backward elimination 三種變數選取方式的可能缺憾。第六章為總結。. ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 4. i n U. v.

(6) Abstract Since Horst (1941) introduced the term of suppressor variable, many different definitions of suppressor variables have appeared in literature. Originally, Horst (1941) based the definition on the coefficient of determination. Darlington (1968), Conger (1974) and Cohen and Cohen (1975) paid more attention on the regression coefficients instead. On the other hand, Velicer (1978) used semipartial correlation coefficient to define a suppressor variable, and directed the focus back to that of Horst (1941). In order to differentiate the two similarly related ideas, Currie and Korabinski. 政治大 reflected by the definition of Horst (1941) or Velicer (1978). 立. (1984) proposed the term of enhancement to describe exclusively the situations. In order to clarify the ambiguities resulting from various definitions of. ‧ 國. 學. suppressor variable in literature, we first reviewed enhancement and suppression. ‧. respectively in Chapters 2 and 3. In Chapter 4, we investigated their relationships. sit. y. Nat. from four different perspectives. In Chapter 5, we studied the possible drawbacks on. io. er. using stepwise regression, forward selection, and backward elimination these three variable selection procedures on the presence of a suppressor variable. Conclusions. n. al. are provided in Chapter 6.. Ch. engchi. 5. i n U. v.

(7) 第一章. 引言在進行資料分析時，若想要探討因變數與自變數之間的可能關聯性，迴歸分析無疑是最被廣為使用的一種統計工具。在迴歸分析中，模型是否有用，一種可行的方式是藉由模型解釋了多少因變數 Y 的變異來決定之，模型能解釋的變異越多，則表示此模型解釋能力越強，因此模型中的自變數該都如何選取，就成為一個重要的議題.。. 第一節.. Suppression 與 Enhancement. 政治大型中的其他自變數有所關聯的自變數後，居然可能大幅提高整體自變數可以解釋立 Horst (1941)發現，在一個複迴歸模型中加入一個與因變數 Y 完全無關但與模. ‧ 國. 學. 因變數 Y 的變異的比例，並將此一自變數稱之為 suppressor 變數，而這種現象截至今日為止仍有許多文獻稱之為 suppression。自 1941 年後，相關議題的探討陸. ‧. 續出現於文獻之中，針對 suppressor 變數的定義及類型，以及產生的可能緣由，. sit. y. Nat. 引發了一連串的討論。由於 suppressor 變數除了能夠大幅提高因變數 Y 的變異可. al. er. io. 以被解釋的比例外，自變數所對應的迴歸係數在簡單迴歸模型與複迴歸模型也會. v. n. 有顯著的不同，後續的許多文獻反將焦點集中於迴歸係數變化的討論，並將這些. Ch. engchi. i n U. 變數泛稱為 suppressor 變數。然而由於名詞定義的不一，反倒引起許多不必要的困擾。1984 年 Currie and Korabinski 針對 Horst (1941)所觀察到的現象重新賦予 enhancement 一詞，以便有所區別。儘管 suppressor 變數及 enhancement 的現象並不僅侷限於兩個自變數的情況，然而針對兩個自變數的情況來進行討論，並不失其一般性，因此文獻中幾乎完全聚焦於兩個自變數的迴歸模型的探討。 2005 年時，Friedman and Wall 就既往文獻中相關議題的探討，依據兩自變數間的相關係數 r12 的取值範圍總結歸納成四個數值區塊，並藉由對應的模型特性區分為 redundancy、suppression 及 enhancement 三大類，其中 enhancement 指的是因變數 Y 的變異可以被解釋的比例大幅提升的現象、suppression 指的是因變數 6.

(8) Y 的變異可以被解釋的比例並未提升但是迴歸係數卻有大幅變動的現象、而 redundancy 則泛指既未出現 enhancement 且未出現 suppression 的情況。我們依據 Friedman and Wall (2005)的分類及表列方式，並納入額外文獻後，重新表列如表 1-1。由表中不難發現，未經歸納之前，各家定義說法紛云，詞彙也未加統一，讀者可能難以一窺全貌。追根究柢，所有文獻中的探討基本上完全聚焦於 suppression 及 enhancement 兩個類似概念的探討。有鑑於此，在後續的三個章節中，我們將針對 enhancement、suppression 這兩個類似概念以及兩者間的異同分別進行探討。. 政治大原先所要關切的議題。第三章中，我們將探討 suppression 的現象，並就幾種不立. 第二章中，我們將先討論 enhancement 的現象，畢竟此一現象才是 Horst (1941). 同的 suppressor 變數做說明。第四章中，我們將針對 enhancement、suppression. ‧ 國. 學. 兩種現象的關聯性進行說明與比較。第五章中，我們將探討藉由逐步迴歸法. n. al. er. io. sit. y. Nat. 總結。. ‧. (stepwise regression)來建模時，suppressor 變數無法被選入的機率為何。第六章為. Ch. engchi. 7. i n U. v.

(9) 表 1-1 文獻內容分類表. r12  0 enhancement. r12 . redundancy. r2 r1. r12 . 2r1  r2 r12  r22. suppression. enhancement. Classical. Redundancy. Negative. Classical. Negative. suppression. Cohen and. suppression. suppression. suppression. Horst,1941. Cohen,1975. Darlington,1968. Horst,1941. Darlington,1968. Lynn,2003. Currie and. Net. Lynn,2003. Net suppression. Cooperative. Korabinski,1984. suppression. Enhancement. Cohen and. suppression. Friedman and. Cohen and. Currie and. Cohen,1975. Cohen and. Wall,2005. Cohen,1975. Korabinski,1984. Suppression. Cohen,1975. Velicer,1978. Currie and. Friedman and. Conger,1974. Korabinski,1984. Wall,2005. Cohen and. Suppression. Enhancement. Cohen,1975. Conger,1974. Synerigsm. Lynn,2003. Friedman and. Shieh,2001. Sharpe and. Wall,2005. V-Suppression. Robert,1997. C-Suppression. Shieh 2006. Velicer,1978. 立. V-Suppression. Suppression Conger,1974. al. n. Shieh,2006. io. Shieh,2001. Shieh 2006. Nat. Shieh 2001. sit. Synerigsm. ‧. Enhancement. Synergy Hamilton,1988. er. Korabinski,1984. 學. Currie and. ‧ 國. Enhancement. y. Lynn,2003. 政治大. Ch. engchi. i n U. v. Sharpe and Robert ,1997 Velicer,1978 Synerigsm Hamilton,1988 註：令 r1 、 r2 分別為因變數 Y 與自變數 X 1 、 X 2 間的相關係數， r12 為自變數 X 1 、 X 2 間的相關係數。在給定 r2  r1  0 的情形下，隨著相關係數 r12 的變化，可以決定自變數對迴歸模型的影響。當 r  (1，0)  ( r2 ，1) 時，將產生 suppression 的現象；當 r12  (1，0) 或 12 r1 (. 2r1  r2 ，1)，會產生 enhancement 的現象；r12 落於其他範圍時，則會出現 redundancy 的現象。 r12  r22. 8.

(10) 第二節. 實例說明下述資料來自於 Newton and Spurrell (1967)。定義燃料利用率為因變數 Y，杯子的顏色為自變數 X 1  C ，平均溶化率為 X 2  M ，爐的絕緣狀態為 X 3  S ，平均重量為 X 4  W 。進行統計分析時，我們建構簡單迴歸模型、和兩自變數與因變數的複迴歸模型，取得判定係數，並進行比較和整理如表 1-2。. 表 1-2 判定係數比較表簡單迴歸. 立. 政治大 M 與 S : 0.535. ‧. C 與 M : 0.496 S 與 W : 0.374 C 與 W : 0.356 C 與 S : 0.321. n. al. Ch. engchi. er. io. sit. y. Nat. S : 0.230. M 與 W : 0.501. 學. C : 0.254. ‧ 國. W : 0.289 M : 0.262. 複迴歸. i n U. v. 從表 1-2 中，我們可以發現自變數與因變數建構簡單迴歸模型時，W 的判定係數最高，當選兩個自變數與因變數建構迴歸模型時，觀察到自變數 M、S 的組合可得最高的判定係數。由於. (. 2rM  rS 2  0.262  0.23   0.9916 ，且已知 rMS  0.9983 ，可發現 rMS 落於 2 2 rM  rS 0.262 2  0.232. 2rM  rS ，1) 之中，依據表 1-1 我們得知將產生 enhancement 現象，也就是說共同 rM2  rS2. 解釋變異的比例可大於各自解釋的變異之總和。由表 1-2 的數據得知，0.535 > 0.262+0.230，確實也呼應了此一現象。. 9.

(11) 第三節.. 符號定義與公式. 給定因變數 Y 與 p 個自變數的情況，一般線性迴歸模型如下: Y   0  1  X 1   2  X 2     p  X p  . 然而一如前述，針對 suppression 與 enhancement 現象的探討，其實並不僅局限於兩個自變數的情況，只是兩個自變數情況的探討並不失其一般性，因此此處我們將就兩個自變數的迴歸模型在本文中所採用的符號先行定義如下: 因變數 Y，自變數 X 1 、 X 2 ，而 sY 、 s1 、 s2 分別為對應之樣本標準差。. 政治大. r1 、 r2 分別為 X 1 、 X 2 個別與 Y 的相關係數， r12 為兩個自變數 X 1 、 X 2 間的相. 立. 關係數。. ‧ 國. 學. b1* 、 b2* 為標準化複迴歸模型中自變數 X 1 、 X 2 所對應之估計迴歸係數，其中 r1  r2 r12 r rr 、 b2*  2 1212 。 2 1  r12 1  r12. ‧. b1* . y. Nat. n. al. er. io. * *  r1 、 b02  r2 。其中 b01. sit. * * b01 、 b02 為標準化簡單迴歸模型中自變數 X 1 、 X 2 各自所對應的估計迴歸係數，. Ch. engchi. i n U. v. b1 、 b2 為複迴歸模型中自變數 X 1 、 X 2 所對應之估計迴歸係數，其中. b1  b1*. sY s 、 b2  b2* Y 。 s1 s2. b01 、 b02 為簡單迴歸模型中自變數 X 1 、 X 2 各自所對應的估計迴歸係數，其中 b01  b01* R2 . sY s s * sY  r1 Y 、 b02  b02  r2 Y 。 s1 s1 s2 s2. r12  r22  2r12 r1r2 為複迴歸模型中 X 1 、 X 2 共同能解釋 Y 變異的比例，又稱 1  r122. 為判定係數 (coefficient of determination)； r12 為簡單迴歸模型中 X 1 個別可以解釋 Y 變異的比例， r22 為簡單迴歸模型中 X 2 個別可以解釋 Y 變異的比例。 10.

(12) 2 y (2,1). r. (r2  r12r1 )2  R r  表示在 Y 變異中可以藉由模型所解釋的比例中，扣除 1  r122 2. 2 1. X 1 可以解釋的比例後， X 2 額外可以解釋的部分，其中 ry (2,1) 為 semipartial. correlation coefficient。. ry2(1,2)  R 2  r22 . (r1  r12 r2 )2 則表示在 Y 變異中可以藉由模型所解釋的比例中，扣 1  r122. 除 X 2 可以解釋的比例後， X 1 額外可以解釋的部分，其中 ry (1,2) 也是 semipartial correlation coefficient。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 11. i n U. v.

(13) 第二章. Enhancement 現象探討當給定因變數 Y，自變數 X 1 、 X 2 時，我們想要了解 R 2  r12  r22 的可能成因。此一議題的最早探討可以追朔至 1941 年，Horst (1941)發現在僅含自變數 X 1 的迴歸模型中，額外再加入一個與因變數 Y 完全無關的自變數 X 2 後，兩個自變數共同可以解釋因變數 Y 的能力，竟然可以遠超過 X 1 單獨能夠解釋 Y 的能力，自此開啟了一系列的相關研究。Horst (1941)稱自變數 X 2 suppressor 變數，因此這種. 政治大 Velicer (1978)放寬 r  0 的限制，並利用 semipartial correlation 來說明立. 現象後來被泛稱為 suppression。 2. ‧ 國. 學. R 2  r12  r22 的現象，同時也證明此不等式成立時，表示兩自變數皆為 suppressor 變數。針對此一特性，Velicer (1978)採用 Conger (1974)的詞彙，稱此現象反映出. ‧. reciprocal 的特性，也因此稱此類 suppressor 變數為 reciprocal suppressor。. y. Nat. er. io. sit. Currie and Korabinski (1984)則認為 suppression 無法精確反映出 R 2  r12  r22 的意涵，改稱此現象為 enchancement，而這也是本文中我們所採用的詞彙。此一. al. n. v i n 章中，我們將針對 enchancement C h現象的可能產生原因做探討。 engchi U 第一節. Classical Suppressor. 自 Horst (1941)發現複迴歸模型中，可能有 suppressor 變數的存在起，就引起學術界的廣泛討論，大家開始關注於複迴歸模型中 suppressor 變數所扮演的角色以及為什麼會有 suppressor 變數的產生。由於 suppressor 變數與因變數之間的關聯性多半較為薄弱，所以在模型的建構過程中 suppressor 變數經常被忽略，然而他們在最終模型中所發揮的功效，卻常是出乎意料之外。因此 suppressor 變數在複迴歸模型中究竟是如何運作的，確實是個值得探索的議題。. 12.

(14) Horst (1941)定義若自變數 X 2 滿足以下兩個條件，即為 suppressor 變數。 (1)自變數 X 2 與因變數 Y 之相關係數 r2 等於零，但自變數 X 1 與 X 2 間的相關係數. r12 不為零。 (2) R2  r12  r22  r12 。由於 R 2 . r12  r22  2r1r2 r12 r12  0  2r1  0  r12 r12    r12 ，我們可以發現 R 2 大 2 2 2 1  r12 1  r12 1  r12. 於 r12 的程度取決於 r12 的大小。事實上， r122  1  r12 ，此時. R2 . 政治大. r12 r12 r12    1 ，即可達到完美配適的情況。 1  r122 1  (1  r12 ) r12. 立. ‧ 國. 學. 為了與後續不同定義的 suppressor 變數有所區分，Conger (1974)將 Horst (1941) 所定義的 suppressor 變數，稱之為 classical suppressor 或 traditional suppressor，在. ‧. 本文中我們將稱之 classical suppressor。. sit. y. Nat. al. er. io. 第二節. Reciprocal Suppressor 或 V-suppressor. v. n. 由於 classical suppressor 的存在會使得其餘自變數所對應的估計迴歸係數有所. Ch. engchi. i n U. 改變，自 1941 年 Horst 提出 suppressor 變數的名稱起至 1978 年間，文獻中幾乎完全著眼於迴歸係數如何變化的現象來進行探討，並提出不同定義的 suppressor。有鑑於這一類型的探討會衍生出一些不必要的困擾，Velicer(1978)再度聚焦於. R 2  r12  r22 這一現象，藉由自變數解釋多少 Y 的變異的這一現象，來定義所謂的 suppressor 變數。 2. 令 semipartial correlation coefficient 的平方為 ry (2,1).  R2  r12 。由於. ry2(2,1)  r22 意味著 R2  r12  r22 ，因此 Velicer (1978)藉由 ry2(2,1)  r22 這個關係式來定義 suppressor 變數並進行相關議題的討論。Velicer (1978)發現 ry2(2,1)  r22 成立時， 13.

(15) ry2(1,2)  R 2  r22  r12 也會成立，這是因為若 ry2(2,1) . (r2  r12 r1 )2  r22 ，則 1  r122. r22  2  r1  r2  r12  r12  r122  r22 ；兩邊同乘 (1  r122 ) ，可得 2 1  r12. r22  2  r1  r2  r12  r12  r122  r22  r22  r122 ；兩邊再減去 r22 ，並加上 r12 ，可得 r12  2  r1  r2  r12  r12  r122  r12  r22  r122 ，整理後可發現 ry2(1,2)  r12 。從這證明過程中不難發現，在此定義之下，自變數間會互相幫助，也就是說若. X 2 扮演一個 suppressor 變數的角色的話， X 1 也會扮演相同的角色。為了有所區. 政治大 suppressor，也有文獻直接稱之為 V-suppressor。本文我們將稱之為 reciprocal 立別，此一類型的 suppressor 變數，被稱之 reciprocal suppressor 或 cooperative. suppressor。. ‧ 國. 學 ‧. 第三節. 判定係數 R 2 與相關係數 r12 的函數關係. 2. 2. 2. sit. y. Nat. Currie and Korabinski (1984)認為 suppression 一詞無法精確反映出 R  r1  r2. n. al. er. io. 的意涵，故改稱此一現象為 enhancement；Hamilton (1988)稱之為 synergism；而. v. Shieh(2001, 2006)則稱之為 enhancement-synergism。儘管多數文獻依然使用. Ch. engchi. i n U. suppression 的說法，本文中我們將採用 Friedman and Wall(2005)的分類法，以 enhancement 一詞來描述 R  r1  r2 這一現象，並針對發生 enchancement 現象的 2. 2. 2. 充分條件進行探討。在這小節中，我們將就 enchancement 現象發生的充分條件進行整理歸納。. r12  r22  2r1 r2 r12 由於 R  ，我們可以發現在給定 r1 、 r2 後， R 2 會隨著 r12 的變 2 1  r 12 2. 化而變化，亦即 R 2 為 r12 的一個函數。在不失一般性的情況下，我們假設 r1  r2  0 。. r12  r22  2r1 r2 r12  1 ，可得由於 R  1  r 212 2. r1r2  (1  r12 )(1  r22 )  r12  r1r2  (1  r12 )(1  r22 ) ，亦即 r12 的取值必須落於 14.

(16) (r1r2  (1  r12 )(1  r22 ), r1r2  (1  r12 )(1  r22 )) 的範圍內， R 2  1 才有成立的可能(參. 見圖 2-2)。此外，藉由下列兩個關係式： (1) r1r2  (1  r12 )(1  r22 )  0  r12  r22 <1 (2) r1r2  (1  r12 )(1  r22 )  0  r12  r22 >1 我們可以發現若 r12 的下界值 r1r2  (1  r12 )(1  r22 ) 大於 0，這意味著 r12  r22 >1 ，因此 r12  r22  R 2 <1 絕不可能發生，也就是說在討論 enhancement 現象時，我們可以聚焦於 r1r2  (1  r12 )(1  r22 ) 是個負值的情況。再者，藉由下列兩個關係式：. 政治大 (1  r )(1  r )  1  r  r 立. (3) r1r2 . 2 1. 2 2. 1. 2. ‧ 國. 學. (4) r1r2  (1  r12 )(1  r22 )  1  r1  r2. ‧. 我們可得知 r12 的上界值 r1r2  (1  r12 )(1  r22 ) 必定是正值，且其最大值為 1。其. al. n. 的開口朝上的一個函數。當當 r12  0 或 r12 . r d R 2  0 ，得 r12  2 時， R 2 有最小值為 r12 。此外， r1 dr12. er. io. sit. y. Nat. r12  r22  2r1 r2 r12 d2 2 R  0 ，表示 R 2 為 r12 次，將 R  對作二次微分，可發現 r 12 1  r 212 dr122 2. Ch. 2r1  r2 時， R 2  r12  r22 。 2 2 r1  r2. engchi. i n U. v. 由圖 2-2 可以得知當 r12 落於 r1r2  (1  r12 )(1  r22 )  r12  0 或 2r1  r2 / (r12  r22 )  r12  r1r2  (1  r12 )(1  r22 ) 時會產生 enhancement 現象。. 15.

(17) 立. 政治大. ‧ 國. 學. 註: min r12  r1r2  (1  r12 )(1  r22 ) ， max r12  r1r2  (1  r12 )(1  r22 ). 圖 2-2 判定係數與相關係數的關係圖. ‧ y. Nat. 第四節. Enhancement 的出現機率與相關議題. io. sit. 前一節主要說明在何種條件下，可能會產生 enhancement 的現象，Shieh (2001). n. al. er. 則進一步探討 enhancement 現象的出現機率。由於 R 2  r12  r22 之充要條件為. i n U. v. 2r  r r12 (r12  2 1 22 )  0 。因此若想要探討 enhancement 現象與 r12 間的關聯性時，也 r1  r2. Ch. engchi. 可藉由此不等式來進行。令隨機變數 Q . r2 r2 (當 r1  r2  0 時，則令 Q = 0)。將 Q  代入不等式中， r1 r1. 1  1  r 212 1 1  1  r 212 2Q ，  可得 r12 (r12  。我們不難發現 )  0 。令 q0  r12 q0 r12 1  Q2 不等式 r12 (r12 . 2Q )  0 成立的時機，可以藉由下列兩種情況來做說明。 1  Q2. (一) r12  0 ，且 r12 . 2Q 2Q 。若將 r12  展開並整理，可得等價的不等 2 1 Q 1  Q2 16.

(18) 式 Q  q0 或. Q. 2Q 2Q 。將 r12  展開並整理可得等價的不等式 2 1 Q 1  Q2. (二) r12  0 ，且 r12  Q. 1 1 ，其中 q0  。 q0 q0. 1 1 或 Q  q0 ，其中  q0 。 q0 q0. 就此結果繪圖，可得圖 2-3，其中曲線為 r12 . 2Q ，而陰影區為產生 enhancement 1  Q2. 現象之區域。. 立. 政治大. ‧. ‧ 國. 學. n. Ch. engchi. er. io. al. sit. y. Nat 圖 2-3 Enhancement 現象產生的區域. i n U. v. 1  Q 2  2r12Q R2  Shieh (2001) 定義 H  2 為 Q 與 r12 的一個函數。若 H r1  r22 (1  r 212 )(1  Q 2 ) 大於 1，則有 enhancement 的現象產生，小於 1 則無。H 的最大值出現在. Q  sign (r12 ) 時，其值為. 1 ；最小值出現在 Q  sign (r12 ) 時，其值為 1 | r12 |. 1 。 1 | r12 |. 為了計算 enhancement 現象的出現機率 P(H  1)，Shieh (2001)發現 Q . 其中 Z j . SYj.  Sj. n. n. i 1. i 1. r2 Z 2  ， r1 Z1. ~ N (  j , 1) ， SYj   (Yi  Y )( X ji  X j ) ， S 2j   ( X ji  X j )2 ，. 17.

(19) j  1、 2， 1  (b1 S1  b2 S 2 r12 ) /  ， 2  (b2 S2  b1S1r12 ) /  ， corr (Z1 , Z 2 )  r12 。. 亦即 Q 與兩相關常態隨機變數 Z1 、 Z 2 的比值 Z 2 Z1 具有相同機率分配函數，其中.   1   1 r1 2   Z1    ~ N  ,  。  Z2    2   r 1 2 1   得知 Q 函數的機率分配，再結合上述發生 enhancement 區域，運用數值積分便可得出 H  1 的發生機率與 H 的期望值。當 r12  0 時， q0  P(H  1)  1  P(q0 . 1 1 。 H  1 等同於 Q  q0 或 Q  ，因此 q0 q0. 政治大. Z2 1  ) 。反之， Z1 q0. 立. P(H  1)  1  P(. 1 Z2   q0 ) 。 q0 Z1. 依據上述的做法說明，Shieh(2001)得出表 2-1。. Nat. y. ‧. ‧ 國. 學. 1 1 或 Q  q0 ，因此當 r12  0 時，  q0 。 H  1 等同於 Q  q0 q0. er. io. sit. 舉例來說，當 1  1 ，  2  1，且 r12 =0.1、0.5、0.9 時，H 的期望值分別為 0.9707、0.9922、1.6872，而 H  1 的機率則分別為 0.2824、0.3284、0.3586。由. al. n. v i n C h H  1的機率值皆會隨之上升。由於對稱性的變大，H 的期望值與 engchi U. 此可發現當 r12. 緣故，我們也可發現以下關係式. P( H  1| 1 , 2 , r12 )  P( H  1| 1 ,  2 , r12 ) P( H  1| 1 ,  2 , r12 )  P( H  1| 1 , 2 , r12 ) P( H  1| 1 , 2 , r12 )  P( H  1| 1 ,  2 ,  r12 ) 及. E ( H | 1 , 2 , r12 )  E ( H | 1 ,  2 , r12 ) E ( H | 1 ,  2 , r12 )  E ( H | 1 , 2 , r12 ) E ( H | 1 , 2 , r12 )  E ( H | 1 ,  2 ,  r12 ) 。 18.

(20) 表 2-1 發生 Enhancement 的機率與期望值. 政治大. 立. ‧ 國. 學. 註：節錄自 Table 1, Shieh(2001). ‧. n. er. io. sit. y. Nat. al. Ch. engchi. 19. i n U. v.

(21) 第三章. Suppression 現象探討 Horst (1941)發現在 classical suppressor 存在的情況下，兩自變數共同能夠解釋 Y 變異的程度可以大幅提升。此外由於 b1* . r1  r2 r12 r rr 、 b2*  2 1212 ，顯而易見的， 2 1  r12 1  r12. * *  r1 、 b02  r2 也可能會有顯著標準化複迴歸係數 b1* 、 b2* 與標準化簡單迴歸係數 b01. 的不同。Darlington (1968)延續延續迴歸係數可能會有顯著改變這一思考主軸，引進所謂的 negative suppressor。Conger (1974) 及 Cohen and Cohen (1975)也以迴歸係數變化現象，來定義 suppressor 變數。這一章主要將就焦點擺在迴歸係數變化的這些文獻，進行回顧整理。. 立. 政治大. 第一節. Negative Suppressor. ‧ 國. 學. 假定 r12 與 r1 皆非負值，在 classical suppressor 存在的情況下，. r2  r1r12 r1r12   0 ，亦即 b2* 為一負值。在 Horst (1941)的原始論述中，由於 2 2 1  r12 1  r12. ‧. b2* . 2. 2. sit. 2. y. Nat. 僅局限於 r2  0 的情況作探討，至於 r2 不為 0，但 R  r1  r2 仍成立的現象，並未. n. al. er. io. 在討論之列，因此 Darlington (1968)放寬 Horst (1941) r2  0 的假設，將 r2  0 且. b2* . v. r2  r1r12  0 的自變數 X 2 定義為一個 suppressor 變數。為了有所區分， 1  r122. Ch. engchi. i n U. Conger(1974)稱之為 negative suppressor。顯而易見的，若 r1 、 r2 與 r12 皆非負值，則 classical suppressor 為 negative suppressor 的一個特例。然而依據 Horst (1941) 的定義， r12  0 也可能出現 enhancement 的現象，這說明了兩種定義的異同。. 第二節. C-suppressor 在給定 r1  r2  0 的情況下，Conger(1974)及 Cohen and Cohen(1975)分別發現若 * b1*  b01 ，亦即. r1  r2 r12  r1 ，則 r2  r12  r1  r 212 。當 r12  0 時， r2  r1r12 ， 1  r122. 20.

(22) b2* . r2  r1r12 *  0 也成立。因此在 r12  0 的情況下，只要 b1*  b01 ，Darlington (1968) 2 1  r12. 所定義的 negative suppression 也會出現。此外，當 r12  0 時， r2  r12  r1  r 212 恆成 * 成立的自變立。因此 Conger(1974)及 Cohen and Cohen(1975)將能夠導致 b1*  b01. 數 X 2 定義為一個 suppressor 變數。這樣的一個定義不僅涵蓋 Darlington(1968)的討論對象，並延伸至 r12  0 的情況，與 Horst(1946)的原始定義較為一致。至於名稱，當 r12  0 時， b2*  0 ，Conger(1974)稱呼 X 2 為 negative suppressor，. 政治大. * 而 Cohen and Cohen(1975)則稱之為 net suppressor。當 r12  0 時，除了 b1*  b01 外，. 立. r2 - r1r12 *  r2  b02 也成立，Conger(1974)稱呼 X 1、 X 2 為 reciprocal suppressors， 2 1- r12. 學. ‧ 國. b2* . 而 Cohen and Cohen(1975)則稱之為 cooperative suppressors。後續的文獻則將滿足. ‧. * b1*  b01 的 X 2 泛稱為 C-suppressor。. y. Nat. er. io. al. sit. 第三節. V-suppressor 與其迴歸係數的關係. n. 由第二章第二節已知，兩個自變數的情況下，若 X 2 滿足下列不等式. Ch. engchi. (r  r  r )2 r22  2 1 2 1 2 1  r12. i n U. v. 則 X 2 為一 V-suppressor。這一節中我們將說明在 r1  r2  0 ，且 V-suppressor 存在 * 的情況下， b1*  b01 也會成立。亦即，V-suppressor 也具有 C-suppressor 的特性。. b1* r1  r12 r2 r1  r12 r2 r1  r12r2 *  b 。將上式整理過後可得 01 ，因此 *  2 2 1  r12 r1 (1  r12 ) b01 r1 (1  r122 ) 2r  r 2r  r r 2r r [r12  2 1 22 ]  r12  0。當 r12  0 或 r12  2 1 2 2 ，從圖 2-2 所示，可發現 2 1 22  2 ， r1  r2 r1 r1  r2 r1  r2. 由於 b1* . 因此可得 r12 . 2r1  r2 r  2  0 。將不等式乘上 r12 ，並加上 1 後，整理可得 2 2 r1 r1  r2 21.

(23) 1  r122  1 . 列不等式. 2r1  r2 r r  r12  1  2 r12 ，亦即 1  2 r12  1  r122 。兩邊同除 1  r122 ，即可得下 2 2 r1  r2 r1 r1. 1  r12. 當 r12  0 或 r12 . r12  0 . r2 r2. b r r r  1 12 22  1 b r1 (1  r12 ) 1  r122 * 1 * 01. 2r1 r2 2r  r r ，從圖 2-2 所示，可發現 2 1 22  2 ，因此可得 2 2 r1  r2 r1 r1  r2. r2 2r  r  2 1 22 ，將不等式乘上 r12 ，並加上 1 後，整理可得 r1 r1  r2. 1  r122  0  1  r12. r2 2r  r r  1  r12 2 1 22 ，亦即 1  r12  2  1  r122 ，兩邊同除 1  r 212 ， r1 r1 r1  r2. b* r r r 可得不等式 1*  1 12 22  b01 r1 (1  r12 ). 1  r12 r2. 立. r1. 1 政治大. 1 r. 2 12. * 綜合上述，可發現迴歸模型中存在 V-suppressor 時， b1*  b01 也會成立。. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 22. i n U. v.

(24) 第四章. Enhancement 與 Suppression 之關聯性由前兩章我們可以發現 suppressor 變數的定義，眾說紛紜。Horst (1941)的原始論述著重於判定係數 R 2 的變化， Darlington (1968)、Conger (1974)與 Cohen and Cohen(1975)則著重在於迴歸係數的變化，而 Velicer (1978)再度將主軸拉回判定係數的變化。這一章中我們將探討 enhancement 與 suppression，亦即 V-suppression 與 C-suppression 的異同，藉以說明表 4-1(或表 1-1)的分類依據。在不失一般情況下，我們仍假設 r1  r2  0 的情況來進行討論。表 4-1 利用相關係數 r12 的值，來說明判定係數的變化情形. 立. enhancement. r12 . redundancy. 2r 1 r2 r12  r22. r12 . 2. r1. 學. ‧ 國. r12  0. 政治大 r. suppression. ‧. 第一節. 依 r12 來做區分. n. al. er. io. sit. y. Nat. V-suppressor. iv. 已知在兩個自變數的迴歸模型中，若 X 2 滿足不等式 r22  一 V-suppressor。. enhancement. Ch. n U engchi. (r2  r1  r12 )2 ，則 X 2 為 1  r122. (r2  r1  r12 )2 左右兩邊同乘 1  r122 ，可得 r22  (1  r122 )  (r2  r1  r12 ) 2 。整理並將r  2 1  r12 2 2. 移項後成為 0  r122 (r12  r22 )  2r12 (r1  r2 ) ，亦即 0  [r12 . r12  0 時，0  r12  的範圍會落於 r12 . 2r1  r2 ]  r12 。 r12  r22. 2r  r 2r1  r2 ，可得 r12  0 且 r12  2 1 22 。取其交集並整理，得知 r12 2 2 r1  r2 r1  r2. 2r  r 2r  r 2r1  r2 。r12  0 時， r12  2 1 22  0，可得 r12  0 且 r12  2 1 22 。 2 2 r1  r2 r1  r2 r1  r2. 取其交集並整理，可知 r12 的範圍會落於 r12  0 。 23.

(25) 綜合(i)(ii)，可以表示如下:. r12  0. r12 . 2r1  r2 r12  r22. V-suppressor. V-suppressor. C-suppressor 在兩個自變數的迴歸模型中，若 X 1 滿足不等式 r1  b1*，則 X 2 為一 C-suppressor。由於 r1  b1* ，亦即 r1 . r1  r2 r12 ，展開並整理可得 r2  r12  r1  r122 。 2 1  r12. 政治大. r r r12  0 時， r12  2 ，取二者交集可得 r12  2 r1 r1. 立. ‧ 國. r2 ，取二者交集可得 r12  0 r1. 學. r12  0 時， r12 . 綜合上述兩項結果可以表示如下:. ‧ y. r2 r1. sit. io. C-suppressor. r12 . er. Nat. r12  0. C-suppressor. al. n. v i n 將上述兩者合併整理表 4-2，我們可以發現 V-suppressor 必然就是 Ch engchi U. C-suppressor，不過 C-suppressor 未必就是 V-suppressor。. 表 4-2 利用相關係數 r12 來區分 V-suppressor 與 C-suppressor 的異同. r12  0. r12 . C-suppressor. r2 r1. r12  C-suppressor. V-suppressor. 2r 1 r2 r12  r22 C-suppressor V-suppressor. 24.

(26) 第二節. 依 r12 及 r2 r1 來做區分 C-suppressor 考量二自變數的複迴歸模型。當下列不等式成立時，則 C-suppressor 存在於該迴歸模型中，.  *2 2 b2  r 2    b*2  r 2  1  1. (r2  r 1 r2 ) 21  r22 .....(I) (1  r122 ) 2 (r1  r12 r2 ) 2  r12 .....(II) 2 2 (1  r12 ). .，. 若(I)成立，則 X 1 為 suppressor 變數；若 (II)成立，則 X 2 為 suppressor 變數；若(I)、. 政治大. (II)皆成立，則 X 1 、 X 2 皆為 suppressor 變數，也就是 reciprocal suppressors 或 cooperative suppressors。. 立. ‧ 國. 學. y. . ) 2  (1  r122 ) 2 且 (1  r12 )2  (1  r122 )2 成立時，亦即當 0  r12  1 時，. sit. r12. Nat. 此時，若 (1 . ‧. r12 2  2 2 (1   )  (1  r12 ) ....(I) 令   r2 r1 ，(I)、(II)可進一步改寫為  (1  r  ) 2  (1  r 2 ) 2 ....(II) 12 12 . al. er. io. 1 (2  r122 ) (2  r122 ) 1      ，則 X 1 是唯一的 suppressor ；當 1  r12  0 時， r12 r12 r12 r12. v i n  (1 C r )h且 (1  r  )  (1 U e n g c h i r ) 成立時，亦即當 0  r. n. 變數。反之，若 (1  時，. r12. . ). 2. 2. 12. 2 2 12. 12. 1. r12 r12 ，則 X 2 是唯一的    r12 ；當 1  r12  0 時， r12    2 (2  r12 ) (2  r122 ). suppressor 變數。此外，若 (1  即當 0  r12  1時，  . . 2 2 12. r12. . ) 2  (1  r122 ) 2 、 (1  r12 )2  (1  r122 )2 同時成立，亦. (2  r122 ) (2  r122 ) r12  1  r  0     或；當時，或 12 r12 r12 (2  r122 ). r12 ，則 X 1 、 X 2 為 reciprocal suppressors。 (2  r122 ). V-suppressor. 25.

(27) (r2  r1 r12 ) 2 當不等式 r  成立時，V-suppressor 存在於迴歸模型中。將   r2 r1 (1  r12 ) 2 2. 代入式中，可得其充要條件如下：當 0  r12  1時，  . (1  1  r122 ) (1  1  r122 ) 或  ； r12 r12. (1  1  r122 ) (1  1  r122 ) 當 1  r12  0 時，   或  。 r12 r12 綜合上述，enhancement 與 suppression，或者是 V-suppression 與 C-suppression 的關聯，便可藉由圖 4-1 來陳述。我們依然可以發現 C-suppression 的發生可能高. 政治大. 於 V-suppression，因此 V-suppressor 必然就是 C-suppressor，不過 C-suppressor 未必就是 V-suppressor。. 立. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. i n U. v. 註：節錄自 Figure 1, Shieh(2006)。圖中 C 表示自變數 X 1 、 X 2 皆為 C-suppressors，C1 表示僅自變數 X 1 為 C-suppressor，C2 表示僅自變數. X 2 為 C-suppressor，. V 表示自變數中有 V. -suppressor。. 圖 4-1 藉由 r12 及 r2 r1 來呈現不同 Suppressor 變數發生的範圍. 26.

(28) 第三節. 依定義來做區分. r 由表 4-1 可以發現，當相關係數 r12 介於 (1, 0)  ( 2 , 1) 的範圍時，C-suppressor r1 及 V-suppressor 都有可能出現，這也就表示兩者之間應該存在某種關係。此外，由第二、三章中的說明，我們也可注意到針對 V-suppressor 的討論，並未涉及到標準化的過程，然而 V-suppressor 的討論則涉及到標準化的過程。再者， V-suppressor 的定義不因自變數在複迴歸模型中的順序，而有不同的結果，且 V-suppressor 的定義可以輕易推廣至 p 個自變數的情況。依據兩者的原始定義， Shieh (2006)歸納出 V-suppressor 定義的幾項優點及其分量可以用來表示各自變. 政治大. 數整體與個別所能解釋 Y 變異的比例。. 立. 由於 r1  1 ，但是 b1*  R ，二者的取值範圍，直接相比似乎不甚恰當，採用. ‧ 國. 學. V-suppressor 可以解決這項不必要的爭議。其實這也是 Velicer (1978)之所以將焦點轉向 V-suppressor 的主因之一。. ‧. 儘管如此，Shieh (2006)提出兩個等價定義，除了可以解決 C-suppressor 原始定. y. Nat. n. al. C-suppressor. Ch. engchi. er. io. Shieh (2006)的觀點來說明二者的異同。. sit. 義的缺失問題外，更可以清楚區分出兩者之間的差異。這一小節中，我們將依據. i n U. v. 2 在二自變數的情況下，若 b1  b01 成立，則定義 X 2 為一 C-suppressor， 2. 其中 b1  b1* ( 由於. sY s ) ， b01  r1 ( Y ) 。 s1 s1. sY  R  ，這使得 b12、b012 可以在同樣的值域上進行討論，避免 C-suppressor s1. 原始定義上的不可比較的問題。此外，若將 b1 . rY (1, 2) (1  r122 ). 1.  2. s sY 、 b01  r1  Y 代入不等式 b12  b012 中，則可得 s1 s1. 27.

(29) rY2(1,2) 1  r122. . rY2(1, 2) sY2 sY2 2 ，亦即  r   r12 。 1 2 2 2 s1 s1 1  r12. V-suppressor 在二自變數的情況下，若 t12  ~ t1 2 成立，則定義 X 2 為一 V-suppressor 變數，其中 t1 . b1  {V (b1 )}. V (b1 ) . 1 2. ~ ， t1 . 2 2 12. rY2(1,2). 2 1.  {V (b01 )}.  ， V (b01 ) . (n  1) s (1  r ) 2 1. b01 1 2. ； b1 . SSE  ， 2  。由於 n2 (n  1) s. 治政 r s 大  (n  1)  ， . (n  1) s12. 2. 2 12. r12  sY2  (n  1). 2. r12  sY2  (n  1). . 2. ，. ，可得 rY2(1, 2)  r12 ，也就是說. ‧. 2. . . 2 Y. 學. ‧ 國. 2 1. rY2(1,2)  sY2  (n  1). sit. y. Nat. R 2  r12  r22 。. 2 Y (1,2). 2. 2. . 2. sY s ) ， b01  r1 ( Y ) ， s1 s1. 2 1. b012 s t   r12 ( Y )2 s1 V (b01 ). t12  t12 意味著. (. . 立(n 1)s (1  r ). 2 1. (1  r122 ). 1. 2. b s t   ( Y )2 2 V (b1 ) (1  r12 ) s1 2 1. rY (1, 2). al. er. io. 綜合前述可以發現，C-suppressor 與 V-suppressor 兩者定義的明顯差異主要在. n. v i n C h r  r 。Shieh  r ，而後者則要求 e n g c h i U (2006)藉由不同方式呈現. 於前者要求. rY2(1, 2). 2 1. 1  r122. 2 Y (1, 2 ). 2 1. 的兩者定義，不僅解決了 C-suppressor 定義上的不同值域範圍比較的瑕疵，也找到兩者定義之間的關係，整理如下:. V-suppressor. C-suppressor. rY2(1, 2)  r12. rY2(1, 2) 1  r122. 2 Y (1, 2 ). 此外，當 r.  r12.  r 成立時，由於 0  1  r  1，也就意味著 2 1. 2 12. 28. rY2(1, 2) 1 r. 2 12.  r12 必然也.

(30) 會成立，因此 C-suppressor 的出現時機高於 V-suppressor。也就是說，依據定義的不同，我們依然可以得出 V-suppressor 必然就是 C-suppressor，但 C-suppressor 未必就是 V-suppressor 的結論。. 第四節. 藉由向量幾何圖形來做區分 Currie and Korabinski (1984)藉由向量幾何圖形，分別針對 enhancement 及 suppression 的現象來說明兩自變數與因變數的關係，Hamilton (1987)及 Schey (1993)也藉由向量幾何圖形就 enhancement 的現象做來說明。本節中，我們將綜. 政治大圖示法，將 enhancement 及 suppression 兩現象合併於圖形中，藉以說明二者的異立. 合上述三篇文獻的思考模式，採用類似於 Currie and Korabinski (1984)所使用的. 同。. ‧ 國. 學. 我們將標準化過後的兩自變數 X 1、 X 2 與因變數 Y 之迴歸估計模型、以及是否. ‧. 呈現 enhancement 或 suppression 現象以圖 4-2 來作呈現，此外我們以英文正體粗. Nat. sit. y. 寫字代表向量。舉例來說， OZ 代表由 Y 向量投影至 X 1 、 X 2 所建構平面上的投. n. al. Ch. OZ  OZ1  Z1Z  OZ2  Z2 Z  OB1  B1Z  OB2. engchi. * OZ1  r1  b01 ， ( Z1Z )  R  r  r. 2. 2. 2 1. 2 y (2,1). OZ2  r2  b ， ( Z2 Z )  R  r  r * 02. 2. 2. 2 2. 2 y (1,2). er. io. 影向量，亦即 Yˆ ；而 OZ 則表示 OZ 的長度。圖中. iv n U B Z ，其中|OZ| = R， 2. (r2  r12r1 )2  ， 1  r122 (r1  r12r2 )2  ， 1  r122. OB1  B2Z  b1* ， OB2  B1Z  b2* ，而 cos(OZ1, OZ2 )  cos  r12 ，為兩自變數間之相關係數。此外，以 OZ1 為其中一邊所繪製的虛線長方形，其垂直邊的長度等於 OZ 2 ，. 29.

(31) 因此該長方形的對角線的長度平方等於 r1  r2 。藉由此圖形，我們便可以進行是 2. 2. 否出現 enhancement、suppression 的判斷。除此之外，在 suppression 的情況下，區分究竟是 negative suppression 或是 reciprocal suppression.. 立. 政治大. ‧ 國. 學. 圖 4-2 兩自變數迴歸模型的向量幾何圖示. ‧ sit. y. Nat. 準則一：Enhancement 的判斷 2. 2. 2. er. io. OZ 較虛線長方形對角線的長度長，亦即 R  r1  r2 ，或. n. a. l C r22 ，或 Z1Z  OZ2 ，亦即 ry2(2,1). hengchi. i n U. v. Z2 Z  OZ1 ，亦即 ry2(1,2)  r12 。準則二：Suppression 的判斷. OB1  OZ1 ，亦即 b1*  b01*  r1 。準則三：Negative Suppression 的判斷. OB2 與 OZ2 方向相反，亦即 b2*  0 。準則四：Reciprocal Suppression 的判斷. OB1  OZ1 ， OB2  OZ2 且 OB 2 與 OZ 2 同方向，亦即 b1*  b01* 且 b2*  b02* 。 30.

(32) 圖 4-3 中我們參酌 Currie and Korabinski (1984)中 Fig. 5 的呈現方式，將 r12 的所在範圍區分成九個區域，繪製對應的向量幾何圖，並基於前述判斷準則，分別說明是否出現 enhancement、suppression 或 negative suppression 的現象。藉由這些圖形我們依然可以得出 enhancement (亦即 V-suppression)必然就是 suppression(亦即 C-suppression)，但 suppression 未必就是 enhancement 的結論。此外我們也可發現，negative suppression 只會出現於 r12 . r1 的時候，而 reciprocal suppression r2. 則只會出現於 r12  0 的時候。. 政治大. 立. (1  r12 )(1  r22 ). y. Nat. (1) r12  r1r2 . ‧. ‧ 國. 學. (a). n. al. er. io. * 、 * (3) b1*  b01 b2*  b02. sit. (2) R 2  r12  r22. Ch. engchi. (b). i n U. v. (c). (1) r1r2  (1  r12 )(1  r22 )  r12  0. (1) r12  0. (2) R 2  r12  r22. (2 ) R 2  r12  r22. * 、 * (3) b1*  b01 b2*  b02. 31.

(33) (d). (e). (1) 0  r  r2 12. 政治大 (1) r  r2 12. r1. r1. 立. (2) R 2  r12  r22. (2) R 2  r12. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. (f). v. (g). (1) r2  r  2r1r2 12 r1 r12  r22 (2). i n U. (1) r  2r1r2 12 r12  r22. R 2  r12  r22. (2). (3) b2*  0. R 2  r12  r22. (3) b2*  0. 32.

(34) (h). (i) (1 ) r12  r1r2 . (1) 2r1r2  r12  r1r2  r12  r22. (2). (1  r12 )(1  r22 ). (1  r12 )(1  r22 ). R 2  r12  r22. (2). R2  1. 政治 b 大b b  0 圖 4-3 利用向量幾何來說明 Enhancement 與 Suppression 現象。立. * (3) b1*  b10 、 b2*  0. (3). * 1. * 10 、. * 2. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 33. i n U. v.

(35) 第五章. Suppressor 變數在模型變數選取時的可能影響在探討因變數 Y 與幾個自變數之間的關係時，迴歸分析無疑是最被廣為採用的統計工具之一。而在迴歸模型的建模過程中，針對變數的選取，許多研究者則偏好 backward elimination、forward selection 及 stepwise regression procedure 這三種方法。這一章中，我們想要了解 suppressor 變數存在的情況下，採用上述三種變數選取的方法來進行變數的選取時，suppressor 變數是否會被順利選入模型中。我們將分別針對這三種方法，藉由模擬實驗的方式，計算一個 suppressor 變數未順利選入模型的機率。我們仍將針對標準化的兩個自變數 X 1 、 X 2 的情況進行探. 政治大. 討，且在不失一般情況下，假設 r1  r2  0 。. 立. ‧ 國. 學. 第一節. 模擬實驗中的變數生成. 我們利用 Lutz (1983)所介紹的方法，分別模擬生成 classical. ‧. negative suppressor、reciprocal. suppressor、. suppressor 這三種不同特性的 suppressor 變數。. sit. al. n. X 1  a1T  b1S. er. io. Y  a0T. y. Nat. 首先生成 T、S 兩獨立隨機變數，並令因變數 Y 與自變數 X 1 、 X 2 分別為. X 2  a2T  b2 S. Ch. engchi. i n U. v. 其中 0  a0  1 、 ai2  bi2  1 。給予不同的 a 0 、 a1 、 a 2 以及 b0 、 b1 的情況下，我們將可生成不同的 suppressor 變數。Conger (1974)證明. a2  0 ， X 2 為 classical suppressor； b2  a2 (1  a12 ) /( a1b1 ) 時， X 2 為 negative suppressor； b2  a2 a1 / b1 時， X 2 為 reciprocal suppressor 變數。我們想觀察 suppressor 變數是否會隨著 r12 大小的不同，而未選入的機率也會隨之不同，依照上述說明，我們將生成兩組 suppressor 變數如下: 34.

(36) 第一組: 第一步: 隨機生成兩個正相關的隨機變數 V1 、 V2 。第二步: 以 V2 為應變數、 V1 為自變數，建構一簡單迴歸模型。.  第三步: 從模型中，擷取出殘差 e2,1  V2  V2 第四步: 將 V1 與 e2,1 標準化後可以得到 zV1 及 ze2,1 。令 T  zV1 ， S  z e2 ,1 第五步: 令因變數 Y  T ，自變數 X 1 . T S ，則 2. X 2c  S 為一個 classical suppressor； X 2n  0.1T  0.4S 為一個 negative suppressor；. X 2r. 政治大  0.1T  0.2S 為一個 reciprocal suppressor，立. 據此所產生出來的數據， corr (Y , X1 )  0.71 ， corr (Y , X 2c )  0 ，. ‧ 國. 學. corr (Y , X 2 n )  0.24，corr (Y , X 2 r )  0.45，corr ( X1, X 2c )  0.71，corr ( X1, X 2n )  0.86 ，. ‧. corr ( X1, X 2r )  0.32 。我們可以發現 corr (Y , X1 )  corr (Y , X 2 )  0 ，且. sit. n. al. er. io. 第二組:. y. Nat. corr ( X1 , X 2 )  0 。. Ch. S 令因變數 Y  T ，自變數 X 1  T  10. engchi. i n U. v. X 2c  0.5  S 為一個 classical suppressor； X 2n  0.07  T  0.65  S 為一個 negative suppressor；. X 2r  0.04  T  3  S 為一個 reciprocal suppressor，據此所產生出來的數據，corr (Y , X 1)  0.71，corr (Y , X 2c )  0，corr (Y , X 2 n )  0.24 ，. corr (Y , X 2 r )  0.45 ， corr ( X 1 , X 2c )  0.0995 ， corr ( X 1 , X 2n )  0.205 ，. corr ( X 1 , X 2r )  0.086 。我們可以發現 corr (Y , X1 )  corr (Y , X 2 )  0 ，且 corr ( X1 , X 2 )  0 。 35.

(37) 第二節. 三種選取變數的方式 Forward Selection 自變數 X 1、X 2 分別與因變數 Y 建立簡單迴歸模型，可得每個自變數的 t  value 為 t1 . b1 b 、t2  2 。因為 r1  r2  0，可得 t1  t2，因此若 t1 大於臨界值，則 X 1 s{b1} s{b2 }. 被選入模型中。在 X 1 已經存在於迴歸模型的情況下，檢視 t2 . MSR( X 2 | X 1 ) 值是否顯著異於 MSE ( X 1 , X 2 ). 0。如果 t2 顯著，模型即為 Y  0  1 x1  2 x2   。. Backward Elimination. 政治大. 立. ‧ 國. 學. 與 forward selection 相反，需先建立模型 Y  0  1 x1  2 x2   ，再依序去除最不顯著的。變數選取步驟如下：計算 t1 與 t2 ，如果二者都顯著異於零，則模型即. ‧. 為 Y  0  1 x1  2 x2   。. y. Nat. er. io. sit. 若 t2  t1 ，且 t2 不顯著時，我們將先剔除 X 2 ，接下來再檢定 X 1 與 Y 是否顯著相關。反之，若 t1  t2 ，且 t1 不顯著時，我們將先剔除 X 1 ，接下來再檢定 X 2 與 Y. n. al. 是否顯著相關。. Ch. engchi. i n U. v. Stepwise Regression Procedure 自變數 X 1、X 2 分別與因變數 Y 建立簡單迴歸模型，可得每個自變數的 t  value 為 t1 . b1 b 、 t2  2 。因為 r1  r2  0 ，可得 t1  t2 ，因此只要 t1 大於臨界值， s{b1} s{b2 }. 則 X 1 被選入模型中。當 X 1 已經存在於迴歸模型的情況下，想要了解 X 2 是否仍會有顯著的貢獻，也就是計算 t2 . MSR( X 2 | X 1 ) 值是否顯著異於零。如果 t2 小於臨界值，模型即為 MSE ( X 1 , X 2 ) 36.

(38) Y  0  1 x1   。假如 t2 大於臨界值，我們則須再檢查 t1 . MSR( X 1 | X 2 ) 是否 MSE ( X 1 , X 2 ). 顯著異於零。如果 t1 不顯著，則模型則為 Y  0  2 x2   。反之，則模型為. Y  0  1 x1  2 x2   。在假設 r1  r2  0 時，我們可發現若 t2 大於臨界值， t1 也必定顯著，所以在兩個自變數的情況，stepwise regression procedure 與 forward selection 結果相同。. 政治大在我們的假設下，因為 r  r  0，可發現 forward selection 及 stepwise regression 立. 第三節. Suppressor 變數被選入模型的機率 1. 2. procedure 會有相同的結果，所以我們只進行比較 forward selection 與 backward. ‧ 國. 學. elimination，在三種 suppressor 變數個別存在的不同情況下，該變數被選取的機. sit er. io. Classical Suppressor. y. Nat. 果。. ‧. 率是否有所不同。表 5-1~5-6 中，機率值的估算是架構於 10000 次模擬實驗的結. al. n. v i n 從表 5-1、5-2 可發現不論是還是 backward elimination，在相 Cforward h e nselection i h gc U. 關係數 r12 較大時，classical suppressor 未被選入的機率很小；而當相關係數 r12 較小時，未被選入的機率會大大提升。由此可知，相關係數 r12 在決定 classical suppressor 是否被選入模型當中扮演相當重要的角色。此外，我們也可觀察到 backward elimination 在挑選變數時，效果比 forward selection 還得好。. 37.

(39) 表 5-1 Classical Suppressor 在 Forward Selection 時被選入模型的機率 Classical Suppressor. 相關係數 r12 =0.0995. 相關係數 r12 =0.71. N=30. 0.9136. 0.0641. N=100. 0.8968. 0. 表 5-2 Classical Suppressor 在 Backward Elimination 時被選入模型的機率 Classical Suppressor. 相關係數 r12 =0.0995. 相關係數 r12 =0.71. N=30. 0.9076. 0.0188. N=100. 立. 治政 0.8968 大0. ‧ 國. 學. Reciprocal Suppressor. ‧. 從表 5-3、5-4 依然可發現不論是 forward selection 還是 backward elimination，在. sit. y. Nat. 相關係數| r12 |較大時，reciprocal suppressor 未被選入的機率很小；而當相關係數|. io. er. r12 |較小時，未被選入的機率會大大提升。由此可知，相關係數| r12 |在決定 reciprocal suppressor 是否被選入的機率當中扮演相當重要的角色。此外也可觀察到. al. n. v i n Ch backward elimination 在挑選變數時，效果比 forward selection 還得好。 engchi U 表 5-3 Reciprocal Suppressor 在 Forward Selection 時被選入模型的機率 Reciprocal Suppressor. 相關係數 r12 = - 0.086. 相關係數 r12 = −𝟎. 𝟑𝟐. N=30. 0.8486. 0.0663. N=100. 0.7413. 0. 38.

(40) 表 5-4 Reciprocal Suppressor 在 Backward Elimination 時被選入模型的機率 Reciprocal Suppressor. 相關係數 r12 = - 0.086. 相關係數 r12 = −𝟎. 𝟑𝟐. N=30. 0.8486. 0.0199. N=100. 0.7413. 0. Negative Suppressor 從表 5-5、5-6 依然可發現不論是 forward selection 還是 backward elimination，在相關係數 r12 較大時，negative suppressor 未被選入的機率很小，而當相關係數 r12 較. 政治大. 小時，未被選入的機率會大大提升。由此可知，相關係數 r12 在決定 negative. 立. suppressor 是否被選入的機率當中扮演相當重要的角色。此外也可觀察到. ‧ 國. 學. backward elimination 在挑選變數時，效果比 forward selection 還得好。. ‧. 表 5-5 Negative Suppressor 在 Forward Selection 時被選入模型的機率. io. al. n N=100. Ch. 0.7402. engchi. y. 0.8596. sit. N=30. 相關係數 r12 =0.86 0.0659. er. 相關係數 r12 =0.205. Nat. Negative Suppressor. i n U. v. 0. 表 5-6 Negative Suppressor 在 Backward Elimination 時被選入模型的機率 Negative Suppressor. 相關係數 r12 =0.205. 相關係數 r12 =0.86. N=30. 0.8596. 0.0194. N=100. 0.7402. 0. 39.

(41) 第六章. 總結總結表 5-1 至 5-6 的結果可以發現，在挑選變數時，迴歸模型中兩自變數的相關係數| r12 |越大，則 suppressor 變數被剃除的機率越小。再者，在挑選變數時， backward elimination 相對於 forward selection 來的好。由於我們的模擬實驗僅止於兩個自變數的情況，因此結果無法延伸至多個自變數的情況。儘管如此，我們還是可以注意到，當存在 suppressor 變數時，藉由 stepwise regression procedure、 forward selection 或 backward elimination 來選取變數時，未必是恰當的方式。文獻中一個與 enhancement 與 suppression 相關的主題為迴歸模型中自變數的相. 政治大 Merenda and Gold (1980)一文中所引進的方法，後續多半簡稱為 LMG 法。另一立對重要性(relative importance)，而探討相對重要性的主要工具之一為 Lindeman,. ‧ 國. 學. 種方法則是 Feldman (2005)所介紹 proportional marginal variance decomposition 的方法、或簡稱為 PMVD 法。這兩者皆是以 semipartial correlation coefficient 的變. ‧. 化，來決定相對重要變數。此外， Pratt(1987)則是利用 d j . b j rj. 來作為判斷依. Nat. y. R2. sit. 據，這意味著迴歸係數及相關係數也可以作為判斷相對重要變數的工具。這種思. n. al. er. io. 維方式，某種程度上與定義 suppressor 變數的方法是一致的。因此我們相信在相. i n U. v. 對重要變數的探討與 suppressor 變數之間，一定存在著某些關聯，這或許值得作. Ch. 為未來深思並探討的一個課題。. engchi. 40.

(42) 參考文獻 Bertrand, P.V., and Holder, R.L. (1988). “A quirk in multiple regression: The whole regression can be greater than the sum of its parts.” The Statistician, 37, 371-374. Currie, I., and Korabinski, A. (1984). “Some comments on bivariate regression.” The Statistician, 33, 283–292. Cohen, J., and Cohen, P. (1975). Applied multiple regression/correlation analysis for the behavioral sciences, New Jersey: Lawrence Erlbaum Associates. Conger, A.J. (1974). “A revised definition for suppressor variables: a guide to their. 政治大. identification and interpretation.” Educational and Psychological Measurement, 34,. 立. 35-46. ‧ 國. 學. Darlington, R.B. (1968). “Multiple regression in psychological research and practice.” Psychological Bulletin, 69,161-182. ‧. Dayton, M. (1972). “A method for constructing data which illustrate a suppressor. sit. y. Nat. variable.” The American Statistician, 26, 36.. n. al. manuscript(Version 1.1, March 19 2005).. Ch. engchi. er. io. Feldman, B. (2005), “Relative Importance and Value.” Unpublished. i n U. v. Friedman, L., and Wall, M. (2005). “Graphical views of suppression and multicollinearity in multiple linear regression.” The Educational and Psycgological Measurment, 2005, 59, 127-137. Hamilton, D. (1987). “Sometimes R 2  ryx21  ryx2 2 : Correlated variables are not always redundant.” The American Statistician, 41, 129-132. Holling, H. (1983). “Suppressor structures in the general linear model.” Educational and Psychological Measurement, 43, 1-9. Horst, P. (1941). “The role of prediction variables which are independent of the criterion.” In Horst, P.(Ed.): The prediction of personal adjustment . Social Science 41.

(43) Research Bulletin, 48, 431-436. Lindeman, R. H., Merenda, P. F., and Gold, R. Z. (1980). Introduction to Bivariate and Multivariate Analysis. Glenview, IL: Scott, Foresman. Lynn, H.S. (2003). “Suppression and confounding in action.” The American Statistician, 57, 58-61. Lutz, G. (1983). “A method for construction data which illustrate there types of suppressor variable.” Educational and Psychological Measurement, 43, 373-377. Newton, R. G. and Spurrel, D. J. (1967). “Examples of the use of elements for. 政治大 Pratt, J. W. (1987). “Dividing the indivisible: Using simple symmetry to 立 clarifying regression analysis.” Applied Statistics, 16, 165-172.. partitionvariance explained”, in T. Pukkila and S. Puntanen (eds.), Proceedings of. ‧ 國. 學. the Second International Conference in Statistics (University of Tampere,. ‧. Tampere,Finland) pp. 245–260.. y. Nat. Schey, H.M. (1993). “The relationship between the magnitudes of SSR(x2) and. er. io. sit. SSR(x2|x1): A geometric description.” The American Statistician, 47, 26-30. Shieh, G. (2001). “The inequality between the coefficient of determination and the. al. n. v i n C h coefficients.” TheUAmerican Statistician, 55, sum of squared simple correlation engchi. 121–124.. Shieh, G. (2006). “Suppression situation in multiple linear regression.” The Educational and Psychological Measurement, 66,435-447. Smith, R.L., Ager, J.W., and Williams, D. L. (1992). “Suppressor variables in multiple regression/correlation.” Educational and Psychological Measurement, 52, 17-29. Velicer, W. (1978). “Suppressor variables and the semipartial correlation coefficient.” Educational and Psychological Measurement, 38, 953-958. 42.

(44) 附錄. 模擬程式碼如下: n=30 x1=rnorm(n,1,3) x2=rnorm(n,2,4) data1=data.frame(x1,x2) lin1=lm(x2~x1,data=data1) res=residuals(lin1). 立. T=(x1-mean(x1))/sd(x1). 政治大. ‧ 國. 學. S=(res-mean(res))/sd(res) y=T+rnorm(n,0,1). sit. al. n. xn=0.1*T+0.4*S. er. io. xr=0.1*T-0.2*S. y. Nat. xt=S. ‧. x=(T+S)/2. Ch. engchi. #stepwise regression procedure 迴圈 n=30 n1=10000 k=NULL k1=NULL k2=NULL out1=matrix(0,nrow=1,ncol=n1) out2=matrix(0,nrow=1,ncol=n1) 43. i n U. v.

(45) pv2.1=NULL pv1.2=NULL for(i in 1:n1){ x1=rnorm(n,1,3) x2=rnorm(n,2,4) data1=data.frame(x1,x2) lin1=lm(x2~x1,data=data1) res=residuals(lin1) T=(x1-mean(x1))/sd(x1) S=(res-mean(res))/sd(res) y=T+rnorm(n,0,1). 立. 政治大. ‧ 國. 學. x=(T+S)/2. ‧. x2=0.1*T+0.4*S. sit. y. Nat. y=(y-mean(y))/sd(y). io. er. x=(x-mean(x))/sd(x) xr=(x2-mean(x2))/sd(x2). n. al. r1=cor(y,x) r2=cor(y,x2). Ch. engchi. r12=cor(x,x2) ry1.2=(r1-r2*r12)/(1-r12^2)^(0.5) ry2.1=(r2-r1*r12)/(1-r12^2)^(0.5) R2=(r1^2+r2^2-2*r1*r2*r12)/(1-r12^2) t1=(r1^2*(n-2)/(1-r1^2))^(1/2) t2=(r2^2*(n-2)/(1-r2^2))^(1/2) k=1-pt(t1,n-2) if(k<0.05){ 44. i n U. v.

(46) t2.1=(ry2.1^2*(n-3)/(1-R2))^(1/2) k2=1-pt(t2.1,n-3) pv2.1=c(pv2.1,k2) if(k2<0.05) { out2[1,i]=1 t1.2=(ry1.2^2*(n-3)/(1-R2))^(1/2) k1=1-pt(t1.2,n-3) pv1.2=c(pv1.2,k1). 政治大. if(k1<0.05) out1[1,i]=1 else out1[1,i]=0 }. 立. else out2[1,i]=0. ‧ 國. ‧. }. 學. }. length(which(out2==1))/length(pv2.1). n. al. #forward selection. Ch. engchi. n=30 n1=10000 k=NULL k1=NULL k2=NULL out2=matrix(0,nrow=1,ncol=n1) pv2.1=NULL pv1.2=NULL 45. er. io. sit. y. Nat. length(which(out1==1))/length(which(out2==1)). i n U. v.

(47) for(i in 1:n1){ x1=rnorm(n,1,3) x2=rnorm(n,2,4) data1=data.frame(x1,x2) lin1=lm(x2~x1,data=data1) res=residuals(lin1) T=(x1-mean(x1))/sd(x1) S=(res-mean(res))/sd(res). 政治大. y=T+rnorm(n,0,1) x=(T+S)/2. 立. 學. ‧ 國. x2=0.1*T+0.4*S. y=(y-mean(y))/sd(y). ‧. x=(x-mean(x))/sd(x). y. al. n. r12=cor(x,x2). sit. io. r2=cor(y,x2). er. r1=cor(y,x). Nat. xr=(x2-mean(x2))/sd(x2). Ch. engchi. ry1.2=(r1-r2*r12)/(1-r12^2)^(0.5) ry2.1=(r2-r1*r12)/(1-r12^2)^(0.5). R2=(r1^2+r2^2-2*r1*r2*r12)/(1-r12^2) t1=(r1^2*(n-2)/(1-r1^2))^(1/2) t2=(r2^2*(n-2)/(1-r2^2))^(1/2) k=1-pt(t1,n-2) if(k<0.05){ t2.1=(ry2.1^2*(n-3)/(1-R2))^(1/2) k2=1-pt(t2.1,n-3) 46. i n U. v.

(48) pv2.1=c(pv2.1,k2) if(k2<0.05) out2[1,i]=1 else out2[1,i]=0 } } length(pv2.1)/n1 length(which(out2==1))/length(pv2.1). 政治大. #backward elimination n=30. 立. n1=10000. ‧ 國. y. sit. io. al. n. k2.1=NULL. er. k1.2=NULL. Nat. k2=NULL. ‧. k1=NULL. 學. k=NULL. pv2.1=NULL. Ch. pv1.2=NULL. engchi. pv1=NULL pv2=NULL for(i in 1:n1){ x1=rnorm(n,1,3) x2=rnorm(n,2,4) data1=data.frame(x1,x2) lin1=lm(x2~x1,data=data1) res=residuals(lin1) 47. i n U. v.

(49) T=(x1-mean(x1))/sd(x1) S=(res-mean(res))/sd(res) y=T+rnorm(n,0,1) x=(T+S)/2 x2=0.1*T+0.4*S. y=(y-mean(y))/sd(y) x=(x-mean(x))/sd(x) xr=(x2-mean(x2))/sd(x2) r1=cor(y,x). 立. r2=cor(y,x2). 政治大. ‧ 國. 學. r12=cor(x,x2). ‧ sit. y. Nat. R2=(r1^2+r2^2-2*r1*r2*r12)/(1-r12^2). io. er. ry1.2=(r1-r2*r12)/(1-r12^2)^(0.5) ry2.1=(r2-r1*r12)/(1-r12^2)^(0.5). n. al. Ch. t1.2=(ry1.2^2*(n-3)/(1-R2))^(1/2) k1.2=1-pt(t1.2,n-3). engchi. t2.1=(ry2.1^2*(n-3)/(1-R2))^(1/2) k2.1=1-pt(t2.1,n-3). t1=(r1^2*(n-2)/(1-r1^2))^(1/2) t2=(r2^2*(n-2)/(1-r2^2))^(1/2) k1=1-pt(t1,n-2) k2=1-pt(t2,n-2) 48. i n U. v.

(50) if(k1.2<k2.1){ if(k2.1<0.05) pv2.1=c(pv2.1,k2.1) else if(k1<0.05) pv1=c(pv1,k1). } if(k1.2>k2.1){ if(k1.2<0.05). 立. 政治大. pv1.2=c(pv1.2,k1.2). ‧ 國. 學. else if(k2<0.05). y. sit. io. n. al. er. }. Nat. }. ‧. pv2=c(pv2,k2). Ch. engchi. 49. i n U. v.

(51)