1
交互作用解析 (Interaction)
林彥光 副研究員 臺北醫學大學 生物統計研究中心
廣義線性模式(Generalized Linear Model)當中,指數型家族的隨機成分 (Random component)藉由鏈結函數(Link function)與系統成分(Systematic component)連結,其中的系統成分是用以解釋自變項的線性組合,可以寫成 ηi = 𝑥𝑖𝑇𝛽 = ∑ 𝛽𝑗𝑋𝑖𝑗 當中的X可以是以多項式的形式如 x12 + 𝑥 2,也可以是各解釋變項的線性組合 如 x1+ x2+ 𝑥1∙ 𝑥2,此線性組合的複雜程度隨著模型維度增加而增加,而當中 的 𝑥1∙ 𝑥2 稱為交互作用。若以線性回歸 Y=𝑏1𝑥1+ 𝑏2𝑥2+ 𝑏3𝑥1𝑥2 來解釋, 𝑏1代表的意思為當𝑥1增加一個單位,y 的平均值預期增加𝑏1個單位,那𝑏3如何解
釋呢?Paul Allison (1977) 定義交互作用為 “if the effect of x1 on y depends on the level of x2 (or symmetrically, the effect of x2 on y depends on the level of x1)”,如果 某一個自變項(x1)對依變項的影響受到其他自變項(x2)的影響,那交互作 用(𝑥1∙ 𝑥2)就存在,而 x2 也可稱作是調節變項(moderator)。 如果以兩因子的各種排列組合的平均值作圖,我們可能看到以下幾種圖形。平 均線交叉是很典型可以觀察交互作用存在的檢驗方式,如圖 1a, 1c, 1d, 但不代 表沒交叉就不會有交互作用,如圖 1b。 圖 1
2 舉例來說,假設我們想了解閱讀成績是否受到性別與教學策略的影響,閱讀成 績以閱讀字數作為連續變項估計,性別可分為男、女,教學策略分為傳統教學 法、多媒體法、綜合法,採用完全隨機設計,每個試驗的排列組合都有兩個受 試者,蒐集資料如下表: 教學策略 (X1) 傳統教學法 多媒體法 綜合法 總計 性別 (X2) 男 461, 653 900, 815 696, 799 Avg.=720.66
Avg.=557 Avg.=857.5 Avg.=747.5
女 1000, 693 1000, 1000 560, 576 Avg.=804.83 Avg.=846.5 Avg.=1000 Avg.=568
總計 Avg.=701.75 Avg.=928.75 Avg.=657.75 Avg.=762.75 表 1 這 12 個人當中,有兩個是男生且接受傳統教學法,閱讀字數分別是 416 與 653 字,而平均是 557 字; 男生的閱讀字數分別是 461, 653, 900, 815, 696, 799 字, 而平均是 720.66。傳統教學法的性別差異是 557 – 846.5 = -289.5,而綜合法的性 別差異是 747.5 – 568 = 179.5。-289.5 與 179.5 的差距隱含著資料當中可能存在 教學策略與性別的交互作用。當然,這樣的差距也可能是單純有抽樣誤差造成 的,因此交互作用的統計檢定是必要用以判斷交互作用是否真實存在。下圖示 說明性別與教學策略對閱讀字數的影響,女性在傳統教學與多媒體法的表現較 男性好,但這樣的現象在綜合教學法並不存在,因此單純的說 “女性的表現較 男性好” 並不合理;同樣的,傳統教學在男性受試者中比綜合法來的差,卻在 女性中有相反的表現,因此單純的說 “傳統教學法比綜合法效果差” 也不精 確。 各別因子的解釋受到另一個因子的影響就是交互作用的例子。 圖 2
3 類別型與類別型自變項的交互作用 若以 ANOVA 表格的計算方式,交互作用可用 F(X1X2) = Sum of Squares(X1X2) d. f 𝑀𝑆𝐸 = 𝑘 ∙∑ ∑ (X̅̅̅. −Xiij ̅̅̅ . −X.j. ̅̅̅. +X …̅̅̅̅̅ ) 2 𝑗 𝑗=1 𝑖 𝑖=1 d. f 𝑀𝑆𝐸 = 2 ∙ (557 − 720.66 − 701.75 + 762.75)2+ ⋯ + 2 ∙ (568 − 657.75 − 804.83 + 762.75)2 2 12433.5833 = 4.63 F 分配檢定可用以檢定綜合性的交互作用(Omnibus interaction)是否顯著存在 於性別與教學策略之間,然而多數大於 2 x 2 實驗設計會更想了解事後的單一交 互作用(Single degree-of-freedom interaction)是否存在。
以對比(Linear Contrast)檢定交互作用 對比(contrast)是一種用以比較不同組合的平均數的方法,以上述教學的例子 來說,如果想比較男生與女生在閱讀速度的差別, 傳統教學法 多媒體法 綜合法 男
μ
1μ
2μ
3 女μ
4μ
5μ
6 表 2H
0: 𝜇
𝑚𝑎𝑙𝑒= 𝜇
𝑓𝑒𝑚𝑎𝑙𝑒 也可以寫成是H
0:
(𝜇1+𝜇2+𝜇3) 3=
(𝜇4+𝜇5+𝜇6) 3 而對比就可以寫成是 φ =(𝜇1+ 𝜇2+ 𝜇3) 3 − (𝜇4+ 𝜇5+ 𝜇6) 3 = 1 3∙ 𝜇1+ 1 3∙ 𝜇2+ 1 3∙ 𝜇3− 1 3∙ 𝜇4− 1 3∙ 𝜇5− 1 3∙ 𝜇6 φ̂ =1 3∙ 𝑥̅̅̅ +1 1 3∙ 𝑥̅̅̅ +2 1 3∙ 𝑥̅̅̅ −3 1 3∙ 𝑥̅̅̅ −4 1 3∙ 𝑥̅̅̅ −5 1 3∙ 𝑥̅̅̅ 6 =1 3∙ 557 + 1 3∙ 857.5 + 1 3∙ 747.5 − 1 3∙ 701.75 − 1 3∙ 928.75 − 1 3∙ 657.75 = −84.16 藉由檢定T = φ̂ √𝑀𝑆𝐸(( 1 3) 2 2 + (1 3) 2 2 + (1 3) 2 2 + (1 3) 2 2 + (1 3) 2 2 + (1 3) 2 2 ) 檢定性別的主效果對 比是否顯著異於零。那該如何用對比檢驗交互作用呢?當兩個因子各有兩個層 級時,對比的自由度為(2-1)*(2-1)=1, 當因子超過兩個層級,比如教法有三種, 則對比的自由度為(3-1)*(2-1)=2,因此對比的自由度為 2,每個對比的形成可將 表 2 拆成兩個 2*2 的表4 傳統教學法 多媒體法 綜合法 男
μ
1μ
2μ
3 女μ
4μ
5μ
6 表 3 在第一個 2*2 的表格中,如果想要知道教學策略的效果在不同性別是否相同, 可以設計一個對比為男生中傳統教學與多媒體的差異與女生中傳統教學與多媒 體的差異:l1 = (𝜇1− 𝜇2) − (𝜇4− 𝜇5) 或寫成 𝑙1 =1 2𝜇1− 1 2𝜇2+ 0 ∙ 𝜇3− 1 2𝜇4+ 1 2𝜇5+ 0 ∙ 𝜇6 在第二個 2*2 的表格中,對比可設計成男生中綜合教學與多媒體的差異與女生 中綜合教學與多媒體的差異而寫成 𝑙2 = 0 ∙ 𝜇1+1 2𝜇2− 1 2𝜇3+ 0 ∙ 𝜇4− 1 2𝜇5 + 1 2𝜇6 當然,也可以從第三個 2*2 的表格中寫出 𝑙3 =1 2∙ 𝜇1+ 0 ∙ 𝜇2− 1 2𝜇3− 1 2∙ 𝜇4+ 0 ∙ 𝜇5+ 1 2∙ 𝜇6 但l3是l1與l2的線性組合l3 = 𝑙1+ 𝑙2,這個現象不意外的可由交互作用的兩個自 由度預見。因此,𝑙1與𝑙2所組成的矩陣[ 1 2 − 1 2 0 − 1 2 1 2 0 0 1 2 − 1 2 0 − 1 2 1 2 ]可用以檢定 交互作用,可採用的 SAS code 如下: data kkk; do gender =1 to 2; do method= 1 to 3; do i=1 to 2; input words @@; output; end; end; end; cards; 461 653 900 815 696 799 1000 693 1000 1000 560 576 ; proc glm data=kkk;5
class gender method;
model words=gender method gender*method/solution;
contrast "L1" gender*method 0.5 -0.5 0 -0.5 0.5 0;
contrast "L2" gender*method 0 0.5 -0.5 0 -0.5 0.5;
contrast 'Interaction matrix'
gender*method 0.5 -0.5 0 -0.5 0.5 0, gender*method 0 0.5 -0.5 0 -0.5 0.5; quit; SAS output 了解交互作用的檢定後,那一般常見以迴歸方式表達的交互作用又該如何解釋 呢? 當迴歸分析的自變項為類別型時,效果編碼(Effect coding)為一種藉由 0 與 1 的組合處理類變形變項的方式,效果變項為層級個數減一,因此性別需 要一個效果變項(=2-1),教學方式需要兩個效果變項(=3-1)。 編碼說明如下:
Variable Value Design variable
Gender 1 (女) 2 (男) G1 1 0 Method 1 (傳統教學法) 2 (多媒體法) 3 (綜合法) M1 M2 1 0 0 1 0 0 表 4
6 迴歸模式:𝑦 = 𝛽0+ 𝛽1∙ 𝐺𝑒𝑛𝑑𝑒𝑟 + 𝛽2∙ 𝑀𝑒𝑡ℎ𝑜𝑑 + 𝛽3∙ 𝐺𝑒𝑛𝑑𝑒𝑟 ∙ 𝑀𝑒𝑡ℎ𝑜𝑑 可寫成 𝑦 = 𝛽0+ 𝛽1∙ 𝐺1+ 𝛽2∙ 𝑀1 + 𝛽3𝑀2+ 𝛽4𝐺1∙ 𝑀1+ 𝛽5𝐺1∙ 𝑀2,其中𝛽係數的解釋方 式為該層級與參考值的比較,如𝛽1代表的是性別女(1)比男(0)的效果,𝛽2代表的 是多媒體教學法(2)比綜合教學法(0)的效果,如果我們想知道女生中傳統教學的 效果,可以設定 G1=1, M1=1, M2=0, 得到 𝑦 = 𝛽0+ 𝛽1∙ 1 + 𝛽2∙ 1 + 𝛽3∙ 0 + 𝛽41 ∙ 1 + 𝛽51 ∙ 0 = 𝛽0+ 𝛽1+ 𝛽2+ 𝛽4 如果我們想知道女生中多媒體教學的效果,可以設定 G1=1, M1=0, M2=1, 得到 𝑦 = 𝛽0+ 𝛽1∙ 1 + 𝛽2∙ 0 + 𝛽3∙ 1 + 𝛽4∙ 1 ∙ 0 + 𝛽51 ∙ 1 = 𝛽0+ 𝛽1+ 𝛽3+ 𝛽5 女生中多媒體教學比上綜合法為: (𝛽0+ 𝛽1+ 𝛽2+ 𝛽4) − (𝛽0+ 𝛽1+ 𝛽3+ 𝛽5) = 𝛽2+ 𝛽4− 𝛽3− 𝛽5 依此類推,男生中多媒體教學比上綜合法為: 𝛽2− 𝛽3 而交互作用男生中傳統教學與多媒體的差異是否與女生中傳統教學與多媒體的 差異,則可以藉由檢定上兩式是否相等 𝐻0: 𝛽2+ 𝛽4− 𝛽3− 𝛽5=𝛽2− 𝛽3 => 𝛽4− 𝛽5=0 SAS Code: data kkk2; set kkk;
array g(2) g1-g2; do i=1to 2; g(i)=(gender=(i)); end; drop i; array m(3) m1-m3;do i=1 to 3; m(i)=(method=(i)); end; drop i; array gm(2,3) g1m1 g1m2 g1m3 g2m1 g2m2 g2m3;
do i=1 to 2; do j=1 to 3; gm(i,j)=g(i)*m(j); end; end; drop i;drop j;
run;
採由兩維度 array 將性別與教學方法藉由參考值編譯(Reference coding)轉化為 啞變數(dummy variable)後進行迴歸分析。
proc reg data=kkk2;
model words=g1 m1 m2 g1m1 g1m2; b4_b5: test g1m1=g1m2;
7 SAS output 值得注意的是藉由β的線性組合檢定交互作用的方式與前述採用L1 對比的結果 一致(F(1,6)=0.87, p=0.3872)。 連續型與二元型自變項的交互作用 以一個包含交互作用的線性模式來說: 𝑌̂ = 𝑎 + 𝑏1𝐹 + 𝑏2𝑀 + 𝑏3(𝐹 × 𝑀) + ∑𝑘+1𝑖=4 𝑏𝑖𝑊𝑖, 其中 F 為主要二元自變項、M 為調節變項、W 為干擾因子。想了解交互作用則 我們把目標放在解釋 b3,上式調整一下可以寫成
𝑌̂ = 𝑎 + (𝑏1+ 𝑏3𝑀)𝐹 + 𝑏2𝑀 + ∑𝑘+1𝑖=4𝑏𝑖𝑊𝑖 (Hayes & Mattes, 2009)
F 對於 Y 的影響是透過(𝑏1+ 𝑏3𝑀)的係數,也就是受到 M 的影響,假設我們想 了解飲食控制對於減重的影響,受試者被分為對照組(F=0),飲食控制組(F=1); 而運動時間(M)也會影響減重的效果,因此預測減重效果𝑌̂的模式可以下列表示 𝑌̂ = 𝑎 + 𝑏1𝐹 + 𝑏2𝑀 + 𝑏3(𝐹 × 𝑀) 圖 3 從圖示中可以明顯看到交互作用的存在(b3=1.768, t=9.94,p<0.001),代表飲食控 制組與對照組之間的差別受到受試者運動時間長短的影響。飲食控制(F)對於減
8 重的影響是透過(𝑏1+ 𝑏3𝑀)的係數,b1=-10.224, b3=1.768。若想了解飲食控制 組與對照組在"平均"運動時間(M=15.5)的差別,∆𝑦̂ =-10.224+1.768*15.5=17.18 檢定後可得 p<0.001,而在運動時間較少(M=5)的情況下,∆𝑦̂ =-10.224+1.768* 5=1.38, p=0.5708¸飲食控制組與對照組間沒有顯著差別。 SAS code data ggg; grp=0; do exercise=1 to 30;
Wt_loss=3+0.5*exercise+5*rannor(1234); output;
end; grp=1;
do exercise=1 to 30;
Wt_loss=-5+2*exercise+5*rannor(1234); output; end; run; proc format ; value grpfmt 0="Control (F=0)" 1="Diet grp (F=1)"; run; proc glm data=ggg; class grp(ref=first);
model wt_loss=exercise grp exercise*grp/solution; lsmeans grp/pdiff at exercise=15.5;
lsmeans grp/pdiff at exercise=5; quit;
9
SAS output
在某些特定的 M 值上做出組別間的比較稱為 Pick-a-point approach,而這樣的作 法,在連續型的 M 時,檢定組別的效果有無限多種可能(任一點 M),不免顯得 有 data fishing 的疑慮也很難避免型一誤差的上升。Johnson-Neyman technique 由 Johnson & Neyman 在 1936 年發展,原先設計來探討 ANCOVA 當中回歸異質 的問題,後來被延伸為線性模型中交互作用的深究。Johnson-Neyman technique 可以避免 Pick-a-point approach 中人為的選擇 M,並藉由遞迴過程尋找主要自變 數 F 在哪一些 M 的區段可達統計顯著。於飲食減重的例子中,可以得到飲食控 制與對照組在運動時間界於 2.658~8.079 時,兩組間沒有顯著差別,當運動時間 少於 2.658 或大於 8.079,兩組的差距達統計顯著。
SAS code (Hayes & Montoya, 2017) %OGRS(data =ggg, vars = grp exercise wt_loss ,
x=grp, m=exercise, y=wt_loss,conf = 95 ,iter = 1000 ,decimals = 10.6);
10
11
藉由交互作用的檢定與視覺化探索,讀者可更清楚自變項的組合如何影響 依變項,本文僅探討類別型自變項與二元類別型、連續型自變項組合的交互作 用,關於多元類別型自變項與連續型-連續型自變項的交互作用,讀者可參考 Allison, P. D.於 1977 年所著 Testing for interaction in multiple regression. American Journal of Sociology, 83(1), 144-153.
參考文獻
Allison, P. D. (1977). Testing for interaction in multiple regression. American Journal
of Sociology, 83(1), 144-153.
Hayes, A. F., & Matthes, J. (2009). Computational procedures for probing interactions in OLS and logistic regression: SPSS and SAS implementations. Behavior research
methods, 41(3), 924-936.
Hayes, A. F., & Montoya, A. K. (2017). A tutorial on testing, visualizing, and probing an interaction involving a multicategorical variable in linear regression analysis.