平均數的變異分析

ANOVA 與 F TEST

平均數的變異分析

2

變異數分析的基本原理

z平均數差異檢定：計算兩個母體平均數間的差異，如果差異夠 大，大於統計上的隨機差異，便可能獲得顯著的結果，拒絕虛 無假設、接受對立假設。（z檢定、t檢定、p值檢定)。

z平均數變異分析：超過兩個母體平均數間的差異的檢定，其原 理是以平均數間的變異數（組間變異）除以隨機變異得到的比 值（F值—F檢定），能同時檢定三個(或以上)平均數的差異情 形

z當F值越大，表示研究者關心的組間（母體間）平均數的分散 情形較誤差變異來得大，若大於研究者設定的臨界值，研究者 即可獲得「拒絕虛無假設、接受對立假設」的結論。

n X Z X

X

obt σ

μ σ

μ −

− =

=

F=MS

/MS

3

變異數分析的基本原理

z

平均數變異分析：

z 統計資料常會受到不同因素(factor)的影響，而使個別觀測 值產生差異。例如，欲研究某農地稻米產量的差異是否顯 著，可能影響產量的因素有稻米種類、肥料、氣候及土 壤…等等。但是這些影響因素是否顯著，則可以透過變異 數分析方法

z 先求算樣本總變異(total variability)，再依不同的影響因素 將其分解為若干可解釋變異(explained variation)與不可解釋 變異(unexplained variation)，最後再利用F分配右尾來進行 統計資料的檢定。

4

1. 實驗單位(experiment unit)：實驗設計中所測量的基本單位。

2. 因子(factor)：實驗單位中各種不同的影響條件。

3. 水準(level)：一因子出現的各種不同條件。

4. 處理(treatment)：不同因子水準的每個特定組合稱為處理。

„ 如欲瞭解某塊農地單位面積(即為實驗單位)稻米產量是 否有差異，若研究三種不同的稻米種類是否會造成產量 的差異，則此問題為單因子變異數分析(one factor ANOVA)，因子為稻米種類，且具有三個水準。

„ 假若現在所要探討的因素增加二種土壤種類，則此問題 為二因子變異數分析(two factors ANOVA)，因子有稻米 及土壤種類，其各自的水準分別為3和2，因此共可產生3

＊2=6種處理。依此類推，尚有三因子、四因子等變異數 分析。

單因子變異數分析(Single Factor ANOVA)

z 統計學家為了使變異數分析更具有效率，設計許多實驗 方法，稱為實驗設計(design of experiment；DOE)，主要 是利用實驗設計中隨機化與重複性兩種特性來使其他無 關的影響因素相互抵消，藉以增加檢定結果的可靠度。

z 實驗設計的種類很多，最主要的有獨立樣本的完全隨機 化設計(completely randomized design)及相依樣本的隨機 化區集設計(randomized block design)。

完全隨機化設計（獨立樣本）

處理

(水準) 觀 測 值 總 和 平均數 1 y₁₁ y₁₂ … y_1n y_1· y_1⋅ 2 y21 y22 … y2n y2· y2⋅

·

·

·

·

·

·

·

·

·

…

·

·

·

·

·

·

·

·

· k Yk1· yk2 … ykn yk· yk⋅

總計 y·· y ⋅ ⋅

y_ij：處理i的第j個觀測值

n_i：處理i的樣本觀測值個數

∑ ∑∑

= =

=

=

= ^k

i n

j ij

k

i i

i

y y

y

1 1

1 .

.. ：所有樣本觀測值總和

i i

i y n

y_. = _./ ：處理i下的樣本觀測值平均數

∑

⋅

⋅ = ^k

i

yi

y k

1

1 ：所有樣本觀測值平均數

∑=

= ⁿⁱ

j ij

i y

y

1

. ：處理i的樣本觀測值總和

ANOVA 的基本假設

1. 每個反應變數的母體均為常態分配 2. 每個母體變異數均相同

3. 來自各母體的隨機樣本互為獨立

y

~ N( μ

, σ

)

μ

μ

μ

H₁：

μ

μ

μ

應用 ANOVA方法

y

= μ

+ ε

( ε

σ

ε

α

μ

μ

i

∴

y

= μ + α

+ ε

^ε

^{~ N ( 0 , σ}

⁾

^ε

0

1

∑ =

= i

k

i

α

單因子變異數分析是在檢定多個處理平均值是否相同，即 檢定處理水準的效應存在與否。

H₀：

α

α

α

H₁：至少有一

α

變異來源 平方和(SS) 自由度(df) 均方(MS)

組間 _{. ..} ²

1

) (y y n

SS _i

k i

i

b=

∑

=

k-1 = −1

k MS_b SSB

組內(誤差)

∑∑

= =

−

= ^k

i n j

i ij w

i y y

SS

1 1

2 .)

( N− k

k N MS_w SSE

= − 合計 ⁼

∑∑

i n

j ij t

i y y

SS ( _..)² N-1

• 變異數分析的主要原理係將全體樣本在依變項的變異情形，其「導因於自 變項影響的變異」與「導因於誤差的變異」兩個部份加以分別計算。

• 將總離散量(總變異)拆解成自變項(組間)效果與誤差 (組內)效果兩個部份，

再加以比較。

1. 不論各處理的平均值相等與否，MSE均是誤差項

ε

σ

μ

2. 若在虛無假設H₀成立下，則E[MS_b]=E[MS_w]=

σ

σ

μ

σ

μ

。

H₀：

μ

μ

μ

μ

μ

μ

H₀：E[MS_b] = E[MS_w] H₁：E[MSb] > E[MSw]

H₀為真時，母體為常態分配的基本假設下

SS_b/σ²~ χ²(k-1)；SS_w/σ²~ χ²(N-k) 且SS_b/σ²與SS_w/σ²互為獨立

) , 1 (

~ )

( ) 1 (

2

2 F k N k

MS MS k SS N

SS k F

w b w

b

−

−

=

−

= − σ

σ ^{當F值愈大（即MSb愈大於}

MS_w），表示μ_i不相等，

故應拒絕虛無假設H₀ E(MS_w) = σ²

E(MS_b)=σ²+Σn_i(μ_i-μ)/(k-1)

單因子變異數分析模式：

y

= μ

+ ε

= μ + α

+ ε

，

α

i

在基本假設成立下，單因子變異數分析即在檢定 H₀：

μ

μ

μ

H₁：

μ

μ

μ

或 H₀：

α

α

α

α

在顯著水準

α

即表示處理間之平均數有顯著差異。

獨立樣本單因子變異數分析表

變異來源 SS df MS F 組間

SS_b k-1 SS_b/df_b MS_b/MS_w 組內 誤差( ) SSw N-k SSw/dfw

全體

SSt N-1

11

【例】設隨機選擇條件相同的數塊田地，分別以甲、乙、丙、

丁四種不同品種的稻米來做實驗， 得到的收穫量(千公斤)如下 表：

試問在顯著水準α = 0.05下不同品種的稻米的平均產量是否會有 顯著的差異？

設

μ

μ

μ

μ

處理 觀測值 平均數

甲 8 5 9 8 10 y =8 _1. 乙 12 14 16 y =14 _2. 丙 9 14 15 10 y =12 _3. 丁 10 8 9 12 10 11 y =10 _4.

總平均y =11 _..

H₀：

μ

μ

μ

μ

μ

12

【例】 ANOVA Table

在顯著水準

α

因F = 7.97 > 3.35 = F_0.05(3,14)，故拒絕虛無假設H₀，表示此 四種不同品種的稻米平均產量有顯著的差異。

變異來源 平方和(SS) 自由度(df) 均方(MS) F 值 處理間 SSB=82 3 MSB=82/3

=27.33

MSB/MSE=

27.3/3.43=7.97 誤差 SSE=58 14 MSE=58/14

=3.43 合計 SST=140 17

13

隨機化區集 (Block) 設計

z 區集設計是在比較k種處理時，設計者安排相同條件，或條 件極為接近的一些個體當成一個區集(block)，且每一個區集 的實驗個數均相同，其目的是為了減少實驗的誤差，增加檢 定能力。

z 例如，比較四種稻米的產量時，若實驗是在某四個地區中各 選取一塊條件相近的農地為一區集，我們希望實驗的誤差愈 小愈好，故利用區集將農地間的變異從原有的實驗誤差(SSE) 隔離出來，以增加變異數分析的檢定能力。

z 隨機化區集設計是使用最廣泛的一種實驗設計，如在機器設 備操作上，操作員最常被定義為區集，其他如原物料的進貨 批次、時間等都可以透過區集劃分，將區集的變異從實驗誤 差隔離出來。

14

隨機化區集設計

1 2 … b 處 理和 處 理平均 1 y₁₁ y₁₂ … y_1b y_1· y _1. 2 y21 y22 … y2b y2· y 2.

·

·

·

·

·

·

·

·

·

·

·

·

#

·

·

·

·

·

· a ya1 ya2 … yab ya· y a.

區 集總和 y·1 y·2 … y·b 總 和 ⁼

∑∑

i j

yij

y_..

區 集平均 y .1 y _.2 … y_.b 總 平均 N y_..= y^..

處理 區集

y_ij：處理 i 下在區集 j 的觀測值。

15

隨機化區集設計

區集設計的統計模型為：

y_ij=

μ

α

β

ε

其中，μ 是母體平均數，α_i是處理 i 的效應，β_j 是區集 j 的效應，

且

ε

, 0 (

~

σ

ε

N

1

∑

= a i

αi ⁰

1

∑

= b j

βj

總差異= 處理差異 + 區集差異+ 隨機誤差

∑∑

−

= ^a

i b

j

ij N

y y SST

1 1

2 2 ..

∑

−

= ^a

i

i N

y y SSTR b

1

2 2 ..

.

1

∑

−

= ^b

j

j N

y y SSBL a

1

2 2 ..

.

1

SSE = SST – SSTR – SSBL 其中N=ab

16

變 異 來 源 平 方 和

(SS) 自 由 度 (df) 均 方 (MS) F 值

處 理 間 SSTR a–1 MSTR=SSTR/(a-1) F=MSTR/MSE 區 集 間 SSBL b–1 MSB=SSB/(b-1)

誤 差 SSE (a-1)(b-1) MSE=SSE/(a-1)(b-1) 合 計 SST N-1

隨機化區集設計之ANOVA表

隨機化區集設計之變異數分析的決策法則

在顯著水準

α

則拒絕H₀；反之，若F≤ F_α((a-1), (a-1)(b-1))，則接受H₀

單因子變異數分析資料實例

z可以計算出四個平均數，即三個組平均數與一個總平均數

（grand mean)。變異數分析檢定的就是這三個組平均數是否 具有顯著的差異

z研究假設(對立假設)：高、中、低三種不同運動量的受測者，

其睡眠時間不同→ H₁：μ_x1≠μ_x2≠μ_x3。

輕度運動量組 中度運動量組 重度運動量組 6.5 7.1 7.4 7.4 8.0 8.2 7.3 7.9 6.8 8.1 7.7 8.5 6.6 8.2 6.7 8.2 7.1 9.5 7.4 7.7 7.3 8.0 7.6 8.7 7.2 7.5 7.6 7.6 6.6 9.6 6.8 7.6 7.4 8.0 7.2 9.4

1=ΣX1j/n1=7.32 2=ΣX2j/n2=7.54 3=ΣX3j/n3=8.18

t = ΣXij /N=7.68

18

變異數分析實例

變異來源 SS df MS F

組間 ^4.754 _{2 2.377 11.003} 組內(誤差) ^16.288 ₃₃

受試者間 ^11.536 11 1.049

殘差 ^4.753 _{22 .216}

全體 ^21.042 ₃₅

19

固定效果模式與隨機效果模式

z固定效果模式（fixed effect model）。當一個研究的自變項的 水準個數（k組），包括了該變項所有可能的水準數(K組)，也 就是樣本的水準數等於母體的水準數(K=k) 。

z 例如比較大學四個年級學生的曠課次數，此時自變項為年級，具有四 個水準，而母體亦為四個年級。

z隨機效果模式（random effect model）。研究所取用的自變 項，只包含特定的一些水準，而並非包括所有可能的類別，即 樣本的水準數小於母體的水準數 (K>k) 。

z 例如教育學者比較不同的教學方法對於學生學習的影響，自變項可能 包括啟發法、講演法、多媒體法等，不論研究者取用幾種，事實上均 無法涵蓋所有的教學方法，該研究所關心的三個水準，可以說是隨機 自教學方法的母體中，隨機取用得來的。

z隨機效果模式所得到的結論，在推論上需考量如何自所選取的 水準去推論自變項的所有水準。

20

因子設計 (Factorial Design)

z

單一觀測值(single replication)的二因子實驗設計

1 2 … b

1 y11 y12 … y1b

2 y21 y22 … y2b

·

·

·

·

·

·

·

·

·

·

·

·

·

·

·

a ya1 ya2 … yab

B 因子 A 因子

21

因子設計 (Factorial Design)

z

單一觀測值(single replication)的二因子ANOVA表

變異 來源

平方和 (SS)

自由度

(df) 均方(MS) F 值 A 因子 SSA a-1 MSA=SSA/(a-1) FA=MSA/MSE B 因子 SSB b-1 MSB=SSB/(b-1) FB=MSB/MSE 誤差 SSE (a− b1)( −1) MSE=SSE/(a-1)(b-1)

合計 SST N−1 ab-1

檢定二個假設：

H₀：

μ

μ

μ

H₁：

μ

H₀：

μ

μ

μ

μ

在顯著水準α下，若F_A> F_α((a-1), (a-1)(b-1))，則拒絕H₀，表示因子A的不同水準對反 應值有顯著差異；

若FB> F_α(b-1), (a-1)(b-1)，則拒絕H0，表示因子B的不同水準對反應值有顯著差異 。

22

因子設計 (Factorial Design)

重複實驗(multiple replications)的二因子變異數分析

z 若對每一個處理組合均進行相同次數的實驗，則稱為均衡的實 驗設計(balanced design of experiment)

1 2 … b A 因子 總和

A 因子 平均數 1 y111,y112,

…, y11n

y121,y122,

…, y12n

… y1b1,y1b2,

…, y1bn y1⋅⋅ y1..

2 y211,y212,

…, y21n

y221,y222,

…, y22n

… y2b1,y2b2,

…, y2bn y2⋅⋅ y 2..

# # # … # # # a ya11,ya12,

…, ya1n

ya21,ya22,

…, ya2n … yab1,yab2,

…, yabn ya⋅⋅ ya..

B因子總和 y⋅1⋅ y⋅2⋅ … y⋅b⋅ 總和 y⋅⋅⋅

B因子平均數 y_.1. y_.2. … y_.b. 總平均 y_...

A 因子 B 因子

23

因子設計 (Factorial Design)

二因子重複實驗之統計模型為：

y_ijk=

μ

α

β

αβ

ε

其中，

μ

α

β

αβ

i

j

檢定三個假設：

H₀：

μ

μ

μ

H₁：

μ

H₀：

μ

μ

μ

H₁：

μ

H₀：

αβ

24

因子設計 (Factorial Design)

二因子重複實驗之ANOVA表 ：

變異 來源

平方和 (SS)

自由度 (df)

均方(MS) F 值

A 因子 SSA a-1 MSA=SSA/(a-1) FA=MSA/MSE B 因子 SSB b-1 MSB=SSB/(b-1) FB=MSB/MSE AB 交互

作用

SSAB (a-1)(b-1) MSAB=

SSAB/(a-1)(b-1)

FAB=MSAB/MSE

誤差 SSE ab(n-1) MSE=SSE/ab(n-1)

合計 SST abn–1

在顯著水準

α

若F_AB> F_α((a-1)(b-1), ab(n-1))，則拒絕H₀。

ANOVA的基本假設

z （一）常態性假設

變異數分析需處理超過三個以上的平均數，須假設樣本是抽取自常態 化母群體，當樣本數越大，常態化的假設越不易違反。

（二）隨機化假設

z （三）變異數同質性假設 (

σ

σ

σ

σ

多個樣本平均數的比較，必須建立在樣本的其他參數保持恆定的基礎 上，如果樣本的變異數不同質，將造成推論上的偏誤。也就是樣本變 異數同質性假設（homogeneity of variance）。

z （四）可加性假設 (SS_t=SS_b+SS_w)

變異數分析牽涉到變異量的拆解，因此，各種變異來源的變異量須相 互獨立，且可以進行累積與加減，稱為可加性（additivity）假設。在 進行加總時，係使用離均差平方和 (SS)，而非變異數本身。

z （五）球面性假設（sphericity）

適用於相依樣本的變異數分析，係指不同水準的同一組樣本，在依變 項上的得分，兩兩配對相減所得的差的變異數必須相等（同質）。也 就是說，不同的受試者在不同水準間配對或重複測量，其變動情形應 具有一致性。

若違反基本假設：ANOVA 產生錯誤結果

z（一）非常態性：

易犯Type-I 誤差。(1)稍微違反常態性 –較不影響(尤其是對稱但非常 態者)；樣本數≥ 12，F統計量具強韌性。(2) 偏態對Type-I 誤差影響 較小，但樣本數不多時，對檢定力影響較大。峰度為低闊峰時，F檢 定較鬆散，Type-I 誤差會增加。

z（二）非隨機性：影響內外在效度

z（三）變異數非同質性：

„ 若變異數異質情形嚴重，可將原始分數轉換，以使變異數同質化。

„ 分數轉化的目的：(1)使誤差變異數同質性；(2) 誤差效果常態化；

(3) 獲得效果值的可加性。

„ 分數轉化方法：平方根轉換法、對數轉換法、倒數轉換法、反正弦 轉換法

„ 變異數同質性檢定方法：Barlett Test, Hartley Test, Brown- Forsythe Test, Welch Test。SPSS–Levene Test；SAS–Hartley 最大最小變異法。

z（四）非獨立性(可加性)：當每個受試者有2個以上觀測値 誤差項非獨立，影響Type-I 誤差與 F 統計檢定力。

27

整體檢定與多重比較

z

整體檢定(overall test): 當變異數分析的F檢定值達顯著 水準，即推翻平均數相等的虛無假設，亦即表示至少有 兩組平均數之間有顯著差異存在。多個平均數差異之整 體效果(overall effect)達顯著水準

z

當整體檢定呈顯著性時，需檢驗兩兩個別平均數間是否 存在顯著不同，即進行多重比較(multiple comparison)之 檢定。

z

多重比較在進行F檢定之前進行，稱為事前比較(priori

較，稱為事後比較(posteriori comparisons)。

28

多重比較--事前比較

z 又稱為計畫比較(planned comparison)，是指在進行研究之 前，研究者即基於理論的推理或個人特定的需求，事先另行 建立研究假設，以便能夠進行特定的兩兩樣本平均數的檢 定，而不去理會所有平均數整體性的比較。

z 事前比較應用 t

檢定

z 進行事前比較需在研究進行之初即應先行提出特殊的研究假 設

z 在統計軟體中可以利用對比(contrast)，設定特殊的線性組合 模式，來檢定特定因子水準平均數間的差異。

29

多重比較--事前比較

若檢定結果為拒絕H₀，則可進一步探討

μ

μ

聯立信賴區間(多重信賴區間 )

在

k

μ

μ

j i m p j

i X t S n n

X 1 1

) (

2

+

⋅

±

− _α

其中，

(在

k

MSE S

C

m

t

MSE

這些信賴區間的信賴水準變成 1−α C₂^k

30

多重比較--事後比較(Post hoc Test)

z

(一) 假設各組變異數相同

z 多重比較多運用差距檢定法（Studentized Range Test）原理 進行，即與 t 檢定原理類似 (平均數差異的檢定)

z Tukey’s HSD (T)法：將所有的配對比較視為一體，使整個研 究的Type I 誤差維持衡定 。適用於雙尾檢定，亦適用於各組 之n 相等情況。【n不相等情況：採用Tukey-Kramer (K) 法】

z 紐曼-庫爾(N-K)法 (Newman-Keuls Method)：依平均數大小次 序採用不同的臨界Q值。適用於各組之n 相等情況。此法無法 取得信賴區間。組數>3時，無法維持預設之α値。檢定力較 強，較易拒絕虛無假設。

註：HSD法對於平均數配對差異檢驗較N-K法嚴謹，但是HSD法 的統計檢定力則較N-K法為弱

31

多重比較--事後比較(Post hoc Test)

z

(一) 假設各組變異數相同

z 雪費法（Scheffe’s methed）

一種以F檢定為基礎，適用於各組之n不相等的多重比較技術。

此方法對資料違反「常態性」與「變異數同質性」兩項假定較 不敏感，可控制整體α 値，且犯type I 誤差的機率較小，可說是 各種方法中最嚴格、檢定力最低的一種多重比較法。

z Fisher’s LSD (Least Significant Difference)法 z Fisher-Hayter法

z REGW F, Q法

z Duncan法：與N-K法類似，但不同組數採用不同顯著水準。

32

多重比較--事後比較(Post hoc Test)

z

（二）假設各組變異數不同

z杜納法（Dunnett method）

類似於Scheffe法，適用於實驗研究中，有 k 個平均數，k-1 個為實驗組，一個對照組，每一個實驗組需與對照組比 較，因此需進行k-1次配對比較。type I 誤差的設定，是以 整體實驗的成敗為考量。杜納法基於 t 分配的機率原理，檢 定k-1個實驗組的平均數與單一控制組的平均數之間的差異 顯著性，屬於非正交比較（non-orthogonal

comparison）。

多重比較--事後比較(Post hoc Test)

9 Dunnett’s T3

9 Games-Howell

9 Dunnett’s C

9 9

9 Duncan

9 9

Tukey-Kramer

9 9

9 Tukey’s HSD

9 9

9 Newman-Keuls

9 9

9 R-E-G-W Q

9 9

R-E-G-W F

9(非成對亦可)

Scheffe

9 9

Fisher’s LSD

變異數同質 各組n相等

成對比較 多重比較檢定方法