Combining Effect Size Estimates
Across Different Experimental Designs
in Meta-Analysis
Hsieh, Jin-Chang
Abstract
Combining standardized mean difference (SMD) from different experimental designs were rarely discussed, especially domestic meta-analytic studies. This would ignore some more suitable effect sizes for further meta analysis. Besides, the formula of SMD deriving from raw score, covariate adjusted score and gain score are not only complicated, but also some mistakes made in the past literature. The aim of this study is to conduct a systematic review of methods or formula of effect size dealing with results from different experimental designs. Finally, software, named SMD Calculator was designed and demonstrated with three examples and suggestions for future usage are proposed.
Keywords: effect size, experimental design, meta analysis, standardized mean difference
壹 、 前 言
貳、不同量尺之標準化平均數差異效果量
當 後 設 分 析 目 的 是 在 整 合 研 究 間 某 變 項 平 均 表 現 差 異 （mean difference）時，其 效 果 量 的 計 算 是 會 隨 著 各 研 究 實 驗 設 計、統 計 方 法 使 用 、 可 獲 得 訊 息 的 差 異 而 不 同 ， 例 如 ： 經 概 念 構 圖 實 驗 教 學 後 ， 實 驗 組 、 控 制 組 於 學 業 成 就 表 現 是 否 有 差 異 ? 而 研 究 者 在 回 答 這 個 研 究 問 題 時，所 使 用 的 實 驗 設 計 可 能 是 獨 立 樣 本 後 測 設 計、獨 立 樣 本 前 後 測 設 計、相 依 樣 本 前 後 測 設 計 或 單 組 前 後 測 設 計 等 等，先 不 論 各 類 設 計 之 研 究 品 質 ， 因 應 設 計 的 不 同 ， 研 究 者 在 檢 測 組 間 （或 組 內 ）平 均 數 差 異 時 ， 所 使 用 統 計 方 法 可 能 是 獨 立 樣 本 t 考 驗 、 單 因 子 共 變 數 分 析 或 相 依 樣 本 t 考 驗 等 等，由 於 這 三 類 型 統 計 方 法 所 建 基 之 分 析 單 位 是 不 同 的，分 別 是 原 始 分 數（raw score）、共 變 項 調 整 後 分 數（covariate adj ust ed s core）及 進 步 分 數 （gai n s core ）， 致 使 其 對 應 計 算 之 標 準 化 平 均 數 差 異 效 果 量 公 式 ， 亦 會 有 所 差 異， 而 必 須 轉 換 至 共 同 量 尺， 才 得 以 相 互 比 較，而 作 者 是 就 原 始 分 數、共 變 項 調 整 後 分 數 及 進 步 分 數 等 類 型 ， 統 一 轉 換 於 原 始 分 數 效 果 量 量 尺 ， 逐 一 進 行 說 明 ：一 、 原 始 分 數
假 設 在 單 一 獨 立 樣 本 後 測 設 計 研 究 中，其 下 是 包 含 有 獨 立 實 驗 組 ( )及 控 制 組 ( 樣 本，而 及 分 別 是 該 研 究 實 驗 組 及 控 制 組 於 後 測 依 變 項 的 第 筆 表 現 數 據 ， 在 服 從 常 態 分 配 假 設 下 ， 各 組 母 群 後 測 平 均 數 及 變 異 數 分 別 為 、 及 、 ， 其 中 ： , ) , ) 在 變 異 數 同 質 性 假 設 成 立 下 (亦 即 )， C ohen（1988, p. 20）認 為 標 準 化 平 均 數 差 異 效 果 量 （standardiz ed m ean difference ）可 表 達 為 公 式 (1)：
其 中 ， 、 是 實 驗 及 控 制 組 樣 本 平 均 數 ， 而 為 控 制 組 的 樣 本 標 準 差 ， 而 Glass 等 人 認 為 當 研 究 中 有 超 過 2 個 實 驗 組 、 但 只 有 1 個 控 制 組 時，使 用 控 制 組 標 準 差 至 少 能 對 不 同 實 驗 組 但 具 備 相 同 平 均 數 差 異 者，分 配 相 同 效 果 量。但 Hedges（1981）卻 是 認 為 在 很 多 情 境 下 ， 兩 母 群 變 異 數 同 質 假 設 是 屬 合 理 ， 而 且 Hunter 與 Schmidt（1990）認 為 使 用 整 合 的 組 內 標 準 差 （pooled within group standard deviation ）是 會 比 使 用 控 制 組 標 準 差 有 較 小 的 抽 樣 誤 差 （sampling error ）， 且 某 些 研 究 往 往 只 提 供 如 獨 立 樣 本 t 考 驗 值 或 單 因 子 變 異 數 分 析 F 值 等 統 計 量，若 使 用 整 合 的 組 內 標 準 差 是 會 較 容 易 轉 換 為 一 致 的 效 果 量，同 時， 加 諸 現 行 學 者 於 各 教 科 書 或 研 究 中 （例 如 Borenstein, et al., 2009; Li ps e y & Wilson, 2001 ），多 是 以 介 紹 或 使 用 整 合 標 準 差 作 為 效 果 量 計 算 之 分 母。因 此，在 本 文，作 者 是 以 Hedges（1981）提 出 的 效 果 量 ， 進 行 說 明 及 延 伸 ， 可 表 達 為 公 式 (3)： 其中， 而 符 號 代 表 意 涵 皆 與 前 述 雷 同。Hedges（1981）認 為 效 果 量 是 為 服 從 於 倍 的 非 中 心 化 t 分 配 （non-central t distribution ）( 自 由 度 為 ；非 中 心 化 參 數 為 ），其 中， 。在 經 套 用 Johnson
來 取 代 ，亦 或 是 直 接 透 過 下 列 公 式 (17)、(18)來 計 算 組 內 均 方 ， 進 而 ，再 搭 配 文 獻 所 提 供 實 驗 、 控 制 組 平 均 數， 以 進 行 效 果 量 計 算 。
其 中 ， 為 單 因 子 變 異 數 分 析 之 組 間 均 方 （between groups mean square）、 為 組 內 均 方、 為 多 群 體 (大 於 2）單 因 子 變 異 數 分 析 之 omnibus F 值 、 為 全 體 樣 本 平 均 數 （grand mean）。 但 是 當 該 研 究 是 違 反 變 異 數 同 質 性 假 設 時 ， 作 者 必 須 提 醒 此 值 所 代 表 的 則 是 三 個 以 上 群 體 標 準 差 之 加 權 平 均，而 非 單 純 兩 個 群 體 標 準 差 的 加 權 平 均 （Ray & Shadish, 1996）， 兩 者 彼 此 是 存 在 些 許 差 異 ， 因 此 ， 研 究 者 不 能 輕 易 交 替 使 用 。
（ 三 ） 多 因 子 變 異 數 分 析 之 效 果 量 轉 換
當 研 究 文 獻 所 提 供 的 訊 息 是 來 自 於 高 階 因 子 設 計 時 （high-order fact ori al desi gns ）， 由 於 運 用 組 內 均 方 來 計 算 效 果 量 ， 是 需 同 時 考 量 其 它 非 實 驗、 控 制 組 因 子 的 影 響 ，因 此， 此 設 計 是 會 使 得 效 果 量 計 算 顯 得 更 為 複 雜，而 本 文 先 從 因 子 設 計 著 手，分 兩 階 段 進 行 說 明 如 下 ：
1.非 實 驗 、 控 制 組 因 子 是 否 為 理 論 關 注 因 素
其 中 ， 是 屬 於 校 正 項 ， 用 以 校 正 原 始 二 因 子 變 異 數 中 所 獲 得 之 A 因 子 實 驗 效 果 值，而 其 它 符 號 意 涵 則 分 別 是 （ B 因 子 F 值 ） 、 （ AB 因 子 交 互 作 用 F 值 ） 及 各 自 的 自 由 度 、 。 是 為 A 因 子 下 level1（ 實 驗 組 ） 人 數 、 為 A 因 子 下 level2（ 控 制 組 ） 人 數 （ 註 ： 是 分 別 等 同 於 本 文 前 述 之 及 ） 。 此 外 ， 若 進 一 步 延 伸 至 等 多 因 子 設 計 時 ， 除 同 樣 需 預 先 考 量 B 及 C 因 子 是 否 為 理 論 關 注 因 素 外 ， 有 關 被 排 除 之 組 內 變 異 量 置 回 ， Cortina 與 Nouri （ 2000, p. 3 1） 、 Morri s 與 DeShon（ 1997, p. 194） 是 延 伸 提 出 如 下 公 式 (21)及 (22)： 其 中 ， 各 符 號 所 代 表 意 涵 均 雷 同 於 上 述 公 式 (19)及 (20)， 只 是 延 伸 增 加 C 因 子 及 其 各 項 交 互 作 用 之 離 均 差 平 方 和 (SS)、 自 由 度 及 F 值 。
Mean -Covari ate Adj usted ）， 是 否 存 在 差 異 ， 而 Arvey, Cole, Hazucha 與 Hartanto（1985）認 為 ， 共 變 項 調 整 後 分 數 量 尺 之 標 準 化 平 均 數 差 異 效 果 量 是 可 表 達 為 公 式 (23)： 其 中 ， 共 變 項 調 整 後 分 數 的 整 合 標 準 差 ， 而 是 為 共 變 項 調 整 後 的 實 驗 組 平 均 數、 是 為 共 變 項 調 整 後 的 控 制 組 平 均 數，同 時，在 迴 歸 係 數 同 質 性 假 設 成 立 下， 是 為 控 制 組 別 影 響 力 下，共 變 項 與 依 變 項 的 相 關 係 數 平 方 值。而 在 統 一 轉 換 為 原 始 分 數 量 尺 基 礎 下 ， 此 效 果 量 是 服 從 倍 非 中 心 化 t 分 配 (自 由 度 為 （ 假 設 只 有 1 個 共 變 項 ）； 非 中 心 化 參 數 為 )， 期 望 值 可 表 達 為 公 式 (24)： 而 其 效 果 量 變 異 數 ， 根 據 Morris 與 Deshon（ 2002, p.117)的 通 則 ， 是 為 公 式 (25)： 同 樣
( 是 為 Gamm a function )。最 後，對 於 Hedges（ 1981）
所 提 出 的 不 偏 效 果 量 估 計 值 及 其 變 異 數， 其 概 念 同 樣 是 以 作 為 校 正 因 子 ， 同 樣， 為 求 計 算 的 便 利 性， 過 去 文 獻 通 常 會 將 漸 近 效 果 量 及 其 變 異 數 公 式 ， 表 達 為 公 式 (26)及 (27)：
則 分 別 是 （B 因 子 F 值 ）、 （AB 因 子 交 互 作 用 F 值 ） 及 各 自 的 自 由 度 、 ，而 是 為 A 因 子 下 level1（實 驗 組 ）人 數 、 為 A 因 子 下 level2（控 制 組 ）人 數 。
三 、 進 步 分 數
在 重 複 測 量 或 配 對 樣 本 設 計 中，研 究 者 多 會 以 進 步 分 數 作 為 分 析 單 位（例 如：前 後 測 分 數 差 異 或 配 對 樣 本 後 測 表 現 差 異 等 ），而 Arvey 等 人 （1985）認 為 其 效 果 量 可 表 徵 為 公 式 (38)： 其 中 ， 進 步 分 數 之 整 合 標 準 差 ， 而 是 為 前 後 測 相 關 係 數 或 配 對 樣 本 於 依 變 項 表 現 之 相 關 係 數。而 在 統 一 轉 換 為 原 始 分 數 量 尺 基 礎 下 ， Becker（1988）表 示 效 果 量 是 服 從 倍 的 非 中 心 化 t 分 配 （自 由 度 為 ； 非 中 心 化 參 數 為 ）， 期 望 值 是 為 公 式 (39)： 而 其 效 果 量 變 異 數 ， 在 經 Morris（2000, p. 19）修 訂 Becker（1988） 推 導 後 ， 是 可 表 徵 為 公 式 (40)： 而( 是 為 Gamm a function )。最 後，對 於 Hedges（1981）
的 不 偏 效 果 量 估 計 值 及 其 變 異 數，是 以 作 為 校 正 因 子 及 其 變 異 數 的 計 算 ， 而 為 計 算 便 利 ，其 漸 近 效 果 量 及 其 變 異 數 的 公 式， 可 分 別 表 達 為 公 式 (41)及 (42)：
（ 二 ） 二 群 體 重 複 測 量 分 析 之 效 果 量 轉 換
在 二 群 體 （例 如 配 對 樣 本 ）的 重 複 測 量 設 計 （two groups repeated measure desi gn ）中 ， 研 究 者 是 能 使 用 修 正 的 M -D 法 來 進 行 效 果 量 的 計 算 （Cortina & Nouri, 2000, p. 51）， 其 中 關 鍵 在 於 將 樣 本 視 為 第 二 個 獨 立 變 項 ， 再 應 用 Morris 與 Deshon（1997）的 轉 換 公 式 ， 是 可 表 徵 為 公 式 (49)： 其 中，各 符 號 意 涵 分 別 是 二 群 體 重 複 測 量 設 計 單 因 子 變 異 數 分 析 之 實 驗 成 效 F 值 、二 群 體 重 複 測 量 之 單 因 子 變 異 數 分 析 之 群 體 F 值 及 其 自 由 度 、受 試 者 內 誤 差 自 由 度 、群 體 一 人 數 、群 體 二 人 數 。 最 後，當 分 析 訊 息 是 涉 及 到 高 階 因 子 之 重 複 測 量 設 計 時，研 究 者 大 多 只 有 僅 能 依 Nouri 與 Greenberg（1995）的 N-G 法 ， 運 用 原 始 細 格 內 平 均 數 及 標 準 差 進 行 效 果 量 計 算 。
參 、 E
XCEL
軟 體 及 範 例 說 明
在 過 去，對 於 效 果 量 計 算 軟 體 的 開 發，並 不 在 少 數，例 如：Lipsey 與 Wilson（2001）搭 配 其 教 科 書，所 發 展 的 ES_Calculator.xls、Shadish, Robins on 與 Lu（1999）發 展 的 ES：An Effect Size C omputation Program 等， 此 外 ， 另 有 一 些 軟 體 是 延 伸 搭 配 後 設 分 析 模 式 估 計 、出 版 偏 誤 等 計 算 功 能 ， 例 如 ： Comprehensive Meta -Analysis 2（Borenstein, et al., 2005）、或 甚 至 將 研 究 訊 息 編 碼 功 能 融 入 軟 體，例 如：R evi ew Manager （The Cochrane Collaboration, 2011 ）。 尚 不 論 這 些 軟 體 是 否 為 商 業 收公式序號 訊息 效果量
48
相依樣本 t 檢定值之 p 值 (雙尾) 及人
數 (單組)
費 軟 體 時， 後 者 通 常 是 會 較 前 者 受 歡 迎， 因 為 ， 他 們 多 能 一 次 滿 足 後 設 分 析 應 用 學 者 所 需，但 是 若 單 純 就 效 果 量 計 算 功 能 而 言，後 者 通 常 是 較 前 者 侷 限 ， 尤 其 當 文 獻 所 顯 示 訊 息， 是 為 複 雜 的 資 訊 時 ，例 如 ： 二 因 子 共 變 數 分 析 ， 後 者 多 無 法 適 當 轉 換 為 效 果 量 ， 例 如 ： The Cochrane Collaborati on 開 發 的 R evi ew M anager，對 於 標 準 化 平 均 數 差 異 效 果 量 之 計 ， 僅 限 於 初 階 統 計 量 （Deeks & Higgins, 2010 ）。 在 本 研 究，作 者 同 樣 搭 配 本 文，開 發 一 套 專 門 計 算 標 準 化 平 均 數 差 異 效 果 量 之 EXCEL 軟 體 ， 稱 為 「 SMD Calculator」 ， 未 來 可 供 使 用 者 免 費 下 載 ， 預 設 網 址 為 ： http://meta.naer.edu.tw/ 。
該 研 究 是 採 用 獨 立 樣 本 前 後 測 設 計，探 討 改 良 式 概 念 圖 教 材 對 於 大 學 生 於 計 算 機 概 論 學 習 成 效 之 影 響，由 於 黃 華 山 等 人 對 於 統 計 分 析，是 分 別 針 對 前 測 及 後 測 ， 進 行 獨 立 樣 本 t 考 驗 ， 是 於 確 立 前 測 無 組 別 顯 著 差 異 後 ， 再 執 行 後 測 之 顯 著 差 異 考 驗 ， 而 從 該 文 表 5-1（p. 143）及 5-5、 5 -7（p . 146）訊 息 中 ， 若 以 SM D Cal cul ator 代 號 表 示 ， 可 將 鍵 檔 訊 息 整 理 如 下 表 4 所 示 ， 包 含 有 實 驗 及 控 制 組 人 數 (N)、 原 始 分 數 之 後 測 平 均 數 （ Mean ） 及 標 準 差 （ SD ） 、 獨 立 樣 本 t 檢 定 值 （t-value(independent）及 其 雙 尾 顯 著 p 值 （p-value(two tails）等 。
作 者 在 引 用 本 文 公 式 (3)進 行 整 合 標 準 差 及 Hedges’ g 效 果 量 的 手 動 計 算 時 ， 其 結 果 如 下 (50)及 (51)， 分 別 是 為 20.5472 及 0.5685， 而 此 值 是 完 全 等 同 於 SMD Calculator 計 算 出 之 Pooled SD（2 groups）及 Hedges’ g [Pooled SD(2 groups) ] -Raw Score Mean 的 結 果 ：
在 計 算 Hedges(1981)的 校 正 因 子 時 ， 是 於 設 定 ， 搭 配 Excel 內 鍵 的 gamm a funct ion 功 能 ， 鍵 入 「 =Exp(GAMM ALN( ))」， 可 求 得 (54)的 Hedges' correction factor 為 0.98996：
樣 是 非 常 吻 合 。 表 5 林 達 森 （2004 ）描 述 統 計 訊 息 N Mean SD Mean-Covariate Adjusted Experimental Group 107 20.34 4.77 20.57 Control Group 103 14.35 5.36 14.11 表 6 林 達 森 （2004 ）單 因 子 共 變 數 分 析 摘 要 表 SS df MS F 組間(between) 2085.07 1 2085.07 84.61 組內(within) 5101.28 207 24.64
(三 ) 範 例 三 ： 進 步 分 數
範 例 三 是 引 用 林 雅 凰（2002）一 文，該 研 究 是 採 單 組 前 後 測 設 計 ， 探 討 小 組 討 論 概 念 構 圖 對 於 小 六 學 生 於 族 群 與 群 落 學 習 成 效 之 影 響， 而 從 其 p. 48 及 表 4-2 、 4-3 （p. 60 ）所 獲 得 之 鍵 檔 訊 息 ， 以 SMD Cal cul ator 代 號 表 示 ， 可 整 理 如 下 表 7 所 示 ， 包 含 實 驗 組 人 數 (N)、 原 始 分 數 之 後 測（Post-test）平 均 數 及 標 準 差、原 始 分 數 之 前 測（Pre-test） 平 均 數 及 標 準 差 、 進 步 分 數 之 平 均 數 （Mean(Gain score ）及 標 準 差 （SD(Gain score）、 相 依 樣 本 t 檢 定 值 （t-value(pair）等 。
整 體 而 言 ， SMD Calculator 與 手 動 計 算 Hedges’ g 效 果 量 之 結 果 ， 同 樣 是 完 全 一 致 。 此 外 ， 在 計 算 Hedges（1981）的 校 正 因 子 時 ， 在 設 定 ， 求 得 適 用 進 步 分 數 之 Hedges' correction factor 是 為 (65) 的 0.97839： 最 後 ， 研 究 者 選 取 相 依 樣 本 t 考 驗 求 得 之 0.78， 鍵 檔 於 軟 體 指 定 之 進 步 分 數 適 用 的 黃 底 欄 位 ， 則 可 得 Hedges’ g unbiased g 效 果 量 0.7631 及 其 變 異 數 0.02186，而 此 SMD Calculator 計 算 結 果 仍 是 與 (66)、(67) 手 動 計 算 結 果 雷 同 。 表 7 林 雅 凰 (2002)描 述 統 計 及 相 關 統 計 量
N Post-test Pre-test Mean
助 使 用 者 能 快 速 上 手 及 針 對 不 同 實 驗 設 計，進 行 標 準 化 平 均 數 差 異 效 果 量 之 運 算 ， 因 此 ，對 於 某 些 學 者 所 關 心 的 後 設 分 析 執 行 面 向， 則 較 少 著 墨，對 此，研 究 者 建 議 可 搭 配 免 費 軟 體 R（http://www.r-project.org/ ） 來 進 行 分 析 ， 例 如 ： 使 用 者 只 要 鍵 入 本 軟 體 分 析 所 得 之 Hedges’ g 效 果 量 及 其 變 異 數，再 搭 配 Schwarzer（2010）撰 寫 的 meta 或 Viechtbauer （2010）的 metafor 程 式 套 件 ， 則 能 進 行 固 定 、 隨 機 或 混 合 效 果 模 式 及 出 版 偏 誤 （publication bias）等 相 關 議 題 之 檢 定 。
參 考 文 獻
林世華、黃寶園（1998）。柯氏性格量表效度概化之統合分析。師大學報， 43(2)，21-42。 林雅凰（2002）。小組討論概念圖學習成效之研究：以族群與群落為例（未 出版之碩士論文）。國立嘉義大學，嘉義市。 林達森（2004）。運用概念構圖科學教學模式在高中生物科生物能量教學的 實徵研究。國立臺南大學南大學報：教育類， 38，45-67。 黃華山、許莉雅、王怡舜、張振祥（2005）。網路課程體建構新方法。課程 與教學季刊，8(3)，127-155。 謝進昌（2011）。國內後設分析應用研究發展之概況。教育研究月刊，212， 77-84。 謝進昌（出版中）。概念構圖策略後設分析資料庫建置之初探研究。 測驗 學刊，出版中。Arvey, R. D., Cole, D. A., Hazucha, J. F. & Hartanto, F. M. (1985). Statistical power of training evaluation designs. Personnel Psychology, 38, 493-507. Becker, B. J. (1988). Synthesizing standardized mean change measures. British
Journal of Mathematical and Statistical Psychology, 41, 257-278.
Borenstein, M. (2009). Effect sizes for continuous data. In H. Cooper, L. V. Hedges, & J. C. Valentine (Eds.), The handbook of research synthesis and meta analysis (pp. 221-235). New York: Russell Sage Foundation.
Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R . (2009). Introduction to meta-analysis. Chichester: John Wiley & Sons, Ltd.
Borenstein, M., Hedges, L., Higgins, J., & Rothstein, H. (2005). Comprehensive Meta-analysis(Version 2). Englewood, NJ: Biostat.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd. Ed.). Hillsdale, NJ: Lawrence Erlbaum Associates.
Cortina, J. M., & Nouri, H. (2000). Effect size for ANOVA designs. Thousand Oaks, CA: Sage.
http://ims.cochrane.org/revman/documentation/Statistical -methods-in-Rev Man-5.pdf
Dunlop, W. P., Cortina, J. M., Vaslow, J. B., & Burke, M. J. (1996). Meta-analysis of experiments with matched groups or repeated measures designs. Psychological Methods, 1, 170-177.
Glass, G. V., McGaw, B., & Smith, M. L. (1981). Meta-analysis in social research. Beverly Hills, CA: Sage.
Hedges, L. V. (1981). Distribution theory for Glass’s estimator of effect size and related estimators. Journal of Educational Statistics, 6, 107-128.
Hedges, L. V. (1982). Estimation of effect size from a series of independent experiments. Psychological Bulletin, 92, 490–499.
Hedges, L. V. (2007). Effect sizes in cluster-randomized designs. Journal of Educational and Behavioral Statistics, 32(4), 341-370.
Hedges, L. V. (2009). Effect size in nested designs. In H. Cooper, L. V. Hedges, & J. C. Valentine, The handbook of research synthesis and meta-analysis(2nd ed.). (pp.337-355). New York: Russell Sage Foundation. Hedges, L. V., & Olkin, I. (1985). Statistical methods for meta-analysis. Orlando,
FL: Academic Press.
Hunter, J. E., & Schmidt, F. L. (1990). Methods of meta analysis: Correcting error and bias in research findings. Newbury Park, CA: Sage.
Johnson, B. (1989). DSTAT: Software for the meta-analytic review of research literatures. London: Psychology Press.
Johnson, N. L., & Welch, B. L. (1940). Applications of the non -central t-distribution, Biometrika, 31(3/4), 362-389.
Johnson, N. L., Kotz, S., & Balakrishnan, N. (1995). Continuous univariate distributions (Vol. 2, 2nd ed.). New York: Wiley.
Lipsey, M. W., & Wilson, D. B. (2001). Practical meta-analysis. Thousand Oaks, London: Sage Publications.
Morris, S. B., & DeShon, R. P. (1997). Correcting effect sizes computed from factorial ANOVA for use in meta analysis. Psychological Methods, 2, 192-199.
Morris, S. B., & DeShon, R. P. (2002). Combining effect size estimates in meta-analysis with repeated measures and independent-group designs. Psychological Methods, 7(1), 105-125.
Nouri, H., & Greenberg, R. H. (1995). Meta-analytic procedures for estimation of effect sizes in experiments using complex analysis of variance. Journal of Management, 21, 801-812.
Ray, J. W., & Shadish, W. R. (1996). How interchangeable are different estimators of effect size? Journal of Consulting and Clinical Psychology, 64, 1316–1325.
Rosenberg, M.S., Adams, D.C., & Gurevitch, J. (2000). MetaWin version 2.14. Statistical software for meta-analysis. Sinauer Associates, Inc., Sunderland, Mass.
Schwarzer, G. (2010). meta: Meta-analysis with R. Retrieved Nov. 1, 2009 from the World Wide Web:
http://cran.r-project.org/web/packages/meta/index.html
Shadish, W. R., Robinson, L., & Lu, C. (1999). ES: A computer program and manual for effect size calculation. St. Paul, Minnesota: Assessment Systems Corporation.
The Cochrane Collaboration (2011). Review Manager (RevMan) [Computer program](Version 5.1). Copenhagen: The Nordic Cochrane Centre.
Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1–48.
