三、教學規劃
(一) 概化理論的基本認識 1、層面(facet) :因為概化理論是估計多種測量誤差來源,這些誤差來源稱為 層面;相當於變異數分析時的因子(factor)。概化理論須先確定測驗的層面, 並依測驗的需要找出測量的目標,這個目標的變異數即真實變異數部份, 剩下的就是誤差變異數部份,在決斷研究時目標的變異量都不改變,每一 個測驗條件的改變只針對誤差的變異量調整。 2、隨機和固定模式:概化理論主要的希望推估母群的情形,所以至少有一個 層面的水準假設是抽自母群的隨機樣本,才能做概化的研究,這就是隨機 模式。在古典測驗理論中各層面的水準就是母群的全部,稱為固定模式, 即測驗的標準化,所以不能進行概化研究。 3、交叉(crossed) 、巢串(nested)和混合(mixed) 設計:概化理論估計變異來源 是利用變異數分析法,所以需先了解實驗設計是屬於那一種﹖概化理論的 交叉和巢串設計,即變異數分析法的重複和獨立設計(或稱受試者內和受試 者間),而混合設計是包含交叉和巢串兩種。 (二) 概化研究(G-Study) 和實例1、期望均方值(Expected Mean Squares) :它是假設變異數的平均值,為計算 類似的觀察體群;即從樣本資料算出推估母群的均方值。概化理論中期望 均方值為估計變異成份之用。
化研究是估計測量各種可能誤差的變異來源,包括期望均方值、變異成份 和總變異等項。實例:姚漢禱 (1995) 應用概化理論判斷運動技能測驗固 定試做的適宜次數。 (三) 決斷研究(D-Study) 和實例 1、決斷研究(D-Study):決斷研究則運用概化研究的結果,擇取最小誤差和最 大信度 (概化係數) 的設計。所以概化研究是一些估計的過程,而決斷研 究是屬應用的程序。 2、相對和絕對的決斷:相對的決斷是指基於「相對的標準」或「個人的排名」 時的決斷,絕對的決斷則是說明測驗分數的絕對水準。不同的用途使用不 同的概化係數,相對決斷使用概化係數,絕對決斷時稱為可靠性指標或φ 係數。
3、決斷研究實例:Yau, H.D. (1995). Applications of generalizability theory to decide the goodness of fit trials for fixed length tests in the psychomotor test. Paper presented in The FISU/CESU Congress, The 18th Universiade 1995 Fukuoka.
(四) GENOVA 的操作說明
1、GENOVA 是一個概化變異數分析系統,Crick 和 Brennan 1983 年為美國 大學測驗服務中心所寫的程式,主要分為兩部份,第一部份描述如何使用 GENOVA 進 行 概 化 研 究 並 解 釋 輸 出 的 結 果 , 第 二 部 份 描 述 如 何 使 用 GENOVA 進行決斷研究和如何解釋結果。