概化理論的基本認識
主講人:姚漢禱 國立台灣體育大學(桃園) 運動技術研究所 1概化理論( Generalizability Theory )綱要
1.
測驗理論中概化理論的位置。2.
概化理論的架構。3.
概化理論的目的。4.
概化理論的特質。5.
概化理論的重要名詞。6.
概化理論的功能和應用。 2測驗理論中概化理論的位置
隨機抽樣理論(Random sampling theory)(Bejar,
1983)。
古典測驗理論(Classical test theory, 簡稱 CT) 。 概化理論(Generalizability theory, 簡稱 GT) 。
現代測量理論(Modern measurement theory)(Reeve,
2002)。
試題反應理論(Item response theory, 簡稱 IRT) 。 Rasch測量理論 (Rasch measurement theory, 簡稱 RM) 。
3
隨機抽樣理論
古典測驗理論:1904 年 Charles Spearman 提出共同因 素概念論文,後來發展為古典測量理論。 (McDonald, 1999) 古典測驗理論的基本假定是:一次測驗的觀察分數包括真 實分數和誤差分數(error score)兩部份。 O = T + E 概化理論:1972年Cronbach等人針對測驗誤差變異層 面的問題,利用變異數分析估計各種變異來源的變異 成份和變異量的百分比,提出概化信度係數。 4現代測量理論
試題反應理論:1952年 Lord 提出雙參數常態肩形模式。 (Hambleton & Swaminathan, 1985)。 其目的在於解釋資料,發展不同的理論模式,以滿足實際
的需求。一、二、三參數對數模式 (1-PLM、2-PLM、3-PLM) 。
Rasch測量理論:1960年Rasch 指出1952年利用波松模
式分析閱讀測驗的錯誤和速度。 (Wright & Masters, 1982) 。
概化理論的架構
概化理論與測驗理論、統計方法、結構公式模式的關 係。 7 探討誤差 O=T+E SEM 變項關係 因素分析 X=C+U+E 概化理論 ANOVA 分割變異 全域分數 固定效果 隨機效果 潛在變項 觀察變項 VC、CC概化理論的目的
Shavelson等人(1989)指出「概化理論是古典測驗理論 的延伸,概化理論估計多種測量誤差來源,並提供概 化信度係數去迎合使用測量的目的。」 因為古典測驗理論是一個測驗只有一個信度,測驗的 樣本僅是母群的抽樣,如果借助統計的推論程序,就 能針對各項變異來源估計不同條件之下的信度。 8概化理論的特質
利用變異數分析:估計母群參數的統計課題,包括 「誤差的變異成份」和「信度係數和指數」 。 處理古典測驗理論的各種誤差來源的問題。 概化理論與斯布校正公式的差別。 斯布公式是折半信度的校正,樣本統計量的調整。無法應 用至其他不同的設計,也無全域分數的概念。 概化理論是古典測驗理論的延伸,透過母群參數的推估。 概化理論除了可以分析各種誤差,還會產生一個整合 的信度。古典測驗理論每一種誤差,各自計算一個信 度,沒有一個整合的信度。 9概化理論的重要名詞-1
層面(facet) :因為概化理論是估計多種測量誤差來 源,這些誤差來源稱為層面,這是概化理論專用的名 詞,用意是和變異數分析的因子(factor)、因素分析 的因素(factor)有所區隔。 概化理論首先須要確定測驗的層面,並依測驗的需求 找出測量的目標,這個目標的變異數即真實變異數部 份,意即假定受試者樣本代表母群,剩下的就是誤差 變異數部份,在決斷研究時目標的變異量都不改變, 每一個測驗條件的改變只針對誤差的變異量調整。 10概化理論的重要名詞-2
隨機(random)模式和固定(fixed)模式:變異數分析的模 式分類,變項已包括所有的水準時為固定模式,變項 的水準僅是母群的抽樣時為隨機模式。 概化理論主要是希望推估母群情形,所以至少有一個 層面的水準假設是抽自母群的隨機樣本,才能做概化 研究,這就是隨機模式;前述假定受試者樣本代表母 群,既然已經得到受試者母群的變異,受試者層面就 不必再推估,所以受試者層面就設定為固定模式。 由此反觀古典測驗理論中的情形,各層面都設定為母 群的全部,各層面都成為固定模式,即測驗的標準 化,所以不能進行概化研究。 11概化理論的重要名詞-3
交叉(crossed) 設計、巢串(nested) 設計和混合(mixed)
概化理論的重要名詞-4
期望均方值 (Expected Mean Squares,EMS):變異
數分析獲得的變異成份(平方和,SS),再各自除以 自由度,得到均方(MS),由樣本所得到的均方推估 母群的均方,根據理論的推導所得的均方值,它並不 是真正母群的均方值,所以是吾人期望得到近似母群 的均方值,故稱為期望均方值。 它是假設變異數的平均值,為計算類似的觀察體群, 即從樣本資料算出推估母群的均方值。概化理論中期 望均方值為估計變異成份之用,借此才能進行概化研 究和決斷研究。 13
概化理論的重要名詞-5
變異成份(Variance components) 和總變異的百分比: 變異成份是利用變異數分析的期望均方值(Expectedmean square equations) 公式方法,所推估的母群參 數;計算各種變異來源在總變異中所佔的比率,以了 解各種變異來源的重要程度 。 概化研究階段最重要的是計算變異成份,用變異成份 表示隨機因素中每一效果對依變項之總變異的貢獻, 如果換算為總變異的百分比更清楚各變異來源的權 重,所以總變異的百分比愈高,表示該層面愈重要, 它也提供決斷研究時改善條件的線索。 14
概化理論的重要名詞-6
概化研究(G - Study) 和決斷研究 (D - Study) :前述概 化理論在理論課題已說明,主要有概化研究和決斷研 究兩大部份。 概化研究是利用變異數分析,估計測量各種可能誤差 變異來源的變異成份;決斷研究則運用概化研究的結 果,擇取最小誤差和最大信度(概化係數)的設計條 件。 所以概化研究是一些估計的過程,而決斷研究是屬應 用的程序。 15概化理論的重要名詞-7
相對的決斷(relative decisions) 和絕對的決斷 (absolute
概化理論的重要名詞-10
多變項概化理論(Multivariate Generalizability Theory,