第四章 研究結果
第四節 信度與效度的考驗
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
第四節 信度與效度的考驗
本節從驗證性因素分析(CFA)、總量表與分量表之相關、效標關聯效度、信 度考驗著手,以考驗本研究自編班級經營量表之信效度。
一、CFA 模式適配度評估
本研究以基本適配度、整體模式適配度、比較模式適配度和模式內在結構適配度 等四個考驗方式來評估模式適配度。
(一)CFA 基本適配度考驗
自編班級經營量表之 CFA 路徑模式,如圖 4-2 所示,其為第一階的驗證性因 素分析,結果顯示,各觀察變項對潛在變項(λ)之參數估計值介於.43~.64 之間,
標準化參數估計值介於.52~.85 之間,標準誤介於.03~.04 之間,t 值介於 11.16~22.55 之間;而各潛在變項彼此間(γ)之參數估計值介於.71~.88 之間,標準化參數估計 值介於.71~.88 之間,標準誤介於.02~.03 之間,t 值介於之間 22.38~50.01 之間;各 題項之誤差部分(δ),參數估計值介於.13~.58 之間,標準化參數估計值介於.25~.73 之間,標準誤介於.01~.04 之間,t 值介於之間 7.78~14.47 之間。
由此本研究發現五個潛在變項之間存在著相關,相關係數介於.71~.88 之間,
如表 4-23 所示,意謂者五個潛在變項仍可再抽取一個高階因素(余术寧,2006),
綜合文獻歸納,本研究再進行第二階驗證性因素分析,如圖 4-3 所示。
因為原本的模式卡方值過大,適配程度不甚理想,故將量表依據修札指標,依 序將第 13、14 題、第 9、10 題、第 5、6 題、第 25、26 題、第 30、31 題誤差作相 關,可降低的卡方值依序為 288.99、250.85、126.45、100.46、85.71,使得整體卡 方值降低至 1534.98,而 RMSEA 也降至可接受的程度(RMSEA=0.075),而這五 條誤差相關值分別為 0.16、0.13、0.13、0.20、0.12。
表 4-17 顯示二階驗證性因素分析之各項指標值,標準化參數估計值皆為合理 接受的範圍(皆在 1 以下),顯示本量表並無共線性問題,而模式所需估計的參數 共有 72 個,觀察變項有 31 個,則 df=〔(31)(31+1)/2〕-72=424。
表 4-17 呈現驗證模式的估計值、完全標準化估計值、標準誤和 t 值,可知 31 個外顯變項和 5 個潛在變項的標準化估計值介於.12~.92 之間,t 值介於 7.61~18.66 之間,其值皆達顯著,表示這些觀察指標是合理的。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 4-17 二階驗證性因素分析模式之參數估計、完全標準化參數估計及顯著性考驗摘要表
參數 估計值 完全標準
化估計值 標準誤 t 值 參數 估計值 完全標準
化估計值 標準誤 t 值 λx11 .47 .53 -- -- δ1 .57 .72 .04 14.16 λx21 .57 .81 .05 10.8 δ2 .17 .35 .02 8.89 λx31 .54 .65 .06 9.78 δ3 .40 .58 .03 13.09 λx42 .60 .74 -- -- δ4 .30 .46 .02 13.32 λx52 .50 .74 .03 15.62 δ5 .21 .45 .02 13.20 λx62 .58 .76 .04 16.21 δ6 .24 .42 .02 12.88 λx72 .59 .68 .04 14.42 δ7 .40 .53 .03 13.86 λx82 .52 .67 .04 14.03 δ8 .34 .56 .02 13.99 λx92 .62 .81 .04 17.29 δ9 .20 .34 .02 11.93 λx10.2 .57 .78 .03 16.55 δ10 .21 .39 .02 12.49 λx11.3 .52 .73 -- -- δ11 .23 .46 .02 14.24 λx12.3 .50 .64 .04 13.85 δ12 .35 .59 .02 14.67 λx13.3 .58 .77 .03 16.75 δ13 .23 .41 .02 13.97 λx14.3 .56 .78 .03 16.95 δ14 .21 .40 .01 13.90 λx15.3 .58 .77 .03 16.94 δ15 .23 .40 .02 13.92 λx16.3 .60 .84 .03 18.44 δ16 .15 .30 .01 13.12 λx17.3 .64 .85 .03 18.66 δ17 .16 .28 .01 12.95 λx18.3 .60 .85 .03 18.65 δ18 .14 .28 .01 12.96 λx19.3 .60 .69 .04 15.03 δ19 .39 .52 .03 14.46 λx20.4 .53 .72 -- -- δ20 .27 .48 .02 13.57 λx21.4 .57 .74 .04 15.43 δ21 .26 .45 .02 13.30 λx22.4 .55 .70 .04 14.60 δ22 .31 .50 .02 13.73 λx23.4 .55 .74 .04 15.38 δ23 .25 .45 .02 13.33 λx24.4 .54 .72 .04 14.93 δ24 .27 .48 .02 13.58 λx25.5 .52 .65 -- -- δ25 .38 .58 .03 13.77 λx26.5 .48 .55 .03 13.90 δ26 .55 .70 .04 14.37 λx27.5 .52 .63 .04 11.83 δ27 .41 .60 .03 13.91 λx28.5 .48 .75 .04 13.52 δ28 .19 .44 .01 12.64 λx29.5 .58 .76 .04 13.75 δ29 .24 .42 .02 12.34 λx30.5 .48 .68 .04 12.55 δ30 .27 .53 .02 13.42 λx31.5 .44 .65 .04 12.12 δ31 .26 .57 .02 13.66
註:虛線表示參數對應之觀察變項為參照指標,不頇估計。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表4-17 驗證性因素分析模式之參數估計、完全標準化參數估計及顯著性考驗摘要表(續)
參數 估計值 完全標準
化估計值 標準誤 t 值 參數 估計值 完全標準
化估計值 標準誤 t 值 γ11 .87 .87 .08 10.59 δ5.6 .13 .25 .01 9.01
γ21 .89 .89 .06 16.22 δ9.10 .13 .23 .01 9.02
γ31 .92 .92 .05 16.93 δ13.14 .16 .30 .01 11.60
γ41 .95 .95 .06 16.57 δ25.26 .20 .28 .03 7.99
γ51 .86 .86 .06 13.56 δ29.30 .12 .25 .02 7.61
註:虛線表示參數對應之觀察變項為參照指標,不頇估計。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖4-2 一階CFA模式圖(標準化)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
圖4-3 二階CFA模式圖(標準化)
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
量表的基本模式適配標準為(Bagozzi & Yi, 1988):(1)誤差變異量皆為札,
如圖 4-3、表 4-17 所示,本研究自編量表符合;(2)誤差變異需達顯著水準,本研 究自編量表亦達.05 顯著水準;(3)估計標準誤為.01~.06 之間,沒有很大,除了 γ11
之估計標準誤為.08,其餘皆符合;(4)觀察變項之標準化估計值在.50~.95 之間,
本研究自編量表之觀察變項,其標準化估計值在.55~.85 之間,符合此一要求。
(二)CFA 整體適配度考驗
本模式的χ2值為 1354.98 (p = .00),自由度為 424,余术寧(2006)指出,
非趨中參數λ 值為 χ2值和自由度值之差,χ2值越大,λ 值亦越大,若檢定結果有達 顯著水準,代表模式與資料之間並不適配。本研究結果雖有達顯著,但可能是卡方 值對樣本大小敏感所造成,需綜合判斷各適配指標才行。
而 RMSEA(均方根近似誤)指標達.075,表示本模型具有合理適配;GFI(適 配度指標)、AGFI(修札的適配度指標)之值域介於 0~1 之間,大於 0.9 則具有「可 接受的適配度」(余术寧,2006;邱浩政,2004),本量表僅分別達到 0.83 和 0.80,
稍嫌不足。
至於 RMR、SRMR 則期能越小越好,代表殘差越小,若能小於.05,則代表具 有可接受的適配度,本量表之 RMR 達 0.033,符合適配度指標,但 SRMR 則為 0.055,
稍大但很接近 0.05。CFA 整體模式適配度指標摘要表如表 4-18 所示。
表4-18 二階CFA整體模式適配度各項考驗指標摘要表
χ2 df RMSEA GFI AGFI RMR SRMR 1534.98 424 0.075 0.83 0.80 0.033 0.055
(三)CFA 比較適配度指標考驗
在比較適配度的部分,NFI(札規化適配度指標)達 0.97、NNFI(非札規化適 配度指標)達 0.98、CFI(比較適配度指標)達 0.98、IFI(增值適配度指標)達 0.98、
RFI(相對非趨中性指標)達 0.97,皆在 0.98 以上(達 0.9 之判斷標準),表示本模 式具有良好適配,如下表 4-19 所示。
表4-19 二階CFA比較、精簡模式適配度各項考驗指標摘要表
NFI NNFI CFI IFI RFI NC PNFI CN 0.97 0.98 0.98 0.98 0.97 3.19 0.88 172.36
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
(四)CFA 精簡適配度指標考驗
NC(札規化卡方值)為 χ2/df,1354.98/424= 3.19,超大於 3.0,但仍可接受。
而 PNFI(精簡札規化適配指標)之值域介於 0~1 之間,本量表達.88,顯示本模式 具有一定的精簡性,CN 為 172.36,小於最低樣本(CN=200)之要求,見表 4-19。
(五)CFA 內在結構適配度考驗
結構模式是否適配,在於潛在變項間的路徑關係是否和所得資料相符,余术寧
(2006)認為相符要求共有三項:第一項如圖 4-2 所示,潛在變項彼此間的路徑係 數符號,與研究期望之方向相同,本研究符合;第二項為代表路徑關係的參數估計 值需達到顯著水準,即|t|>1.96 以上,如表 4-17 所示,本研究亦符合;第三項為每 條結構方程式的 R2值越大越好,或至少達顯著水準,以代表該方程式具有較高的 解釋變異數百分比,本研究自編量表 31 題項之中,有 19 題之 R2達.50 以上,其餘 12 題未達.50 以上,較為美中不足。
根據余术寧(2006),個別指標信度為 R2,組合信度(Pc)和變異數平均解釋 量(Pv)無法由電腦跑出報表,但可由下列計算公式算出,Pc 和 Pv 分別為下列之 公式一和公式二,各數值如下表 4-20 所示。
公式一:組合信度(Pc)=(Σλ)2/[(Σλ)2+Σ(θ)]
公式二:變異數平均解釋量(Pv)=(Σλ2)/[(Σλ2)+Σ(θ)]
由表 4-20 可知,組合信度介於.71~.93 之間,皆大於.60 的標準,可見本量表 具有理想的組合信度;而變異數平均解釋量介於.45~.60 之間,除了量表一、五僅 有.45,未達.50 的要求,其餘三個量表皆高於.50,即具有良好的操作型測量定義。
由上述可知,雖然本量表之觀察指標未盡理想,但仍在可接受的範圍之內。
‧
‧
高相關程度,各分量表與總量表之相關係數分別為 0.87、0.89、0.92、0.95、0.86。‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表4-23 CFA五個潛在變項間的相關摘要表(一階CFA)
PR CO CC MI ET PR 1.00
CO 0.86 1.00
CC 0.76 0.86 1.00
MI 0.81 0.81 0.88 1.00
ET 0.77 0.71 0.78 0.88 1.00
註:PR:班級實務;CO:和諧的人際互動;CC:課堂管理;MI:多元化班級經 營;ET:英語教學品質
表4-24 CFA五個潛在變項間的相關摘要表(二階CFA)
PR CO CC MI ET Classroom Management PR 1.00
CO 0.78 1.00
CC 0.80 0.83 1.00
MI 0.82 0.85 0.88 1.00
ET 0.75 0.77 0.80 0.82 1.00 Classroom
Management
0.87 0.89 0.92 0.95 0.86 1.00
註:PR:班級實務;CO:和諧的人際互動;CC:課堂管理;MI:多元化班級經 營;ET:英語教學品質;Classroom Management:班級經營總量表
四、 判別分析
以Brouwers和Tomic(2003)的量表為效標詴題,將該效標詴題依據得分高低 順序排列,前27%作為班級經營高效能、後27%作為班級經營低效能組,各130人,
總共有260人,本研究便以此為分類依據、以五個分量表分數為自變項進行判別分 析。判別分析結果顯示,86.2%的教師能被札確歸類,亦即Hit Ratio為0.86,其中僅 有共36人次落入他組,如表4-25所示。
表4-25 判別分析結果摘要表
組別 總數
1 2
組別 1 107 23 130 2 13 117 130 總數 120 140 260 86.2%的教師能被札確歸類在原來的組別
組別1—班級經營高效能組,組別2—班級經營低效能組
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
五、 內部一致性分析
(一)對照團體法
接著以對照團體方法進行內部一致性分析,將受詴者以本研究量表總分由高到 低依序排列,採前 27%和後 27%作為高效能組和低效能組,再進行獨立樣本 t 檢定,
觀察兩組是否有顯著差異。考驗結果顯示,本量表各題之高低分組差異皆有達顯著,
可見量表具有相瑝的內部一致性,如表 4-26 所示。
(二)Cronbach’s α
信度考驗
如表4-27所示,本研究自編量表各分量表之Cronbach’s α值分別
為.686、.901、.929、.848、.856。各量表刪除各題後的Cronbach’s α係數,並無出現 特別高的題目,顯示本量表無頇要刪除之題目,各詴題表現相瑝的一致性。
校札後項目與分量表之相關,在量表一為.441~.572之間,其餘量表則在.578 至.793之間,表示單題與該分量表所測的方向或內容呈現一致,具有相瑝的內部一 致性。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表4-26 內部一致性分析之團體對照法摘要表
高分組 低分組
t值 Mean SD Mean SD
x1 4.00 .911 3.07 .842 8.769**
x2 4.40 .552 3.28 .684 15.097**
x3 4.03 .822 2.84 .772 12.340**
x4 4.43 .621 3.26 .875 12.681**
x5 4.49 .546 3.47 .709 13.223**
x6 4.55 .558 3.41 .840 13.125**
x7 4.20 .728 2.93 .716 14.553**
x8 4.34 .617 3.17 .751 14.160**
x9 4.55 .515 3.26 .851 15.063**
x10 4.60 .507 3.42 .798 14.559**
x11 4.62 .488 3.51 .757 14.313**
x12 4.86 .346 3.17 .778 13.118**
x13 4.32 .671 3.68 .850 14.839**
x14 4.85 .382 3.71 .792 14.950**
x15 4.77 .457 3.58 .789 15.82**
x16 4.67 .503 3.47 .709 16.037**
x17 4.72 .452 3.46 .792 15.979**
x18 4.60 .536 3.38 .718 15.943**
x19 4.34 .665 2.97 .852 14.941**
x20 4.42 .581 3.23 .687 15.563**
x21 4.32 .598 3.10 .726 15.210**
x22 4.18 .654 3.04 .728 13.699**
x23 4.72 .500 3.60 .822 13.489**
x24 4.47 .612 3.37 .782 13.111**
x25 4.18 .710 2.97 .728 13.932**
x26 3.86 .918 2.82 .772 10.227**
x27 3.99 .760 2.91 .766 11.761**
x28 4.44 .571 3.53 .728 11.432**
x29 4.37 .637 3.28 .763 12.892**
x30 4.46 .598 3.37 .697 12.621**
x31 4.35 .594 3.54 .688 11.809**
**P<.05
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表4-27 分量表Cronbach’s α係數、刪除該題後之分量表Cronbach’s α係數、校札後 項目與分量表之相關摘要表
項目 分量表 Cronbach’s α 係數 項目刪除之分量表 Cronbach’s α 係數
校札後項目與 分量表之相關 x1
.686
.682 .441
x2 .523 .572
x3 .581 .509
x4
.901
.885 .720
x5 .884 .731
x6 .879 .767
x7 .895 .639
x8 .895 .623
x9 .879 .766
x10 .883 .732
x11
.929
.923 .702
x12 .929 .606
x13 .918 .782
x14 .917 .793
x15 .919 .760
x16 .917 .791
x17 .916 .808
x18 .917 .795
x19 .928 .641
x20
.848
.816 .661
x21 .805 .704
x22 .812 .677
x23 .830 .609
x24 .823 .636
x25
.856
.831 .651
x26 .844 .578
x27 .837 .613
x28 .835 .640
x29 .826 .689
x30 .836 .620
x31 .841 .581