第三章 研究方法
第六節 資料與分析
一、信度方面:
本研究採評分者信度(scorer reliability)考驗,當評分者間的一致性程度 愈高,愈能增進本研究所提供資料的可信程度(杜正治,2006)。評分工作 由研究者和另一位合格特殊教育教師擔任,信度考驗的程序如下:
1、 研究者和另一位評分者溝通,共同討論評分的標準:
(1)圈出正確重點語詞;(2)圖示正確;(3)列式正確;(4)
計算正確;(5)單位正確。依據給分的方式,每答對一個步驟 給一分,評量卷共計有12題,因此滿分為60分。
2、 評量卷分數算出後將其轉換為整體解題正確率:
(答對分數/全部總分) × 100%=整體解題正確率
3、 將兩位評分者之評分紀錄,進行一致性核對。觀察評分者信度 是否一致,其公式如下。
甲乙評分者一致性次數
甲乙評分者一致性次數+甲乙評分者不一致性次數 ×100%=評分者間信度
由表3-4 評分者信度考驗,可看出兩位評分者間的信度,在受試甲、
乙、丙的基線階段分別為100%、100%、88.89%,處理階段則為100%、
83.33%、100%,而維持階段均為100%,由以上數據得知,兩位評分者間 的信度至少都有大於80%,達到考驗的標準。
表 3-4 評分者信度一致性的結果
二、資料分析:
(一)整體正確答題比率
以圖示分析、目視分析法(visual analysis)整理出各階段內及相鄰兩 階段間的分析摘要表(杜正治,2006),以下將分別說明主要項目內容敘述 如下:
1、階段內的變化分析:
(1)階段長度:指單一階段內資料點蒐集的次數,亦即階段內資料點 的數目。
(2)趨向預估:趨向預估以迴歸線(距離各資料點最近的一條線)估算,
和原本曲線相比較後,以「/」 代表升高,「\」代表下降,
「-」代表沒有改變,標示出進步(+)、退步(-)或呈水平
(=)的符號。
(3)趨向穩定性:確定趨向走勢後,以該階段中最大值的15%為範圍,
同時以迴歸線為標準,繪出趨向範圍,並計算落在該範圍內的資 料百分比。若階段內的資料有80%以上落在該範圍內,表示該階 段趨向具穩定性。趨向穩定性愈高,表示資料點的趨向愈一致。
(4)平均數:階段內所有資料點總和除以資料點個數,即為平均數,
用以表示該階段平均狀況。
(5)趨向內資料路徑:和趨向預估的迴歸線不同的是,趨向內資料路 徑強調以手繪法細分該階段內的資料路徑,以作為更詳細的資料 說明,因此一個階段內經常不只一條資料路徑。
(6)水準穩定性:以該階段中最大值的15%為範圍,以通過平均數且 平行於X軸的水準線為標準,計算落在範圍內的資料百分比,以 80%的資料點落在15%的範圍內視為穩定的資料。水準穩定性愈 高,表示該階段內資料的變化愈少。
(7)水準範圍:將該階段內最大及最小數值列出,有助於了解該階段 內資料點變化的情形。水準範圍愈小,表示愈穩定,變化愈小。
(8)水準變化:找出每一階段中第一與最後資料點間絕對值的變化,
指明其變化是否呈現進步(+)、退步(-)或是無變化(=)。
2、階段間變化分析:
(1) 變項改變之數目:指造成兩個不同階段的變項,通常一次以改變一 個變項為原則。
(2) 趨向路徑與效果變化:指將兩個不同階段的趨向列出並比較,標示 正向或負向,可以看出介入的效果。
(3) 趨向穩定性之變化:指比較不同階段間趨向穩定的變化,包括穩定 到穩定、不穩定到穩定、穩定到不穩定、不穩定到不穩定四種情形。
(4) 水準之絕對變化:指前一階段資料最後一個資料點和後一階段資料 第一個資料點之間絕對值的變化,並標出進步(+)或退步(-),
進步的變化愈大,表示教學介入的效果愈明顯。
(5) 重疊百分比:指以前一階段的最大值和最小值為範圍,計算後一階 段各點落在該範圍內的百分比。重疊百分比愈小,表示介入效果愈 好。
(6) 非重疊百分比(Thomas, 1998):指以前一階段的最大值和最小值 為範圍,計算後一階段各點不落在該範圍內的百分比。當非重疊百 分比大於90%時,表示介入非常有效;介於70%-90%之間時,表示 介入有效;介於50%-70%之間時,表示介入效果可疑;當非重疊百 分比小於50%時,表示介入無效。
(二)各類題型正確答題比率