研究信度

一、觀察者間一致性

係指研究者使用超過一個的觀察者，典型的觀察者包括研究者和其 他教學者，共同測量依變項，使其研究者在觀察依變項行為時客觀不偏 頗。所以在實驗設計開始實施前，要先與協同觀察者針對操作性定義的 每個步驟的關鍵行為達成共識，另並在實施流程前兩位觀察者先針對研 究對象外的，另一位幼兒進行目標行為觀察預試，次數為 2-3 次，觀察 後，再檢視對觀察操作步驟的文字認知、描述是否操作動作吻合，與行 為標準的界定是否有一致性。若研究流程操作前有跨過寒暑假，需在開 學後操作前，再進行 1-2 次觀察者間一致性信度的預試，確認觀察踩高 蹺步驟時客觀不偏頗。

另外協同觀察者也需要了解整個實驗的實施流程與目的，才不會在

52

觀察中有其他介入，使其研究過程失真不準確。

協同觀察者分別至少在 30%的基準期和至少 50%的介入期進行取樣，

同時觀察研究對象踩高蹺的動作技能資料，收集的方式與研究者相同。

計算方式為資料一致的步驟數除以所有步驟數再乘以 100，即得該次觀 察者一致性百分比。計算公式如下：

觀察者一致性 = 甲乙觀察者一致的步驟數

一致的步驟數 + 不一致的步驟數× 100%

本研究 106.12 月進行三次之預視，觀察者一致性信度為 81%、

90%、100%，107.02 月下學期剛開學進行二次預視，觀察者一致性信度 為 90%、100%，三月份進行正式研究流程，以下針對影片示範教學三級 由上至下介入模式，在 50%的基準期和至少 50%的介入期進行取樣，依 據分析結果，本研究觀察者一致性信度總平均為 94.6%，三級介入各層 級觀察者一致信度結果如下表 3-5-1 所示。

表 3-5-1 觀察者一致性信度一覽表

第三級介入 次級介入 初級介入

日期 基線期 日期 介入期 日期 介入期 日期 基線期 日期 介入期 107.03.05 100% ^107.03.19 100% ^107.04.12 100% ^107.04.19 90.1% _107.04.24 90.7%

107.03.07 81% ^107.03.21 100% 107.04.17 100% 107.04.20 92.6% 107.04.25 92.4%

107.03.09 81% ^107.03.23 90% 107.04.19 100% 107.04.27 100%

107.03.13 90% ^107.03.28 90% 107.04.23 100% 107.05.01 100%

107.03.15 100% ^107.03.30 90% ^107.04.25 100% ^107.05.08 100%

107.04.09 100% 107.05.17 100%

107.04.11 90% 107.06.07 100%

平均 信度

90% 94.2% 100% 91.4% 97.6%

觀察者一致性信度總平均=94.6%

53

二、過程信度/真實性

確保研究者有依照研究流程進行，將研究流程依照工作分析進行過 程步驟的行為檢核項目。分別至少在基準期 50%和介入期 50%進行取樣 檢核，觀察研究者行為是否有依照實施流程去進行，有做到的項目除以 檢核項目的總和，乘以 100，即為該項目的過程信度的百分比。

計算公式如下：

研究過程真確性= ^{達成的檢核項目}

檢核項目的總數× 100%

以下針對影片示範教學三級由上至下介入模式，在 50%的基準期和 至少 50%的介入期進行取樣，經觀察、計算得知，本研究研究過程真確 性信度總平均為 98.3%，研究過程有依照研究流程去實施與落實，三級 介入各階段研究過程真確性結果如下表 3-5-2 所示。

表 3-5-2 研究過程真確性一覽表

第三級介入 次級介入 初級介入

日期 基線期 日期 介入期 日期 介入期 日期 基線期 日期 介入期 107.03.05 100% 107.03.19 89% 107.04.12 100% 107.04.19 100% 107.04.24 100%

107.03.07 75% ^107.03.21 89% ^107.04.17 100% ^107.04.20 100% ^107.04.25 100%

107.03.09 100% ^107.03.23 100% 107.04.19 100% 107.04.27 100%

107.03.13 100% ^107.03.28 100% 107.04.23 100% 107.05.01 100%

107.03.15 100% ^107.03.30 100% 107.04.25 100% 107.05.08 100%

107.04.09 100% ^107.05.17 100%

107.04.11 100% 107.06.07 100%

平均 信度

95% 96.8% 100% 100% 100%

研究過程真確性信度總平均=98.3%

54