第三章 研究方法
第四節 研究工具
貳 貳
貳、 、 、 、實驗組與控制組的教學步驟 實驗組與控制組的教學步驟 實驗組與控制組的教學步驟 實驗組與控制組的教學步驟
:概數單元教學進度結束，三組學生以班級為單位，在電腦教室進行線上概數 測驗的前測，學生可在電腦教室中利用紙筆進行運算後，再用滑鼠點出最適合的 選項，作答完畢馬上可得知自己的分數及該進行補救的屬性概念，所有參加測驗 的班級需在在一周內進行兩節課的補救教學，實驗組一的班級在電腦教室進行適 性補救教學；而實驗組二的團班資訊融入補救教學及控制組的傳統補救教學則由 導師帶回原班進行相同時間的補救教學，一周後三組班級再回到電腦教室進行後 測，由各班前後測的成績來分析控制組與兩組實驗組是否因不同補救教學方法達 顯著差異。
第四節 第四節
第四節 第四節 研究工具 研究工具 研究工具 研究工具
本研究根據國小四年級概數單元的能力指標及教材內容編製一份紙筆測驗及 兩份電腦化診斷測驗，依據紙筆測驗作答結果，探討 DINA、G-DINA和 DINO 診 斷模式的辨識率及試題層次適配度分析來判斷何種診斷模式較佳，再以最佳模式 編製診斷測驗及數位補救教材，並分析學生的電腦測驗結果，補救教學結束後一 周內再次進行電腦化診斷的複本測驗，最終再以統計軟體進行學習成效分析。
本研究所需的研究工具有：自編國小四年級概數單元紙筆測驗及診斷測驗、
電腦認知診斷系統、相關統計軟體，依序分述如下：
壹 壹 壹
壹、 、 、自編國小四年級概數單元診斷測驗 、 自編國小四年級概數單元診斷測驗 自編國小四年級概數單元診斷測驗 自編國小四年級概數單元診斷測驗
一、測驗內容
本測驗試題乃根據教育部於民國九十二年所公佈九年一貫正式綱要小學數學 科四年級教材內容範圍設計屬性概念 Q 矩陣，配合課程綱要中概數概念相關的能 力指標進行命題編製測驗。命題的重點放在四年級學生都學過的概數基本概念，
因試題將作為補救教學使用，所以題目皆以測基本能力為主，凡經正常時數學習 且瞭解概數概念的學童，應能通過測試。
二、編製過程
根據教育部 (2003) N-2-05 能用四捨五入法，對某數在指定位數取概數，並作 加、減、乘、除之估算，蒐集「概數」相關文獻，並徵詢數學專家學者和數位具 八年以上教學經驗國小教師的意見，統整出下列屬性概念及 Q 矩陣，以作為編製
「概數」電腦診斷測驗的依據。
表 3-4-1
「
「
「
「概數概數概數」概數」」」電腦診斷測驗屬性概念之對應題號電腦診斷測驗屬性概念之對應題號電腦診斷測驗屬性概念之對應題號 電腦診斷測驗屬性概念之對應題號 代號代號
代號代號 屬性概念屬性概念 屬性概念屬性概念 對應題對應題號對應題對應題號號 號
k1 能分辨生活情境中的概數 1、3、9、10、12、15、19、20 k2 能用無條件進入法對整數取概數 7、9、15、16
k3 能用無條件進入法取概數解決生活情境問題 9、15 k4 能用無條件捨去法對整數取概數 4、8、10、20 k5 能用無條件捨去法取概數解決生活情境問題 10、2
k6 能用四捨五入法對整數取概數 2、3、5、6、11、12、13、14、17、18、21、22 k7 能用四捨五入法取概數解決生活情境問題 3、11、12、13、14、18、21、22 k8 能用概數解決整數加法估算文字題 11、13、14、21
k9 能用概數解決整數減法估算文字題 11、21
K10 能找出概數所代表的區間 5、17、18、22
K11 能在文字題中找出概數所代表的區間 18、22
表 3-4-2
屬性概念與對應試題之 屬性概念與對應試題之屬性概念與對應試題之
屬性概念與對應試題之 Q 矩陣矩陣矩陣矩陣
概念概念 概念概念
試題試題
試題試題 K1 K2 K3 K4 K5 K6 K7 K8 K9 K10 K11
Q1 1 0 0 0 0 0 0 0 0 0 0
Q2 0 0 0 0 0 1 0 0 0 0 0
Q3 1 0 0 0 0 1 1 0 0 0 0
Q4 0 0 0 1 0 0 0 0 0 0 0
Q5 0 0 0 0 0 1 0 0 0 1 0
Q6 0 0 0 0 0 1 0 0 0 0 0
Q7 0 1 0 0 0 0 0 0 0 0 0
Q8 0 0 0 1 0 0 0 0 0 0 0
Q9 1 1 1 0 0 0 0 0 0 0 0
Q10 1 0 0 1 1 0 0 0 0 0 0
Q11 0 0 0 0 0 1 1 1 1 0 0
Q12 1 0 0 0 0 1 1 0 0 0 0
Q13 0 0 0 0 0 1 1 1 0 0 0
Q14 0 0 0 0 0 1 1 1 0 0 0
Q15 1 1 1 0 0 0 0 0 0 0 0
Q16 0 1 0 0 0 0 0 0 0 0 0
Q17 0 0 0 0 0 1 0 0 0 1 0
Q18 0 0 0 0 0 1 1 0 0 1 1
Q19 1 0 0 0 0 0 0 0 0 0 0
Q20 1 0 0 1 1 0 0 0 0 0 0
Q21 0 0 0 0 0 1 1 1 1 0 0
Q22 0 0 0 0 0 1 1 0 0 1 1
總計 總計 總計
總計 8 4 2 4 2 12 8 4 2 4 2
(一)預試紙筆測驗的信度、效度分析 1.預試紙筆測驗的信度分析：
本紙筆測驗的信度採取內部一致性之 Cronbach α 係數，所得驗的係數為 0.850，表示本測驗的試題信度良好。
2. 預試紙筆測驗的效度分析：
本測驗之效度採取專家效度。試題編製由教學單元的教學目標統整出概念屬 性來建構，並於試題初稿擬訂之後，經由指導教授與五位教學經驗豐富且於台中 教育大學測統所進修之現職教師審視及選項設計是否適宜，並提供測驗試題的修 改與建議，使本研究之認知診斷測驗的試題內容具有專家效度。
(二)預試紙筆測驗的試題品質分析：
本測驗之作答資料結果以 SPSS12.0 軟體進行試題品質分析。
1.預試紙筆測驗的試題難度分析
在古典測驗理論中，一份測驗的難度值介於 0～1 之間，接近 1 表示愈簡單；
接近 0 表示愈困難；接近 0.5，表示試題是難易適中。難度指數(P)為高分組與低 分組受試者答對此試題的百分比平均數，本試題的難度值介於 0.312~0.784，平均 值是 0.636，表示本測驗普遍對四年級學生來說算是中間偏易的試題居多。
2.預試紙筆測驗的試題鑑別度分析
一份具有鑑別度的測驗試題，其試題中高分組答對此試題的百分比要高於低 分組答對此試題的百分比，鑑別度指標值介於－1～1 之間，鑑別度以 0.25 以上為 標準，高於 0.4 為優良試題，0.25 以下不建議採用。鑑別度 (D) 為高分組與低分 組答對此試題百分比的差，本紙筆測驗的鑑別度值介於 0.274~0.768，平均值為 0.543，總的來說，這是一份具有良好鑑別度的試題。
表 3-4-3
4.認知診斷模式初步分析與 Q 矩陣修正
表 3-4-5
測度 (g) 為 0.324，猜測度 (g) 介於 0.000~0.632 之間；平均試題粗心度 (s) 為 0.163，粗心度 (s) 介於 0.000~0.508。
聽從指導教授建議重新檢視各題概念屬性，再稍做調整，如表 3-4-4「概數」
電腦診斷測驗屬性概念修改前後之對應題號，修改後 DINA 模式的平均試題猜測 度 (g) 為 0.325(g)介於 0.118~0.545 之間，粗心度 (s) 維持不變；DINO 模式平均 試題猜測度 (g) 為 0.318 (g) 介於 0.000~0.618 之間，平均粗心度 (s) 為 0.161 介 於 0.000~0.629。由表 3-4-5 可知 DINA 模式輸入修改前的 Q 矩陣所測得的試題參 數估計值，G 值大於 0.5 的題數有 4 題、S 值大於 0.52 的題數有 2 題；修改 Q 矩 陣後，G 值大於 0.5 的題數降為 1 題、S 值不變；而 DINO 模式輸入修改前的 Q 矩陣所測得的試題參數估計值，G 值的大於 0.5 的有 5 題、S 值大於 0.5 的有 2 題；
修改 Q 矩陣後，G 值、S 值超過 0.5 的題數維持不變；DINA 和 DINO 兩者相較，
在修改 Q 矩陣後 DINA 模式的試題參數估計值，小於 0.5 的題數少於 DINO 模式，
因此初步判定 DINA 認知診斷模式較適合本研究。
Q 矩陣修改後，再次以 DINA 模式進行試題參數分析及審視預試測驗題目，
發現預試紙筆測驗的試題猜測度 (g) 已降低，僅試題 1 仍高於 0.5，決定針對第一 題進行修改，而第 5、8 題猜測值雖然降低，但研究者在審視題目過程中發現題目 敘述方式無法正確測得概念屬性，因此決定加以修改之。
(三)預試紙筆測驗的試題編製與修審
透過表 3-4-3 四年級概數單元預試試題難度鑑別度與信度分析表及表 3-4-5 Q 矩陣修改前後的 DINA、DINO 模式試題參數估計值，針對預試紙筆測驗部分試題 進行編修。
1.【試題 1】：
由表 3-4-3 四年級概數單元預試試題難度鑑別度與信度分析表及表 3-4-5 Q 矩 陣修改前後的 DINA、DINO 模式試題參數估計值結果得知，試題 1 的難度值為 0.768 且 DINA 模式分析之猜測度為 0.545 大於 0.500，由此發現學生作答時，在 不具備所需的解題概念情況下，答對此題的機率超過 0.500，探究原因可能是因為
此題太過於容易或提供過多資訊予受試者，導致其猜測度過高。第 1 題和第 19 題
3.【試題 18】：
步驟二-在系統登入畫面輸入個人專屬的帳號和密碼:
圖圖圖
圖 3-4-1 系統登入畫面 步驟三-進入系統歡迎畫面
圖圖圖
圖 3-4-2 系統歡迎畫面
步驟四-
在系統使用說明畫面選擇測驗的版本、領域、冊別、單元名稱和卷別
圖 圖圖
圖 3-4-3 系統使用說明畫面
步驟五-開始進行施測
圖 圖 圖
圖 3-4-4 測驗進行畫面
步驟六-施測結束
圖圖圖
圖 3-4-5 測驗結束畫面 二、診斷測驗內容
結合 DINA 模式分析出學生需補救的數學概念，提出個別學生的診斷報告，
報告中除了顯示學生的成績外，亦有技能與概念的診斷結果，系統也會提供教師 受試班級的班級學習狀態統計書，以了解班級的學習成效。
(一) 點選成果查詢，在想要查詢的單元名稱欄位中選取試卷別
圖 圖 圖
圖 3-4-6 測驗成果查詢畫面
(二):顯示歷來測驗單元、基本資料、學習單元資訊、百分等級圖、本單元學習紀 錄、概念診斷報告
圖圖圖
圖 3-4-7 歷來測驗結果畫面
圖 圖圖
圖 3-4-8 受試者基本資料畫面
圖 圖 圖
圖 3-4-9 百分等級圖
圖圖
圖圖 3-4-10 本單元學習紀錄
圖 圖 圖
圖 3-4-11 概念診斷報告
診斷報告內容為技能與概念的判斷，此單元的數學概念共有 11 個，學生在診斷報 告書上可看到每個數學概念的診斷情形。若診斷結果出現◎，代表學生具備該概 念，若診斷結果出現 X，則代表學生不具備該概念。
(三) 班級學習狀態統計書，僅供教師使用
圖圖
圖圖 3-4-12 班級學習狀態統計書
每個班級在測驗完成後會產生一份班級學習狀態統計書，內容為全班概念屬 性的通過率，以百分率方式呈現，百分率愈高表示學生的概念精熟度越高，欄位 中的卷一指的是前測，卷二指的是後測。
三、適性學習部分
學生的診斷報告中頁面右邊針對每個技能與概念提供一個補救教學動畫，本 單元共有 11 個屬性概念的數位補救教學教材供學生點選來進行適性補救教學。每 個補救教學教材在設計後皆經過一位數學教育學系教授及五個國小教師討論審查 後進行修改，最後才進行定稿，下圖 3-4-13 為研究者編製補救教學的架構。
圖 圖 圖
圖3-4-13 補救教學編製架構圖
本數位補救教學教材內容以前測試題為範圍，為吸引孩子注意力，補救教材 一開始的呈現方式以簡單卡通人物對話，進入主題後再以釐清概念或直接布題說 明的頁面為主，而本數位補救教材的題型為選擇題，如圖 3-4-14
例題-概念解說定義
布題作答
解釋正確概念 答對
重看數位補救教材 答錯
恭喜答對,結束本概念的補救教學
圖 圖圖
圖 3-4-14 電腦適性補救教學開始畫面
開始畫面利用常見的卡通人物搭上配音，吸引受試者的注意，有助提升學習
開始畫面利用常見的卡通人物搭上配音，吸引受試者的注意，有助提升學習