研究樣本

一、預試樣本

本研究之測驗利用評量傳送模式組卷完成後即進行預試，本研究之對象為九 年一貫課程的國小四年級學童，因限於研究者之人力資源及時間。因此，實際施 測的樣本是以全台灣省學校的四年級學童為主。是故，預試樣本以立意抽樣法自 台北市、台中市、高雄市各抽取三個學校，每校一班，共計抽取 9 班學生接受本 研究之「面積」單元測驗預試，回收有效樣本為 312 份。

二、正式施測樣本

正式施測對象為全省國民小學四年級的學生，樣本遍及台灣省地區的國民小 學共 29 班，有效樣本總計 653 名，其中男生 341 名、女生 312 名。

三、研究工具

在應用以評量傳送模式進行組卷之前，需先建立試題庫才能進行選題及組卷 的工作。因此，首先邀請八位現任的國小教師及相關的教育專家，針對面積單元 的內容概念進行討論先確定了該單元欲檢測的技能與常出現的錯誤類型，再進行 出題。所有的試題皆以選擇題的方式呈現，其選項皆經過詳細的設計，以符合錯 誤類型的需求。完成試題的設計後必須經過詳細的討論及審核問題的用字遣詞及 選項的合宜性，經過反覆的討論後再進行將試題彙整，再經過評量傳送架構進行 組卷。設計出合宜的診斷測驗後，先至國小進行預試，以了解學生反應及作答情 形，再以口頭訪問的方式來了解學生可能看不懂的地方，將之修正使學生能夠理 解測驗中的題意。

（一）「面積」測驗

本研究所編的「面積」單元測驗，為了配合發展電腦適性化測驗並利於在電 腦上施測，因此本研究之試題皆以選擇題的形式呈現，每個試題只測單一個概 念，其選項各代表一種錯誤類型。根據學童的答題情形，即可判定為受試者學習 成果的優劣及迷思概念的所在。測驗編製架構如表 3-1 所示，每一題之成分分析 如表 3-1，測驗信度為 0.839；並經由數學教育專家、測驗專家及現任國小教師等 共十二人，依據試題架構及試題內容進行檢核，建立其內容效度。

表 3-1 面積測驗題型編製架構

面積內容 題號 面積內容 題號

文字計算題 4、5、9、10、13、12 點數 1、8、15 單位換算 6、7、14、16、18 圖形題 2、3、11、17

本測驗之目的在於診斷學生在本單元可能犯的五種錯誤類型與概念缺失，因 此選擇題中每一個選項都是整合本研究中文獻探討所列之錯誤類型與四年級學 童實際可能發生的錯誤，此舉將有助於提升正式測驗誘答選項之代表性。

經過評量傳送模式所組成的測驗，每個試題所涉及的錯誤類型成分如表 3-2，從此表中可看出此份測驗中的每個試題所涉及的錯誤類型相當平均，受試者 完成作答將利用貝氏網路來診斷本單元中所蘊涵的技能及錯誤類型。

表 3-2 「面積」單元測驗試題涉及錯誤類型成分 面積單元試題錯誤類型成分

計數錯誤 乘法計算 錯誤

數學文字題

的轉換錯誤 單位換算 公式應用錯

誤

Item1 ˇ ˇ ˇ

Item2 ˇ ˇ

Item3 ˇ ˇ

Item4 ˇ ˇ ˇ

Item5 ˇ ˇ

Item6 ˇ ˇ ˇ

Item7 ˇ ˇ

Item8 ˇ ˇ

Item9 ˇ ˇ ˇ

Item10 ˇ ˇ

Item11 ˇ

Item12 ˇ ˇ

Item13 ˇ ˇ ˇ

Item14 ˇ ˇ

Item15 ˇ ˇ

Item16 ˇ ˇ

Item17 ˇ ˇ

Item18 ˇ ˇ

由表 3-2 可看出，貝氏網路中的錯誤類型需要多個試題來重覆的設計於選項 中，因為在選擇題的形式中一般為四個選項，除去正確答案之外，只有三個選項 能夠設計成錯誤選項，其中又需以該題所需具備的技能與情境來設計選項，每一 個問題無法涵蓋所有的錯誤類型，且錯誤類型的種類又包含許多種組型，因此無 法以測一題的方式來得到所欲測的證據。另外，為了避免因猜題而造成診斷上的 誤差，因此在設計題目的數量上會因其試題內容所包含錯誤組型的數量與試題所 欲測的技能來決定。

試題的編製為診斷測驗成功與否之基石，其重要性可見一斑。在此就上述內 容簡要條列出試題編製的流程：

1.根據所欲測之單元概念進行文獻探討。

2.整理欲測年段之學生常犯的錯誤類型。

3.結合文獻探討中所發現之錯誤類型與子技能，與國內學生常犯之錯誤類型

進行比對與選擇，最後決定欲測的錯誤類型與子技能。

4.根據該單元中所蘊含的概念（子技能）來設計問題，並結合錯誤類型來設 計試題的選項。

5.利用評量傳送模式進行組卷。

6.實地預測。

7.根據預測後的結果來修改試題的用詞與選項。

（二）Bayes Net Toolbox for Matlab

本研究使用 Kevin Murphy（2004）所撰寫的 Bayes Net 工具箱作為撰寫貝氏 網路的程式所需的函數，此工具箱的優點為免費提供原始程式碼並可供修改及擴 充，並附有詳細使用說明容易上手；其缺點是尚未建立完整的使用者介面，使用 者必須具有專業的撰寫程式能力才能嫻熟使用。

（三）Matlab 軟體

本研究使用 Matlab 6.5 版進行先驗分配的計算與主程式撰寫，並與 Bayes Net Toolbox for Matlab 結合成一完整的程式，在撰寫程式時互相搭配使用。

（四）Bilog-MG 軟體

使用 Bilog-MG 軟體計算本研究紙本測驗的信度與試題的特性，包含試題在 IRT 中所謂的能力值、鑑別度、難度及猜測度等等，使研究者更能了解所編製測 驗的優劣及適用程度。

四、資料收集與分析

為達成本研究之目的，資料收集與處理方式分別說明如下所述：

（一）資料的收集

本研究之資料收集分為二個階段：

1.透過預試測驗收集學生的作答反應，預試結果用以了解現今學生常出現的 錯誤類型是否與研究相符合，進而修正本研究所提出的貝氏網路原始架

構，並將修正正式施測工具中的試題與誘答選項。

2.透過正式施測收集本研究欲進行分析的資料，以進行後續模式評估的部 分。

（二）資料的分析

為達成研究目的，研究者擬採用下列方法進行資料的分析：

1.專家小組針對預試與正式施測資料進行分析，由施測結果之學生反應組型 判定其具有錯誤類型與子技能。

2.利用 Excel 軟體分析預試與正式施測的結果，計算施測結果的α係數，以 及所有試題之選項選答情形與所有受試者之錯誤類型分配。

3.將收集的學生作答資料以二元輸入值、多選項輸入值的資料型態進行資料 分析，因為本研究所設計的試題為選擇題，每個問題的選項代表不同意義 的錯誤類型，因此將學生的反應以二元及多元兩種不同的資料格式進行分 析，來觀察學生在二種不同的資料格式下的成績表現。

4.利用 Matlab 軟體撰寫程式，並結合 Kevin Murphy 所寫的貝氏網路工具箱，

完成適用於本研究「面積」單元分析之貝氏網路認知診斷軟體，並將正式 施測資料分為訓練樣本與測試樣本二部分，先將訓練樣本輸入用以訓練貝 氏網路來計算其先驗分佈與其條件機率，再將測試樣本輸入訓練好的貝氏 網路中，求得診斷後的結果。

5.利用 Matlab 軟體所撰寫的程式，將診斷結果與效標比對，計算診斷之精 準度。

6.利用傳統的方法來求決斷值，求出辨識率。並在此研究中嘗試使用動態決 斷值選取法來決定辨識率，並用其結果來比較此二種方法的優劣，結果發 現動態決斷值選取法優於固定式的決斷值，因此在本研究中採用動態決斷 值選取法進行資料的分析。