二階段試題之貝氏網路與電腦化測驗研發

國立臺中教育大學教育測驗統計研究所

教學碩士學位暑期在職進修專班碩士論文

指導教授：郭伯臣 博士

二階段試題之貝氏網路與電腦化測驗研發

研究生：江啟明 撰

中華民國 九十九 年 八 月

致 謝

本論文能夠順利完成，首先要感謝郭伯臣、施淑娟博士的指導，以及曾彥鈞、 楊智為、劉育隆學長的協助，在研究進行與論文撰寫的過程中，不斷給我建議與 肯定，讓我有學習和成長的機會。 其次要感謝與我一起努力的夥伴，亭宇、寶玉、嘉謚、鄭涵和曉竹，不但在 學習與論文撰寫時彼此鼓勵，更協助紙筆測驗的施測工作；系統組的革為、崇義 和俊賢，協助電腦化測驗的施測。因為有你們的幫忙，讓我的研究能順利進行。 最後，我要感謝我的家人和學校的同仁，對我的關心鼓勵及包容體諒，因為 有你們的支持，我才能專心的完成學業。再次感謝所有幫助過我的人，祝福你們 一切順利、平安。 江啟明 謹致 中華民國九十九年八月

摘要

本研究以國小五年級數學能力指標 5-n-13「能解決時間的乘除計算問題」為 例，依據知識結構編製二階段試題。 試題編製完成後，首先以研究者同儕服務學校 328 名六年級國小學童為對象 進行預試施測，做為篩選錯誤類型及建立測驗信、效度之依據，從而編製出二階 段試題之電腦化測驗，再以研究者同儕服務學校 370 名六年級國小學童為對象進 行正式施測。 依據預試結果，將二階段試題與貝氏網路相結合，以建立「二階段試題貝氏 網路診斷模型」。將學童的作答反應輸入診斷模型中，依提供的證據分為三種不 同的模式，並比較不同模式之診斷成效。 研究成果如下： 1. 二階段試題評量診斷工具的 Cronbach α 值為 0.872。 2. 比較一階段與二階段試題之貝氏網路診斷成效，錯誤類型與子技能在二階段試 題之貝氏網路的平均辨識率約為 0.946，優於一階段試題。 3. 比較本研究所建立二種二階段貝氏網路診斷模式之成效，兩者差異不大。 4. 二階段電腦化測驗能依據學童第一階段的作答，給予不同的第二階段選項，結 合貝氏網路後，能有效診斷學生的錯誤類型。 關鍵字：貝氏網路、二階段試題、電腦化測驗、錯誤類型

Abstract

This research utilizing sample questions from the 5th grade elementary math competence indicators 5-n-13 “the multiplication and division to solve time related problems”, we composed two-tier test base on the structure of knowledge .

After compose of the test questions, we first pick 328 6thgrade students for pretest to make error patterns category and to build reliasility and validity of the test. From the result of the pretest we compose the computerized version of two-tier test. We then apply the test to 370 6th grade students for formal experiment.

Base on the pretest result, we combine the answer with Bayesian network to build “the Bayesian network of two-tier test diagnose model”, input student’s answer response into diagnose model and construct three different models to compare

accuracy between each one. Results are as follow:

1. Two-tier test diagnose tool’s Cronbach α is about 0.872.

2. Compare one-tier test and two-tier test with their effectiveness in Bayesian network diagnose, the accuracy of two-tier test is about 0.946, it’s better than one-tier test .

3. Compare the diagnose effectiveness of two models by this study , there is little difference.

4. Two-tier computerized test can select right questions in stage two base on the result of stage one test , combining with Bayesian network can effectively diagnose student’s error patterns.

目錄

摘要... I 目錄... III 表目錄...IV 圖目錄... V 第一章 緒論 ...1 第一節 研究背景與動機 ...1 第二節 研究目的...2 第三節 名詞解釋...3 第四節 研究限制...4 第五節 致謝 ...4 第二章 文獻探討 ...5 第一節 貝氏網路...5 第二節 二階段試題 ...8 第三節 電腦化測驗 ...14 第四節 時間能力指標與錯誤類型分析 ...16 第三章 研究方法 ...21 第一節 研究流程...21 第二節 研究對象...23 第三節 研究工具...23 第四節 資料收集與分析 ...35 第五節 建置二階段試題之貝氏網路診斷模型 ...37 第四章 研究結果 ...42 第一節 二階段試題貝氏網路診斷之成效分析 ...42 第二節 電腦化測驗結果分析 ...46 第五章 結論與建議 ...51 第一節 結論 ...51 第二節 建議 ... 51 參考文獻...52 中文部分...52 英文部分...54 附錄 A 知識結構圖 ...56 附錄 B 開放性二階段試題 ...57

表目錄

表 2-1 貝氏網路在教育測驗上之應用研究整理 ... 7 表 2-2 翰林、康軒、南一三版本對應能力指標 5-n-13 之分析表 ... 17 表 2-3 錯誤類型相關文獻整理 ... 18 表 2-4 文獻中的時間概念錯誤類型整理... 18 表 3-1 「時間」能力指標之錯誤類型 ... 25 表 3-2 試題與子技能的對應表 ... 26 表 3-3 二階段預試試題的通過率、鑑別度一覽表 ... 27 表 3-4 錯誤類型出現百分比 ... 35 表 3-5 錯誤類型與子技能的對應表 ... 36 表 3-6 二階段試題聯合判斷之二元計分結果... 40 表 4-1 模式 1 之貝氏網路辨識率 ... 42 表 4-2 模式 2 之貝氏網路辨識率 ... 44 表 4-3 模式 3 之貝氏網路辨識率 ... 45 表 4-4 三種不同模式的貝氏網路辨識率之比較 ... 46 表 4-5 電腦化測驗通過率、鑑別度一覽表... 47 表 4-6 利用二種模式診斷錯誤技能一覽表... 48 表 4-7 利用二種模式診斷子技能一覽表... 49

圖目錄

圖 2-1 建立貝氏網路模型的流程...6 圖 3-1 研究流程圖 ... 22 圖 3-2 二階段試題編製流程...24 圖 3-3 線上測驗實施流程 ...30 圖 3-4 系統登入畫面 ...31 圖 3-5 系統歡迎畫面 ...32 圖 3-6 使用說明畫面 ...32 圖 3-7 測驗選擇的版本為二階段時的畫面 ...33 圖 3-8 測驗進行畫面(一階段答案選項)...33 圖 3-9 測驗進行畫面(二階段原因選項)...34 圖 3-10 模式 1 之貝氏網路圖...38 圖 3-11 模式 2 之貝氏網路圖...39 圖 3-12 模式 3 之貝氏網路圖

第一章 緒論

本研究結合二階段試題（two-tier test）與貝氏網路（Bayesian network, BN）

的優點，以發展有效的數學學習診斷工具，除了可以得到更精確的測驗資料作為 貝氏網路診斷模型的推論證據，來診斷學生是否具備某種子技能與錯誤類型，並 透過不同模式的比較，進而得到最佳的的辨識效果。本章將針對研究背景與動 機、研究目的與研究限制分別描述。

第一節 研究背景與動機

在教學評量的實務上，因中小學教師教學及行政工作的繁重，評量方式多採 傳統的紙筆測驗，但紙筆測驗只能得到分數的高低，無法讓教師、學生了解學生 分數背後所隱藏的訊息，及時對學生的錯誤概念進行修正，但對於學生學習的診 斷功能仍有所不足。為了得到更多的診斷訊息，許多測驗理論及工具應運而生。 貝氏網路是一種結合機率理論與圖形理論，對不確定的事物加以描述與推論 的工具（Pearl, 1988），在醫學、工程及資訊等項目被廣泛運用。在教育方面，許 多研究以此開發診斷測驗，不但可以診斷學生概念的有無，同時也能診斷學生具 有哪些錯誤類型或迷思概念，並且二者都有不錯的辨識效果（林垣圻，2005；許 雅菱，2005；施淑娟，2006）。但是在之前的研究中，測驗都只採用單一階段選 擇題型進行設計，在測驗時常會發生猜測、學生的錯誤類型不在選項設計中等現 象，導致貝氏網路因為測驗資料的誤差，降低其辨識效果。因此，本研究從改良 測驗的型態著手，使其能提供更精確的測驗資料作為貝氏網路診斷模型的推論證 據。 近年來，二階段試題逐漸被應用於科學教育的評量與診斷上(Treagust, 1995;

回答，而第二階段的理由選項則是對第一階段的回答所秉持的理由，其選項設計 來自對學生的晤談、教師教學的經驗、以及先前的研究。這種評量工具的優點， 除了教師與研究者不必依靠費時費力的晤談工作就可以了解學生的學習情況，還 可以減低學生作答的猜對率，提高題目評量的效果（蕭志芳，2003）。 吳能州（2003）將二階段試題分為三種類型，本研究將採用第三類型，也就 是第一階段與第二階段試題皆為單選的選擇題，但第二階段的選項會隨著第一階 段的作答而改變。採取此一方式，就能更清楚了解學生的想法，也不會出現無法 分析的情形，但也因為這種特點，評量若以紙筆測驗的方式來進行，整份測驗將 顯得十分冗長，學生作答時容易失去耐心而胡亂作答，也可能出現學生先查看第 二階段的理由選項，再回答第一階段的情形，基於上述原因，本研究將採取電腦 化測驗的方式進行。 綜合以上所述，本研究將結合貝氏網路與二階段試題的優點，以提升貝氏網 路診斷模型的辨識效果。另外，由於結合貝氏網路與二階段試題所設計的「二階 段試題貝氏網路診斷模型」有多種可行的模式，因此，本研究亦針對不同的模式 對診斷成效之影響加以探討。 爲達成以上目標，本研究選定國小數學第三階段時間概念能力指標5-n-13「能 解決時間的乘除計算問題」作為本研究發展二階段試題評量工具的範圍，選擇此 主題的原因，是基於研究者任教於高年級時，發現時間對學生為一抽象的概念， 導致學生對時間運算學習及理解產生困難，所以本研究以此為探討範圍，編製一 份二階段電腦化評量工具，並建置二階段試題之貝氏網路診斷模型，能有效推斷 出學生是否具有概念與錯誤類型，以作為日後適性診斷評量及教學之參考。

第二節 研究目的

本研究計畫目的擬定如下：

壹、根據國小五年級數學能力指標 5-n-13「能解決時間的乘除計算問題」編製時 間概念之二階段試題評量工具。 貳、探討如何結合貝氏網路與二階段試題建置「二階段試題貝氏網路診斷模型」。 參、根據紙筆測驗之二元計分結果，探討結合二階段試題對於貝氏網路診斷模型 診斷成效之影響。 肆、探討二階段電腦化測驗中，二種不同的二階段試題之貝氏網路診斷模式對診 斷成效之影響。

第三節 名詞解釋

壹、貝氏網路

貝氏網路是一種以貝氏定理為基礎，由節點和連結組成的非循環有向圖

(directed acycle graph, DAG)，其中節點代表欲研究的變項，連結代表變項間的相 互關係，影響的強度則以條件機率來表示。

貳、二階段試題

本研究中的二階段試題是一種選擇題形式的評量工具，在題目中，第一階段 的事實選項包含了學童對內容的回答，而第二階段的理由選項則是對第一階段的 回答所持的理由，其選項設計來自開放式紙筆測驗的回答、教師教學的經驗、以 及先前的研究。

參、電腦化測驗

本研究所編製的電腦化測驗，每一題都分為二個階段，皆為單選題的形式。 學童在完成第一階段的作答後，系統會根據其作答反應，自動選擇對應的第二階 段理由選項。

第四節 研究限制

壹、研究對象 因考量到人力、時間等因素，本研究採立意抽樣的方式。預試對象為苗栗縣、 彰化縣及雲林縣的國民小學六年級，已完成五年級數學課程的學童共328名來進 行施測，採紙筆測驗方式；正式施測為台中縣市及台南縣的國小六年級，共370 位學童來進行施測，採電腦化測驗方式。故本研究所得結果不宜做過度推論。 貳、研究內容 本研究依國小五年級數學能力指標5-n-13「能解決時間的乘除計算問題」為 基準，主要參考翰林、南一、康軒三個版本的共通部份，作為開發二階段電腦化 測驗之理論依據，故所得結果不宜推論到其他時間相關能力指標之內容。

第五節 致謝

本研究部份內容為國科會研究計畫「結合貝氏網路與二階段試題之時間概念 適性學習系統研發」NSC-98-2511-S-142-006-MY2之成果。

第二章 文獻探討

本章將針對貝氏網路、二階段試題、時間能力指標及錯誤類型及電腦化測驗 等相關文獻進行分析整理。

第一節 貝氏網路

壹、基本概念

貝氏網路是一種結合機率理論與圖形理論，能對不確定的事物加以描述與 推論的工具（Pearl, 1988）。本研究中，主要使用貝氏網路作為推論的工具，藉由 貝氏網路的機率圖形模式，可將教育測驗中的不確定性組合成模型（Vomlel , 2004），以表達變數間的因果關係，並用機率來呈現關係的強度。 基於貝氏定理與圖形理論的概念，貝氏網路是一種由節點與連結所組成的非

循環的有向圖（directed acyclic graphs, DAGs）(蘇俊和，2002；Vomlel , 2004；許

雅菱，2005)。在本研究中節點分為三種，包含子技能、錯誤類型與試題，具有方 向性的連結表示節點之間具有因果關係。 本研究希望藉由貝氏網路其完整的機率理論做為推論學生論誤類型與子技 能的工具，因為學生的錯誤類型和子技能具有不確定性，這種不確定性容易造成 診斷上的困難，因此採用貝氏網路作為分析工具，才能根據學生的作答反應來推 論。

貳、貝氏網路建立的步驟

根據以上的概念，本研究要建立貝氏網路來做推論，必須取得研究資料後， 先根據資料及專家對學科專業知識的分析，建立一個完整的貝氏網路模型，再根 據資料來進行推論。建立模型的過程如圖2-1所示，分成以下三個步驟：(楊智為，

圖 2- 1 建立貝氏網路模型的流程(楊智為，2007) 一、根據研究資料，建立貝氏網路節點及連結 根據所設定的研究主題，利用相關文獻並經由學科專家透過討論與分析，找 出節點與節點之間的連結關係，以組成貝氏網路診斷模式。 二、設定模型中節點的機率分布 經由訓練樣本訓練貝氏網路的參數，計算所有可觀測節點和未觀測節點的先 驗機率及條件機率分布。以觀測的資料當證據，透過貝氏網路推論，獲得所感興 趣的未觀測節點之後驗機率分布。 三、評估後驗機率的正確性 將訓練樣本得到的結果與測試樣本得到的結果互相比較，兩者相符合的程 度稱為辨識率，由辨識率來評估此貝氏網路模式是否合適，以及對建立模型中所 要知道的節點推論是否正確並做修正。 根據以上步驟，取得一個最適合的貝氏網路模式後，便可依此來進行推論或 診斷。本研究將根據施測所得的結果，採二元資料輸入值，及動態決斷值選取法 （許雅菱，2005）獲得較佳之辨識率。

參、貝氏網路在教育測驗上之應用

將貝氏網路應用於實際教育測驗中，也有相當多的研究結果，根據相關文獻 整理如下表： 表 2-1 貝氏網路在教育測驗上之應用研究整理貝氏網路在教育測驗上之應用研究整理貝氏網路在教育測驗上之應用研究整理貝氏網路在教育測驗上之應用研究整理 論文名稱 研究者 研究內容摘要 以 貝氏 網 路 為 基礎 的適 性 測驗 電 腦 化 的可 行性 評估-以國小數學科診斷 測驗為例 林垣圻（2005） 以國小四年級數學科「面 積」單元為例，建立貝氏 網路，選用ＡＯ演算法為 選題策略，建構線上適性 測驗系統。 貝 氏網 路 在 教 育測 驗分 析上的應用 許雅菱（2005） 探討以證據中心為基礎 的評量設計，以貝氏網路 為基礎，建構以概念性的 評量架構為主的評量傳 遞模式。 應 用貝 氏 網 路 認知 診斷 模 式進 行 國 小 五年 級小 數單元學習診斷之研究 施淑娟(2006) 建 立 一 個 以 貝 氏 網路 為 基 礎 的 錯 誤 類 型 與子 技 能認知診斷模式，並應用 於 國 小 五 年 級 數 學學 習 領域中「小數」單元。 多 重貝 氏 網 路 在教 育測 驗上的應用 謝典佑(2005) 探 討 單 一 貝 氏 網 路模 組 和 多 重 貝 氏 網 路 模組 在 不同融合演算法下，對於 學 生 錯 誤 類 型 及 其技 能 分類之辨識率的比較。 以 貝氏 網 路 為 基礎 之能 力 指標 測 驗 編 製及 補救 教學動畫製作：以五年級 數 學領 域 分 數 相關 指標 為例 吳仁奇(2005) 以 國 小 五 年 級 數 學領 域 分 數 相 關 能 力 指 標為 依 據，以貝氏網路作為分析 工具，應用於診斷學生錯 誤類型與子技能，並發展 一 套 線 上 測 驗 及 補救 教 學系統。

表 2-1 貝氏網路在教育測驗上之應用研究整理貝氏網路在教育測驗上之應用研究整理貝氏網路在教育測驗上之應用研究整理貝氏網路在教育測驗上之應用研究整理(續續續)續 論文名稱 _研究者 研究內容摘要 應 用貝 氏 網 路 進行 國中 數 學二 元 一 次 聯立 方程 式 單元 之 學 習 診斷 測驗 編 製及 適 性 補 救教 學設 計 洪敏甄(2006) 以國中七年級數學「二元 一次聯立方程式」單元為 例，以貝氏網路作為推論 工具並加入 OT 演算法， 發 展 一 套 電 腦 適 性診 斷 測驗及補救教學系統。 融 合不 同 專 家 貝氏 網路 優 勢進 行 國 小 六年 級數 學 領域 代 數 之 適性 學習 系統研發 張見銘(2006) 以 國 小 數 學 領 域 六年 級 代數能力指標為例，以貝 氏網路為推論工具，輔以 知識結構的概念，建立一 套電腦適性學習系統。 以 SVM 結合多重貝氏網 路在教育測驗上的應用 楊智為(2007) 使用 1NN與SVM 應用於 多重貝氏網路，將後驗機 率 值 及 二 元 類 別 型態 兩 種資料輸入，探究辨識率 是否能得到提升的效果。 使 用貝 氏 網 路 分析 不同 背 景變 項 及 學 習風 格之 學生學習成果 蔣順興(2008) 使用貝氏網路來診斷不 同背景變項及思考風格 的學生，在數學「面積」 能力指標上之錯誤類型 與子技能的表現情形。 以 知識 結 構 與 貝氏 網路 為 基礎 之 數 位 教材 與評 量研發-以六年級柱體體 積單元為例 楊淑菁(2009) 建 立 一 套 以 知 識 結構 與 貝 氏 網 路 為 基 礎 之數 學 教材與電腦適性測驗，並 探 討 不 同 學 習 風 格對 學 生 在 子 技 能 及 錯 誤類 型 表現之差異。 由之前的研究結果可知，貝氏網路的機率推理模型在教育測驗上是一個很有 效的診斷工具，但因為試題都只採用單一階段選擇題型進行設計，在測驗時常會 發生猜測、學生的錯誤類型不在選項設計中等現象，導致貝氏網路因為測驗資料 的誤差，降低其辨識效果。因此，本研究從改良測驗的型態著手，使其能提供更 精確的測驗資料作為貝氏網路診斷模型的推論證據。

第二節 二階段試題

在紙筆測驗中，較常使用的是選擇題形式，這種方式容易進行大規模施測，

評分也相當客觀，但最大的缺點是無法得知學生的想法。為了得知學生的想法，

晤談是常用的一種方式，但此種方式不僅費時，也需要受過專業訓練方可使用，

實務上無法大規模進行。針對以上缺點，有學者提出二階段試題

（Treagust, 1986 & 1988; Tan, Treagust, Goh, & Chia, 2002）解決這個問題。以

下分別對二階段試題的實施方式及優點、二階段試題編製步驟來進行說明。

壹、二階段試題的實施方式及優點

二階段試題的評量工具，是由Treagust（1988, 1995）及Harrison 與Treagust

（1998）所提出，根據題目作為評量學生是否能對某方面概念理解的依據。在題 目中，第一階段的事實選項包含了學生對內容的回答，而第二階段的理由選項則 是對第一階段的回答所秉持的理由，其選項設計來自對學生的晤談、教師教學的 經驗、以及先前的研究。 Odom 與Barrow（1995）指出二階段試題的優點為可降低猜對率。在傳統測 驗中，猜對含有四個選項之選擇題答案的機率為25%；但是在二階段診斷測驗中， 第一階段含有二個答案選項，第二階段含有四個原因選項，則要在此兩階段完全 猜對的機率僅12.5%。另外，教師與也研究者不必依靠繁瑣費時的晤談工作就可 以了解學生的學習情況，還可以減低學生作答的猜對率，提高評量的效果（蕭志 芳，2003）。 研究者根據吳能州（2003）所作的二階段試題分類，將二階段試題的各種題 型介紹如下： 一、第一階段試題與第二階段試題皆為單選之型態 例題一：唐健文（2001）之電流磁效應及感應電流二階段試題

例題二：林家平（2001）之光合作用二階段試題 題目： 例題一的第一階段只有二個選項，也就是採是非題的形式，第二階段則選出 第一階段回答的理由利用在第二階段中的理由，來推論出學生的錯誤概念；例題 二的第一階段具有三個選項，較例題一提供了更多的診斷訊息。但此種類型都具 有同樣的缺點，有可能會出現無法分析出受試者想法的配對答案，如例題一的第 一階段A選項，就明顯與第二階段的6選項相衝突。

二、其中一階段為單選題型，另一階段為複選題型 例題一：陳業勇（2001）之動物生殖二階段試題 題目： 此種類型較為特別，第一階段是複選題的形式，選出同屬於無性生殖的動 物，第二階段是單選題，選擇第一階段作答的原因。這種類型雖然可以提供研究 者較多的診斷訊息，但是也因一、二階段的配對方式太多，分析起來相當不易， 所以較為少見。 三、第一與第二階段試題皆為單選題，但第二階段的原因選項會隨著第一階段的 作答而改變 例題一：吳能州（2003）之聲音概念二階段試題 題目：

此種類型的二階段試題，已經先將學童可能的想法及錯誤類型設計於第二階 段的試題中，所以可以清楚了解學童的想法，也較少出現無法分析的情形。但是 正因如此，整份測驗的編製更為不易，整份測驗也顯得十分冗長且複雜，不僅印 製試內時需要許多紙張，測驗時學童也很容易因失去耐心而胡亂作答。 郭振揚（2004）認為三種類型的二階段試題各有其優缺點，但因測驗皆為紙 筆測驗的形式，所以學童在作答時，可能會先看第二階段的原因選項，再來填寫 第一階段的理由選項，如此一來，便無法收集到學生最初的想法，也與二階段試 題的設計理念相違背。所以將二階段試題轉化成為電腦化測驗，是一個良好的解 決方式。

貳、二階段試題的編製步驟

透過上面的二階段試題的範例，我們可以發現試題的建立過程十分的複雜， 比起原先的單一選擇形式的題目更具有其困難開發的情況。針對這樣的試題建構

過程，Treagust（1988, 1997）與 Odem 和 Barrow（1995）提出「二階段診斷測

驗」（two-tier diagnostic test）發展之具體程序。此一程序共分三個階段，共十個

步驟，包括：

（一）分析學科單元內容，確認命題知識的敘述。 （二）發展學科內容所含概念之概念圖。 （三）檢視概念圖所含的概念與命題知識的敘述均涵蓋相同的內容。 （四）請專家學者和資深教師修正命題知識的敘述和概念圖。 二、收集關於學生概念的訊息 （一）研究相關的研文獻，以建立發展選擇題的訊息基礎。 （二）進行非結構化的學生訪談，以收集對學生錯誤類型有更多的資訊。 （三）發展開放性試題：每個試題後均設一處可讓受試學生填寫作答某一選項的 原因，以便從中獲得更多學生的想法。 三、發展診斷工具 （一）開發二階段的診斷工具：每個題目包含兩個部份，第一部份是選擇題，主 要在評量學科單元的內容知識，第二部分為理由選項，包含幾個可能選答 某一選項的原因，這些原因包括正確的答案、經確認的錯誤類型或純粹是 錯誤的答案。 （二）設計一個雙向細目表，用以檢核診斷工具能完全地包含學科單元內容之命 題知識的敘述和概念圖中的所有概念。 （三）持續修正：持續透過收集學生概念之研究文獻、相關的試題、晤談學生等 方式，針對診斷測驗的試題不斷地加以改良或修正，以使該測驗能符合需 求。 透過上述之標準程序以達成更為精準的測驗工具開發的流程，使得二階段試 題在各領域被成功用以進行學生錯誤類型診斷過程的一項重要工具。如：

Treagust(1995)、Odom & Barrow(1995)、唐健文（2001）、吳能州（2003）、郭振 揚（2004）、葉俊谷（2007）。

第三節 電腦化測驗

由於電腦科技的突飛猛進，以及網際網路的普及，運用電腦來進行測驗，已 變成一種趨勢。電腦化測驗的定義，余民寧(2002)認為是以電腦來輔助編輯試題、 施測、計分、分析、報告結果、與解釋的測驗方式，而透過網路的雙向傳輸功能， 更是能達到隨選施測的地步。以下就電腦化測驗的發展，及電腦化測驗的優點與 限制加以說明。

壹、電腦化測驗的發展

電腦化測驗依其發展過程，可分為四種類型（ Bunderson,Inouye & Olsen,1989，引自蔡世宏，2007；郭振揚，2004）： 一、電腦化測驗（computerize testing，CT） 將測驗實施的方式自動化，以減少人力，但此期電腦輔助技術尚未成熟，因 電腦化便只有計分及統計分析的功能而已。隨著電腦技術的發展與提升，近年來 也加入了聲音和動畫等多媒體的效果，更與資料庫相結合，電腦化測驗的功能得 以展現。

二、電腦化適性測驗（computerized adaptive testing，CAT）

電腦化適性測驗是根據試題反應理論（item response theory），先給受試者平

均難度的題目，依據受試者的作答反應，調整下一個題目的難易度測驗受試者的 能力，此種電腦化測驗最大的優點就是能運用最少的題目測驗出受試者的真正能 力。 三、連續性評量（continuous measurement，CM） 此類型的測驗是與教學的結合，試題的安排是出現在課程中的，當學生完成 一個課程，評量就隨之開始。利用學生在試題中的作答情形，決定下一個教學內 容及難易度，故可以充分掌握學生的學習狀況。 四、智慧型評量（intelligent measurement，IM）

智慧型評量能提供給使用者最合適的協助與指導，不但可以建立個人的學習 模式，還可以對個人的學習成長進行追蹤，並且可以提供即時的補救建議與個體 的分析，使教學與評量能夠充分的配合，提供最佳的學習環境。 本研究基於二階段試題的需求，將以電腦化測驗(Computerized Testing，CT) 為發展的重點，利用線上測驗的方式，呈現二階段試題供學生作答，並即時將學 生的作答反應儲存於資料庫中，所得資料將提供研究使用及分析。

貳、電腦化測驗的優點與限制

一、電腦化測驗的優點 彙整各學者的觀點，電腦化測驗最主要的優點如下（陳志信，1993；溫玲玉、 洪建銘，1996；歐滄和，1996；劉亞平，1998；李連順，2000；林裕集，2002）： (一)測題題目的多元化 配合電腦多媒體的發展，不再只是以文字的方式呈現結合圖片、聲音、影像、 動畫等多樣化的內容，受測者能更了解題目所表達的涵義，也能提升學習動機。 (二)立即提供回饋 電腦化測驗可以在受試者答題後，立即給予對錯與得分等回饋，或是得到作 答的分析。受試者不僅可以馬上得到評量結果與解釋，並能立即進行補救教學。 (三)測驗情境標準化 因為電腦化測驗提供了標準化的測驗情境，解決了可能因施測者所造成的影 響，更能精確地控制實施與計分的程序，也能避免紙筆測驗時，學生作答卻填錯 位置的情形。 (四)額外訊息的獲得 電腦化測驗不但可以記錄受試者的作答情形，還可以記錄測驗過程的訊息， 其中包括作答的反應時間、作答歷程等資訊，有助於測驗結束後的資料分析。 (五)施測的安排彈性化

由安排施測的時間及地點。 二、電腦化測驗的限制 電腦化測驗雖有許多優點，但也有許多限制須加以注意：（陳志信，1993； 李連順，2000） （一）電腦化測驗的題型多侷限於是非題與選擇題，開放性的問題仍無法提供客 觀的評分標準。 （二）在測驗實施時，必須考慮電腦軟硬體設備在測驗過程中所可能產生的問 題，受試者必須有足夠的電腦可供使用，伺服器也要提供穩定的服務。 （三）電腦化測驗較一般紙筆測驗節省時間，但受試者做到必須計算的題目時， 必須在紙上進行計算再將答案鍵入電腦中，所以可能會影響答題的速度。 綜合以上所述，本研究所編製的電腦化測驗，二階段皆為單選題的形式， 學童在完成第一階段的作答後，系統會根據其作答反應，自動選擇對應的第二階 段理由選項。另外，考量到學童必須另外計算的情形，題目敘述中的數字均較為 簡單

第四節 時間能力指標及錯誤類型分析

時間與人的生活習習相關，如何把握時間、善用時間，對於每個人都是一項 重要的課題。但時間概念是抽象的，學童在學習時很容易產生錯誤概念，因此， 本研究選定此主題加以探討，以下便針對時間的能力指標，以及時間概念的錯誤 類型做一簡介。

壹、時間的能力指標分析

本研究所應用的能力指標，為5-n-13「能解決時間的乘除計算問題」。在教 育部（2003）頒的「國民中小學九年一貫課程綱要數學科領域」中針對此項指標 提出說明如下：本細目的單位換算與計算限於整數範圍。研究者整理翰林、康軒、

南一三個版本中，對應此能力指標所編製的單元內容如表2-2： 表2-2 翰林翰林翰林、翰林、、、康軒康軒康軒、康軒、南一三版本對應能力指標、、南一三版本對應能力指標南一三版本對應能力指標南一三版本對應能力指標5-n-13之分析表之分析表之分析表之分析表 版本 單元 教學內容 翰林(2009) 時間的運算 1.透過相同距離或相同時間，來判別速度的快慢。 2.透過火車時刻表，認識與報讀火車時刻表，並 解決相關情境問題。 3.透過具體情境，解決時間的二階、三階整數乘 法問題。 4.透過具體情境，解決時間的二階、三階整數等 分除及包含除問題。 5.解決時間的加、減、乘、除多步驟應用問題。 康軒(2008) 時間的計算 1-1 解決時間的乘法問題。 1-2 解決時間的除法問題。 2-1 能作時和分的分數和小數化聚。 2-2 能作分和秒的分數和小數化聚。 2-3 能作日和時的分數和小數化聚。 3-1 透過生活中實測的記錄，察覺能用距離和時 間比較物體運動的快慢。 3-2 能用時間的長短，比較物體在固定距離內的 運動快慢。 3-3 能用距離的長短，比較物體在固定時間內的 運動快慢。 南一(2009) 時間的乘除 1.能用分和秒的單位換算，解決時間的乘除問題。 2.能用時和分的單位換算，解決時間的乘除問題。 3.能用日和時的單位換算，解決時間的乘除問題。 因考量到各版本單元教學內容有部分差異，本研究中的評量設計，將以三版 本中共通的部份為主。另外，因康軒版本的單元在五上實施，翰林與南一版本都 在五下才進行教學，故本研究將以已學習過相關單元的六年級學生為施測對象。

貳、時間概念的錯誤類型

研究者將時間概念錯誤類型的相關文獻整理於表2-3，並於表2-4中列出各種

表2-3 錯誤類型相關文獻整理錯誤類型相關文獻整理錯誤類型相關文獻整理錯誤類型相關文獻整理 作者 年份 研究主題 研究對象 研究方 法 研究摘要 譚寧君 （1998) 從兒童的時間迷 思概念看教師對 兒童知識的了解 三、四、五、 六年級 筆試、 訪談、 問卷 1.了解國小學生時間 概念的發展情形 2.了解教師對學生時 間概念知識的了解 蕭志芳 （2003） 中高年級國小學 童時間概念之探 究 三、四、五、 六年級 二階段 評量 訪談 1.探討學童在「時刻」 與「時間量」的時間概 念 2.探討學童在「時刻」 與「時間量」的的時間 另有概念 朱振生 (2002) 國小五年級學生 時間化聚學習表 現與補救教學之 研究 五年級 筆試、 訪談 1.探討學生時間化聚 的學習表現 2.分析學生時間化聚 的錯誤解法與原因 3.設計補救教學活動 改善學生的時間化聚 學習效益 陳佩玉 （2002） 國小學童時間單 位量概念之研究 一到六年級 訪談 1.探究學生在時間語 言、日常生活事件以及 時間單位轉換掌握時 間單位量的表現情形。

表2-4 文獻中的文獻中的文獻中的時間概念錯誤類型文獻中的時間概念錯誤類型時間概念錯誤類型時間概念錯誤類型整理整理整理整理 錯誤類型 序號 範例 相關文獻 不知道時、分、秒單位間的換算關係，猜測作答 B1 曉明走路上學，需要 8 分鐘才能到達學校，如果 他已走了 300 秒，他還要走幾秒鐘才能到達學 校？ 300×8＝2400 秒 朱振生(2002) 使用十進位來解題 B2 小雅花了 3 小時跑完馬拉松比賽，相當於多少分 鐘？ 3×10＝30 分鍾 譚寧君（1998）、 朱振生(2002) 使用十二進位來解題 B3 因颱風關係，火車誤點 240 分鐘，相當於多少小 時？ 240 分÷12＝20 小時 朱振生(2002) 使用二十四進位來解題 B4 清潔隊員花了 240 分鐘整理資源回收垃圾，相當 於多少小時？ 240 分÷24＝10 小時 朱振生(2002) 使用六十進位來解題 B5 清潔隊員花了 5 天整理資源回收垃圾，相當於多 少小時？ 60×5＝300 小時 朱振生(2002) 使用百進位來解題 B6 志勇參加健行比賽，他走了 2 小時 47 分到達目的 地，回來走了 1 小時 55 分，志勇走了幾小時幾分 鐘？ 2 小時 47 分＋1 小時 55 分＝247 分＋155 分＝402 分＝4 小時 2 分 譚寧君（1998）、 朱振生(2002) 、蕭 志芳（2003) 數字大就是時間量多 B7 下面時間依序由最長排到最短？ （1）300 秒（2）6 分鐘（3）1 小時 （1）＞（2）＞（3） 陳佩玉（2002）、 蕭志芳（2003)

表2-4 文獻中的文獻中的文獻中的時間概念錯誤類型文獻中的時間概念錯誤類型時間概念錯誤類型時間概念錯誤類型整理整理(整理整理(((續續續續)))) 錯誤類型 序號 範例 相關文獻 時間單位越高階者，時間量越大 B8 快樂盃帆船比賽，美女號的成績是 300 分，俊男 號是 4 小時，請問哪一艘船花的時間較長？ 因為 4 小時＞300 分，所以俊男號較快。 蕭志芳（2003) 移動的距離越遠，所花的時間越長 B9 小明的家距離學校 800 公尺，小花的家距離學校 750 公尺，兩人同時間從家裡出發到學校，誰花 得時間較長？ 因為 750 公尺＜800 公尺，所以小明比較長。 蕭志芳（2003) 時間單位不一樣就不能比較時間的長短 B10 陽光國小舉行大隊接力比賽，五年 1 班的成績是 6 分，五年 2 班的成績是 354 秒，哪一斑跑得比 較快？ 因為 6 分和 354 秒的時間單位不同，所以無法比 較。 蕭志芳（2003) 跑得比較慢所花的時間就比較少 B11 陽光國小舉行大隊接力比賽，五年 1 班的成績是 368 秒，五年 2 班的成績是 354 秒，哪一斑跑得比較慢？ 因為 368 秒＞354 秒，所以五年 2 班比較慢。 蕭志芳（2003) 上述的錯誤類型可供二階段試題編製時之參考，但仍須配合教師教學上之經 驗，及學生實際作答反應，以作為增刪之依據。

第三章 研究方法

本章分為研究流程、研究對象與範圍，研究工具及資料收集與分析四部份， 分別說明如下。

第一節 研究流程

本研究主要目的在於探討如何結合二階段試題與貝氏網路診斷模式，並同時 建立以時間能力指標為範圍之電腦化測驗。 確定研究主題後，首先對貝氏網路、二階段試題、時間概念與錯誤類型及電 腦化測驗等相關文獻作探討與研究，接著依據 Treagust(1988, 1997(與 Odem 和 Barrow(1995)的二階段試題編製流程，選擇要編製測驗的能力指標，以國小五年 級數學能力指標 5-n-13「能解決時間的乘除計算問題」為範圍，與專家及多位教 師討論及修正施測內容的知識結構，再進行二階段試題的編製。 試題經過專家審核後，本研究選擇苗栗縣、彰化縣及雲林縣的六年級學童共 328 名進行施測。測驗中每道題目分為兩個階段，學生在讀完題目後，在第一階 段選出自己認為是正確的答案，接著第二階段必須記錄自己的解題過程。 待試卷收回後，研究者整理學生的作答資料，將學生的錯誤類型加以分類， 與專家討論並進行修正後，完成二階段試題的錯誤類型與子技能對照表，並繪製 貝氏網路圖，以產生二階段試題貝氏網路診斷模型，接著探討結合二階段試題對 於貝氏網路診斷模型診斷成效之影響，並比較不同的模式對診斷成效之差異。 在預試題目及錯誤類型進行修審完畢後，本研究採用郭伯臣、曾彥鈞（2007） 所開發的 BNAT「以知識結構為基礎的電腦適性測驗系統」，建置二階段試題之電 腦線上測驗，並對台中縣市、台南縣的六年級學童共 370 人作正式施測。在電腦 化測驗中，每道題目都是兩個階段的選擇題，學生在第一階段選出自己認為是正 確的答案，系統會依據學生在第一階段的答案選項，在第二階段出題時給予不同

正式施測結束後，將學生的作答資料輸入貝氏網路分析軟體，利用最佳的模 式來求出錯誤類型及子技能的辨識率，最後完成論文撰寫。本研究的研究流程圖 如下： 圖 圖圖 圖 3-1 研究流程圖 修審二階段試題並轉 化成電腦化測驗 建置「時間」能力指 標之二階段試題 設定研究主題 實施電腦化測驗 探討二階段試題、「時 間」能力指標、電腦 化測驗相關文獻 進行預試 建立「時間」能力指 標之知識結構 開發結合二階段試 題之貝氏網路診斷 模型 撰寫研究報告 探討貝氏網路相關 文獻 比較不同貝氏網 路診斷模型診斷 成效之差異 以貝氏網路診斷模 型分析電腦化測驗 資料

第二節 研究對象

本研究是以台灣地區國民小學已完成五年級數學課程之六年級學童為對 象，採立意抽樣方式，以了解學童的時間概念及錯誤類型，本研究之研究對象說 明如下：

壹、預試對象

預試之目的是希望透過紙筆測驗，能收集學童對於題目可能的答案選項及錯 誤類型，以發展為二階段的電腦化測驗，透過施測過程瞭解學童對二階段試題的 接受度，並將題意不清或難度、鑑別度不佳的試題加以修改。進行預試的對象是 以研究者同儕所服務的學校，分別是苗栗縣、彰化縣及雲林縣的國小六年級十二 個班級，共328位學童為研究樣本。

貳、正式施測對象

正式施測最主要的目的是透過電腦化測驗的方式，診斷學童是否具有時間能 力指標 5-n-13「能解決時間的乘除計算問題」的子技能，並找出可能發生的錯誤 類型，以作為日後適性測驗暨補救教學系統的發展依據。施測對象是以研究者同 儕所服務的學校，分別是台中縣市及台南縣的國小六年級十二個班級，共 370 位 學童為研究樣本。

第三節 研究工具

本研究根據國小數學能力指標編製「時間」概念之二階段試題評量工具，用 以診斷學童時間能力指標錯誤概念的原因與類型。因此，研究者乃根據相關之文 獻與理論編製以時間能力指標為內容的二階段試題，及電腦化線上測驗作為研究 工具。

壹、二階段試題

依據 Treagust(1988, 1997)與 Odem 和 Barrow(1995)的二階段診斷測驗發展程

序，本研究的試題編製流程共有三階段，分為十個步驟進行，如圖 3-2。 圖 圖 圖 圖 3-2 二階段試題編製流程 確定主題 確定知識結構圖 確定命題陳述 專家效度 確定該數學 概念的知識 文獻探討 發展開放式試題 預試 可能產生的 錯誤類型 發展二階段電腦 化線上測驗工具 修正 錯誤類型 與子技能對應表 專家效度 正式施測 分析錯誤概 念及其成因

首先本研究確定以國小數學能力指標 5-n-13「能解決時間的乘除計算問題」 為主題，接著對能力指標作相關教材分析。在以與專家及多位教師討論及修正 後，根據時間能力指標所應具備的子技能，建立施測內容的知識結構圖(如附錄 A)。知識結構圖可區分為八個部份，分別是：以固定變化量所需時間長短來比較 快慢、以相同時間所產生的變化量來比較快慢、解決分和秒的乘法問題、解決時 和分的乘法問題、解決日和時的乘法問題、解決分和秒的除法問題、解決時和分 的除法問題，及解決日和時的除法問題。 經文獻探討後，研究者列出錯誤類型初稿如表 3-2，待預試完畢，可作為學 童的錯誤類型分類之參考。 表 3-1 「「「「時間時間時間時間」」」」能力指標之錯誤類型能力指標之錯誤類型能力指標之錯誤類型 能力指標之錯誤類型 代號 錯誤類型 （B18） 猜測作答 （B17） 前後各自除，不管餘數 （B16） 把商和餘數顛倒 （B15） 計算後沒進位 （B14） 只計算部分時間複合單位 （B13） 把題幹的數字當作答案 （B12） 大單位化成小單位時，計算成十進位 （B11） 大單位化成小單位時，計算成十二進位 （B10） 大單位化成小單位時，計算成二十四進位 （B9） 大單位化成小單位時，計算成六十進位 （B8） 大單位化成小單位時，計算成百進位 （B7） 小單位聚成大單位時，計算成十進位 （B6） 小單位聚成大單位時，計算成十二進位 （B5） 小單位聚成大單位時，計算成二十四進位 （B4） 小單位聚成大單位時，計算成六十進位 （B3） 小單位聚成大單位時，計算成百進位 （B2） 誤以為量多就是慢 （B1） 誤以為時間最多就是快

確定該能力指標的知識結構後，研究者參照表 3-3 來進行二階段試題的編 製，每一個子技能節點都有一道題目，整份測驗共 21 題。為了收集更多學生解 題的錯誤類型，所有的題目以開放式二階段試題的形式來設計，測驗中每道題目 分為兩個階段。題目的第一階段是 2 到 7 個的選項的選擇題，學生在讀完題幹後， 要選出自己認為是正確的答案；第二階段是問答題，學生必須寫出自己的解題過 程。其後再進行專家會議、文獻探討等步驟修正試題，以完成「時間」能力指標 之開放性二階段試題(附錄 B)。試題舉例如下： Q1. 下表是 3 個小朋友參加運動會的賽跑紀錄表，哪一個小朋友最快？ 姓名 距離（公尺） 時間（秒（鐘）） 科翔 100 15.63 佩文 100 15.79 毅嘉 100 17.25 ( )一、下列哪一個是你認為正確的答案？
科翔  佩文  毅嘉  其他 二、請寫出你的解題過程。 表 3-2 試題與試題與試題與試題與子技能的對應表子技能的對應表子技能的對應表子技能的對應表

代號 子技能 ITEM1 （S1）以固定變化量所需時間長短來比較快慢 ITEM 2 （S2）以相同時間所產生的變化量來比較快慢 ITEM 3 （S3）能將幾秒（鐘）換成幾分（鐘）幾秒（鐘） ITEM 4 （S4）解決「秒（鐘）」的乘法應用題 ITEM 5 （S5）解決「分（鐘）」、「秒（鐘）」的乘法應用題 ITEM 6 （S6）能將幾分（鐘）換成幾（小）時幾分（鐘） ITEM 7 （S7）解決「分（鐘）」的乘法應用題 ITEM 8 （S8）解決「（小）時」、「分（鐘）」的乘法應用題 ITEM 9 （S9）解決「（小）時」、「分（鐘）」的加乘應用題 ITEM 10 （S10）能將幾（小）時換成幾日幾（小）時 ITEM 11 （S11）解決「（小）時」的乘法應用題 ITEM 12 （S12）解決「日」、「（小）時」的乘法應用題

表 3-2 試題與試題與試題與試題與子技能的對應表子技能的對應表子技能的對應表子技能的對應表((((續續續)續)))

ITEM 13 （S13）能將幾分（鐘）幾秒（鐘）換成幾秒（鐘） ITEM 14 （S14）解決用幾分（鐘）幾秒（鐘）除以幾秒（鐘）的應用題 ITEM 15 （S15）解決「分（鐘）」、「秒（鐘）」的除法應用題 ITEM 16 （S16）能將幾（小）時幾分（鐘）換成幾分（鐘） ITEM 17 （S17）解決用幾（小）時幾分（鐘）除以幾分（鐘）的應用題 ITEM 18 （S18）解決「（小）時」、「分（鐘）」的除法應用題 ITEM 19 （S19）能將幾日幾（小）時換成幾（小）時 ITEM 20 （S20）解決用幾日幾（小）時除以幾（小）時的應用題 ITEM 21 （S21）解決「日」、「（小）時」的除法應用題 接著利用Excel 軟體記錄施測的結果，包括所有試題之選項選答情形與所有 受試者之錯誤類型分配，再將學生作答資料以第一階段正確、兩階段都正確的資 料型態輸入Bilog-MG進行分析，計算出每個題目第一階段及兩階段的通過率和鑑 別度如下表。 表 3-3 二階段預試試題的通過率二階段預試試題的通過率二階段預試試題的通過率二階段預試試題的通過率、、、、鑑別度一覽表鑑別度一覽表鑑別度一覽表 鑑別度一覽表 題號 第一階段正確 通過率 第一階段正確 鑑別度 兩階段都正確 通過率 兩階段都正確 鑑別度 1 97.6 0.146 45.7 0.305 2 97.6 -0.025 47.0 0.273 3 97.9 0.484 97.9 0.431 4 97.0 0.402 97.0 0.385 5 85.7 0.479 85.7 0.445 6 97.9 0.469 97.6 0.430 7 95.7 0.431 95.7 0.397 8 90.9 0.489 90.9 0.474 9 29.9 0.176 28.0 0.233 10 91.2 0.483 90.9 0.461 11 81.1 0.502 81.1 0.512 12 79.3 0.427 78.4 0.468

表 3-3 二階段預試試題的通過率二階段預試試題的通過率二階段預試試題的通過率二階段預試試題的通過率、、、、鑑別度一覽表鑑別度一覽表鑑別度一覽表鑑別度一覽表(續續續)續 題號 第一階段正確 通過率 第一階段正確 鑑別度 兩階段都正確 通過率 兩階段都正確 鑑別度 15 84.5 0.484 83.8 0.521 16 96.0 0.384 94.8 0.354 17 90.2 0.491 89.9 0.484 18 86.3 0.559 85.1 0.565 19 88.4 0.430 88.4 0.420 20 85.4 0.561 84.8 0.540 21 78.0 0.511 77.4 0.536 平均 87.5 0.419 82.2 0.439 根據表 3-5，第一階段正確的通過率在 29.9% ~ 97.9%之間，平均值是 87.5%； 兩階段都正確的通過率在 28.0% ~ 97.9%之間，平均值是 82.2%。從此結果可知本 測驗的難度較低，因為 5-n-13 此一能力指標屬於五年級的範圍，六年級的學生都 已學過，大部份應具有相關概念。 比較第一階段正確與兩階段都正確的通過率，可以發現各試題一階段正確的 通過率均大於或等於兩階段都正確的通過率，顯示測驗具有診斷功能。學童若具 有錯誤概念或是猜測作答，雖然可能答對第一階段的問題，但也會在第二階段的 測驗中被診斷出來。 在鑑別度的部分，第一階段正確的鑑別度在-0.025 ~ 0.561之間，平均值是 0.419；兩階段都正確的鑑別度在0.233 ~ 0.565之間，平均值是0.439。兩者差異不 大，都具有不錯的鑑別度。 在個別試題部份，第1、2題的通過率差異太大，第9題的通過率太低，故以 下針對3題分別說明。 第1題要測量的子技能為「以固定變化量所需時間長短來比較快慢」，97.6% 的學生在第一階段都能作答正確，但在填寫第二階段的原因時，正確答案為「距 離一樣，花的時間最少，所以最快」，但許多學生只回答「花的時間最少，所以

最快」，忽略了必須敘述「固定變化量」，以致通過率降到45.7%。第一階段正確 的鑑別度為0.146，兩階段都正確的鑑別度增為0.305，顯示二階段試題具有較高 的鑑別度。 第2題要測量的子技能為「以相同時間所產生的變化量來比較快慢」，97.6% 的學生在第一階段都能作答正確，但在填寫第二階段的原因時，正確答案為「時 間一樣，做的次數最多，所以最快」，但許多學生只回答「做的次數最多，所以 最快」，忽略了必須敘述「相同時間」，以致通過率降到47.0%。第一階段正確的 鑑別度為-0.025，兩階段都正確的鑑別度增為0.273，顯示二階段試題具有較高的 鑑別度。 第 9 題要測量的子技能為「解決（小）時「分（鐘）」的加乘應用題」，第一階段 的通過率為 29.9%，兩階段都正確的通過率也只有 28.0%，顯示此題的難度偏高。 學生必須具有「時間間隔數為時間點個數減 1」的概念、或是做過類似題型才能 正確作答。 在試題的信效度分析部份，信度部份採內部一致性分析，效度部份採內容效 度及專家效度。 將一二階段都通過的學生作答資料，以二元計分的方式輸入 SPSS，進行內 部一致性分析，得到的α值為 0.841，顯示本研究所編測驗具有不錯的信度。 本研究根據能力指標 5-n-13「能解決時間的乘除計算問題」，及參考翰林、 康軒、南一三個版本的教材，以此能力指標所包含的子技能建立出知識結構圖， 並依知識結構圖來設計評量內容，過程中研究者不斷和專家學者及資深教師進行 討論和分析，故本測驗具有內容效度。

輸入帳號密碼 進入電腦化 測驗系統 鍵入網址 閱讀使用說明 選擇「二階段」 測驗開始作答 結束測驗 儲存作答資訊

貳、電腦化線上測驗系統

本研究所使用的線上測驗系統，是由郭伯臣、曾彥鈞(2007)所開發的 BNAT 「適性診斷測驗暨學習系統與師生配對模式診斷系統」，採用三層式主從遠距測 驗系統架構，後端資料庫伺服器採用 MySQL，用以執行觸發程序及存放本系統 之題庫、成績、選題策略、使用者管理等資料。伺服器軟體，以執行伺服器端

（Server-Side Script）的語言（本研究使用的伺服器端語言為 PHP，Hypertext

Preprocessor），並藉由 PHP 程式與資料庫進行連結。 測驗系統主要使用 PHP 程式語言來發展各項模組功能，另外在 PHP 的程式 中也會依據實際需要，結合 Html、JavaScript 等網頁相關的程式語言，以共同完 成各模組的功能需求。本研究的線上測驗實施流程與測驗系統架構說明如下。 一、 測驗實施流程 圖 圖 圖 圖 3-3 測驗實施流程

二、測驗說明 (一)系統登入畫面 圖 圖 圖 圖 3-4 系統登入畫面 當受測學童在電腦教室利用瀏覽器上網，並在網址列鍵入本測驗系統之網址 後，就會進入測驗系統之登入畫面（如圖 3-4）。在施測前已將受測學童的基本 基料輸入資料庫，並建立可供每位學童登入的帳號及密碼，學童在鍵入帳號、密 碼之後，即可進入本測驗系統。 (二)系統歡迎畫面 學童進入系統歡迎畫面後，網頁中央會顯示學童的基本資料（如圖 3-5）。 基本資料包含登入帳號、姓名、身份、學校名稱和班級，用以作為本研究之後資 料整理與統計分析時之研究需要。學生確認完基本資料後，按下「參加測驗」即

圖 圖 圖 圖 3-5 系統歡迎畫面 (三)使用說明畫面 圖 圖 圖 圖 3-6 使用說明畫面 學童進入使用說明畫面後，網頁會呈現學童作答時應注意的事項（如圖3-5）， 說明本測驗沒有作答的時間限制，以及每題都是單選的題目。學童在測驗選擇的 部份按下的「版本」後，會出現「二階段」項目。點選後系統會自動列出測驗的 單元內容（如圖3-6），為數學領域時間的計算單元，按下「參加測驗」鍵即可開 始進行測驗。

圖 圖圖

圖 3-7 測驗選擇的版本為二階段時的畫面

測驗中每個題目都分成二個階段，當學童完成第一階段答案選項的作答後(如 圖3-6)，按下「作答完畢，進入下一題」，隨即呈現相對應之原因選項供其選擇(如 圖3-7)，畫面中亦保留原試題內容及所選答案（如圖3-7）。學童可以針對所選之 答案，從原因選項中挑選與其想法最為接近之選項，即可完成此題作答。本測驗 系統每題都必須回答，才可以進行下一題，而且確定送出後就無法返回修改。測 驗完成後，系統會將學童的作答資料儲存於資料庫，並且關閉測驗，避免學生再 次進入作答。 圖 圖圖 圖3-9 測驗進行畫面(二階段原因選項)

參、貝氏網路測驗分析軟體

本研究使用由郭伯臣、謝典佑(2007)以 Matlab7.0結合Bayes Net工具箱結合成 一完整程式，依施測樣本的子技能、錯誤技能、試題等資料，來計算貝氏網路的 精準度。

第四節 資料收集與分析

本研究的資料收集與分析方式分別說明如下：

壹、資料的收集

預試試卷收回後，刪除作答不完整等樣本後，得到有效樣本共328份。研究 者與專家針對預試資料進行分析，由施測結果之學生作答反應判定是否具有錯誤 類型與子技能，針對未出現或難以判別的錯誤類型，加以進行刪除或合併。因考 慮到專家判斷的主觀想法，以及學生未必有耐心完整填寫答解題過程等因素，為 了收集到更多的錯誤類型，研究者將較少出現的錯誤類型也予以保留，並將修正 過的錯誤類型整理如表3-4。 表 3-4 錯誤類型錯誤類型錯誤類型錯誤類型出現百分比出現百分比出現百分比出現百分比

代號 錯誤類型 出現人數(百分比) （B1） 忽略距離是否相等 177(53.96%) （B2） 誤以為時間最多就是快 6(1.83%) （B3） 忽略時間是否相等 169(51.52%) （B4） 誤以為量多就是慢 2(0.61%) （B5） 秒(鐘)聚成分(鐘)，計算成百進位 27(8.23%) （B6） 秒(鐘)聚成分(鐘)，計算成二十四進位 1(0.30%) （B7） 分(鐘)聚成 (小)時，計算成百進位 24(7.32%) （B8） 分(鐘)聚成 (小)時，計算成二十四進位 2(0.61%) （B9） (小)時聚成日，計算成百進位 10(3.05%) （B10） (小)時聚成日，計算成六十進位 65(19.82%) （B11） (小)時聚成日，計算成十二進位 2(0.61%) （B12） (小)時聚成日，計算成十進位 3(0.91%) （B13） 分(鐘)化成秒(鐘)，計算成百進位 18(5.49%) （B14） 分(鐘)化成秒(鐘)，計算成二十四進位 2(0.61%) （B15） (小)時化成分(鐘)，計算成百進位 17(5.18%) （B16） (小)時化成分(鐘)，計算成二十四進位 11(3.35%) （B17） 日化成(小)時，計算成百進位 16(4.88%)

表 3-4 錯誤類型錯誤類型錯誤類型錯誤類型出現百分比出現百分比出現百分比出現百分比

(

((

(續

續

續)

續

))

)

代號 錯誤類型 出現人數(百分比) （B19） 日化成(小)時，計算成十二進位 2(0.61%) （B20） 日化成(小)時，計算成十進位 1(0.30%) （B21） 除法計算後省略餘數 10(3.05%) （B22） 忽略間隔數要減 1 167(50.91%) （B23） 計算後沒進位 1(0.30%) （B24） 只計算部分時間複合單位 22(6.71%) （B25） 把小數點右邊的數字當作小單位的值 7(2.13%) （B26） 計算錯誤 39(11.89%) （B27） 把商和餘數顛倒 2(0.61%) （B28） 不了解題意 63(19.21)

貳、資料的分析

預試學生作答資料的結果分析完成後，研究者將5-n-13此一能力指標所包含 的子技能及學生可能出現的錯誤類型，整理於表3-5。表格左方為錯誤類型代號及 說明，右方是某一種錯誤類型對應到的子技能。以錯誤類型（B5）「秒(鐘)聚成分 (鐘)，計算成百進位」為例，當某位學生犯了此錯誤類型，他可能在以子技能S3、 S4、S5命題的試題中，出現同樣的錯誤。 表 3-5 錯誤類型與子技能的對應表錯誤類型與子技能的對應表錯誤類型與子技能的對應表錯誤類型與子技能的對應表

代號 錯誤類型 對應子技能 （B1） 忽略距離是否相等 S1 （B2） 誤以為時間最多就是快 S1 （B3） 忽略時間是否相等 S2 （B4） 誤以為量多就是慢 S2 （B5） 秒(鐘)聚成分(鐘)，計算成百進位 S3、S4、S5 （B6） 秒(鐘)聚成分(鐘)，計算成二十四進位 S3、S4、S5 （B7） 分(鐘)聚成 (小)時，計算成百進位 S6、S7、S8 （B8） 分(鐘)聚成 (小)時，計算成二十四進位 S6、S7、S8 （B9） (小)時聚成日，計算成百進位 S10、S11、S12

表 3-5 錯誤類型與子技能的對應表錯誤類型與子技能的對應表錯誤類型與子技能的對應表錯誤類型與子技能的對應表((((續續續)續))) 代號 錯誤類型 對應子技能 （B10） (小)時聚成日，計算成六十進位 S10、S11、S12 （B11） (小)時聚成日，計算成十二進位 S10、S11、S12 （B12） (小)時聚成日，計算成十進位 S10、S11、S12 （B13） 分(鐘)化成秒(鐘)，計算成百進位 S13、S14、S15 （B14） 分(鐘)化成秒(鐘)，計算成二十四進位 S13、S14 （B15） (小)時化成分(鐘)，計算成百進位 S16、S17、S18 （B16） (小)時化成分(鐘)，計算成二十四進位 S16、S17、S18 （B17） 日化成(小)時，計算成百進位 S19、S20、S21 （B18） 日化成(小)時，計算成六十進位 S19、S20、S21 （B19） 日化成(小)時，計算成十二進位 S19、S20、S21 （B20） 日化成(小)時，計算成十進位 S19、S20、S21 （B21） 除法計算後省略餘數 S15、S18 （B22） 忽略間隔數要減 1 S9 （B23） 計算後沒進位 S5、S8、S12 （B24） 只計算部分時間複合單位 S5、S8、S12、S15、S20、S21 （B25） 把小數點右邊的數字當作小單位的值 S3、S4、S8、S18 （B26） 計算錯誤 S3、S5、S6、S12、S13、S14、 S15、S18、S19、S20 （B27） 把商和餘數顛倒 S3、S4、S6、S7、S10、S11 （B28） 不了解題意 S1、S2、S3、S4、S5、S6、 S7、S8、S9、S10、S11、S12、 S13、S14、S15、S16、S17、 S18、S19、S20、S21

第五節 建置二階段試題之貝氏網路診斷模型

根據表3-5，本研究建置貝氏網路診斷模型，並分為三種不同的模式：

壹、模式1：只用第一階段試題之二元計分結果輸入貝氏網路

將子技能、該子技能所會產生的錯誤類型及第一階段的試題，依照三者間的 關係連結，建立出第一階段的貝氏網路圖，如圖3-10所示。在此模式中，只考慮

應的子技能。此模式主要是做為對照，與二階段試題的模式2及模式3進行比較。 圖 圖圖 圖3-10 模式1之貝氏網路圖 Item1

Item

Item 2 Item 3 Item 4 Item 5 Item 6 Item 7 Item 8 Item 9 Item 10 Item 11 Item 12 Item 13 Item 14 Item 15 Item 16 Item 17 Item 18 Item 19 Item 20

Bug

Skill

Item 21 S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S12 S13 S14 S15 S16 S17 S18 S19 S20 S21 B1 B2 B3 B4 B5 B6 B7 B8 B9 B10 B11 B12 B13 B14 B15 B16 B17 B18 B20 B19 B21 B22 B23 B24 B25 B26 B27 B28

貳、模式2：以第一階段和第二階段試題聯合判斷之二元計分結果

輸入貝氏網路

每一題試題中都有兩個階段，該題的對錯是由一二階段聯合判斷所得。將子 技能、錯誤類型與試題三者間的關係連結，建立出一二階段聯合試題之貝氏網路 圖，如圖3-11所示。在些模式中，學童必須一、二階段都必須作答正確，才算是 正確作答，具有該題所對應之子技能，反之則具有錯誤類型，診斷說明如表3-6， 數字1代表作答正確，數字0代表作答錯誤。與模式1相對照，模式2所輸入的證據 品質較佳，可以降低猜測機率。 1 1-2 Item 2 2-2 20 20-2 Bug Skill 21 21-2 S1 S2 S20 B1 B2 B27 S21 B28

表3-6 二階段試題聯合判斷之二元計分結果二階段試題聯合判斷之二元計分結果二階段試題聯合判斷之二元計分結果二階段試題聯合判斷之二元計分結果 第一階段 第二階段 聯合判斷之二元計分結果 情況1 1 1 1 情況2 1 0 0 情況3 0 1 0 情況4 0 0 0

參、模式3：第一階段和第二階段試題之二元計分結果分別輸入貝

氏網路

結合模式1及模式2的特點，將第一與第二階段的都當成試題，所以試題較原 先增加一倍，從21題變成42題，再依照子技能、錯誤類型及試題三者間的關係連 結，建立出加入第二階段試題之貝氏網路圖，如圖3-12所示。與模式1相對照，模 式3所輸入的證據數量較多。

圖 圖圖

圖3-12 模式3之貝氏網路圖

Item Bug Skill

S1 S2 S20 B1 B2 B27 S21 B28 1 2 21 1-2 2-2 21-2

第四章 研究結果

根據研究目的及研究方法，研究者將研究結果分成不同模式之診斷成效分 析，及電腦化測驗結果分析這兩節來說明。

第一節 二階段試題貝氏網路診斷之成效分析

根據上述所建立的三種模式，將學生的作答反應輸入貝氏網路測驗分析軟 體，計算出辨識率後，將數據整理於表4-1、4-2、4-3，以下分別做說明。

壹、模式1：

在此種模式中，試題部份只採用學生第一階段的作答資料，計算出錯誤類型 的平均辨識率為 0.9265，子技能的平均辨識率為 0.8960，整體辨體率為 0.9134， 詳細結果如表 4-1。 表 4-1 模式模式模式模式 1111 之貝氏網路辨識率之貝氏網路辨識率之貝氏網路辨識率之貝氏網路辨識率 錯誤類型 子技能 編號 辨識率 編號 辨識率 B1 0.5393 S1 0.5424 B2 0.9877 S2 0.5210 B3 0.5271 S3 0.9787 B4 0.9939 S4 0.9726 B5 0.9329 S5 0.9817 B6 0.9969 S6 0.9756 B7 0.9757 S7 0.9665 B8 0.9938 S8 0.9939 B9 0.9695 S9 0.7189 B10 0.9025 S10 0.9144 B11 0.9938 S11 0.9298 B12 0.9909 S12 0.8840 B13 0.9484 S13 0.9757 B14 0.9939 S14 0.9026 B15 0.9483 S15 0.9362

表 4-1 模式模式模式 1模式111 之貝氏網路辨識率之貝氏網路辨識率之貝氏網路辨識率之貝氏網路辨識率((((續續續續)))) 錯誤類型 子技能 B16 0.9787 S16 0.9727 B17 0.9513 S17 0.9178 B18 0.9238 S18 0.9787 B19 0.9939 S19 0.8841 B20 0.9970 S20 0.9210 B21 0.9695 S21 0.9481 B22 0.8352 B23 0.9969 B24 0.9331 B25 0.9786 B26 0.8812 B27 0.9757 B28 0.8324 平均辨識率 0.9265 平均辨識率 0.8960 從表4-1中，可以發現錯誤類型中B1的辨識率為0.5393，B3的辨識率也只有 0.5271；子技能的部份S1的辨識率為有0.5424，S2也只有0.5210，都是數值偏低的 情形。對照表3-5，錯誤類型B1所對應到的子技能只有S1，B3也只有對應到S2， 但錯誤類型B2和B4同樣各對應到S1及S2，卻並未出現辨識率下降的情形，探究 其原因，可能與題目設計有關。以S1所對應到的ITEM1為例，學童雖然具有B1 的錯誤類型「忽略距離是否相等」，但很容易受到猜測的影響而在第一階段作答 正確，造成辨識率下降，而B2 「誤以為時間最多就是快」較無猜測的情形。

貳、 模式 2

在此種模式中，每一題試題中都有兩個階段，該題的對錯是由一二階段聯合 判斷所得。以此計算出錯誤類型的平均辨識率為0.9558，子技能的平均辨識率為 0.9365，整體辨體率為0.9476，詳細結果如表4-2。

表4-2 模式模式模式模式2之之之之貝氏網路貝氏網路貝氏網路辨識率貝氏網路辨識率辨識率 辨識率 錯誤類型 子技能 編號 辨識率 編號 辨識率 B1 0.9420 S1 0.9451 B2 0.9817 S2 0.9634 B3 0.9482 S3 0.9787 B4 0.9938 S4 0.9726 B5 0.9329 S5 0.9817 B6 0.9969 S6 0.9756 B7 0.9757 S7 0.9665 B8 0.9938 S8 0.9878 B9 0.9695 S9 0.7189 B10 0.8873 S10 0.9113 B11 0.9938 S11 0.9359 B12 0.9909 S12 0.8870 B13 0.9514 S13 0.9787 B14 0.9939 S14 0.8995 B15 0.9483 S15 0.9331 B16 0.9787 S16 0.9727 B17 0.9513 S17 0.9147 B18 0.9236 S18 0.9787 B19 0.9939 S19 0.8841 B20 0.9970 S20 0.9271 B21 0.9695 S21 0.9543 B22 0.8290 B23 0.9969 B24 0.9331 B25 0.9786 B26 0.8812 B27 0.9757 B28 0.8537 平均辨識率 0.9558 平均辨識率 0.9365

參、模式3

在此種模式中，將學生第二階段的作答也當試題，試題部份一共變為 42 題。

以此計算出錯誤類型的平均辨識率為 0.9560，子技能的平均辨識率為 0.9337，整 體辨體率為 0.9464，詳細結果如表 4-3。 表4-3 模式模式模式3之貝氏網路模式 之貝氏網路之貝氏網路辨識率之貝氏網路辨識率辨識率 辨識率 錯誤類型 子技能 編號 辨識率 編號 辨識率 B1 0.9420 S1 0.9451 B2 0.9877 S2 0.9573 B3 0.9573 S3 0.9787 B4 0.9908 S4 0.9787 B5 0.9329 S5 0.9817 B6 0.9909 S6 0.9756 B7 0.9726 S7 0.9695 B8 0.9938 S8 0.9939 B9 0.9695 S9 0.7189 B10 0.9026 S10 0.9175 B11 0.9938 S11 0.9604 B12 0.9909 S12 0.8840 B13 0.9423 S13 0.9727 B14 0.9939 S14 0.9056 B15 0.9422 S15 0.9331 B16 0.9848 S16 0.9635 B17 0.9513 S17 0.9361 B18 0.9238 S18 0.9544 B19 0.9939 S19 0.8841 B20 0.9970 S20 0.9210 B21 0.9665 S21 0.8750 B22 0.8444 B23 0.9969 B24 0.9331 B25 0.9786 B26 0.8781 B27 0.9726 B28 0.8445

根種三種不同的模式對貝氏網路的辨識率結果，研究者將其整理於表4-6來進 行比較。由表中可得知，使用到第二階段試題來做為推論證據的兩種模式，在錯 誤類型、子技能及整體辨識率上均優於一階段試題。 若是以使用到第二階段試題來做為推論證據的兩種模式來比較，在錯誤類型 辨識率上，模式3略勝模式2，但在子技能及整體辨識率上，模式2均優於模式3， 因此，本研究將同時採兩種模式，來診斷電腦化測驗的結果。 表 4-4 三種不同三種不同三種不同三種不同模式的模式的模式的貝氏網路模式的貝氏網路貝氏網路貝氏網路辨識率之比較辨識率之比較辨識率之比較辨識率之比較 模式名稱 錯誤類型 辨識率 子技能 辨識率 整體 辨識率 模式 1 0.9265 0.8960 0.9134 模式 2 0.9558 0.9365 0.9476 模式 3 0.9560 0.9337 0.9464

第二節 電腦化測驗結果分析

電腦化測驗完成後，得到有效樣本共370份。研究者將學生的作答反應以二 階段全對的方式分別輸入SPSS及Bilog-MG進行分析。使用SPSS進行內部一致性 分析，得到α係數為0.872，顯示電腦化測驗具有良好的信度；使用Bilog-MG計 算電腦化測驗的通過率及鑑別度，得到的結果如表4-7。平均通過率為75.3，低於 開放性二階段試題的82.2；但平均鑑別度為0.470，高於開放性二階段試題的0.439。

表4-5 電腦化測驗電腦化測驗電腦化測驗電腦化測驗通過率通過率通過率通過率、、、鑑別度一覽表、鑑別度一覽表鑑別度一覽表鑑別度一覽表 題號 電腦化測驗 通過率 電腦化測驗 鑑別度 1 83.0 0.421 2 88.6 0.423 3 86.8 0.448 4 77.8 0.387 5 68.9 0.522 6 87.6 0.517 7 86.2 0.572 8 70.3 0.575 9 43.8 0.125 10 81.6 0.500 11 63.2 0.467 12 57.0 0.497 13 89.2 0.513 14 80.5 0.498 15 68.6 0.502 16 82.4 0.452 17 75.7 0.525 18 71.4 0.453 19 83.2 0.421 20 76.2 0.563 21 58.6 0.489 平均 75.3 0.470 接著，研究者將電腦化測驗中學童的作答反應資料輸入貝氏網路診斷模型 中，列出二種模式的診斷結果於表4-6、表4-7。 根據表4-6，二種模式診斷出來的錯誤類型具有一致性，學童較易犯的錯誤類 型為B1（忽略距離是否相等）、B3（忽略時間是否相等）、B5（秒(鐘)聚成分(鐘)， 計算成百進位）、B7（分(鐘)聚成 (小)時，計算成百進位）、B10（(小)時聚成日，