包含建構題之國中一年級數與數線概念電腦化診斷測驗開發及成效評估

國立臺中教育大學教育測驗統計研究所碩士論文

指導教授：施淑娟 博士

包含建構題之國中一年級數與數線概念

電腦化診斷測驗開發及成效評估

研究生：黃珮苓 撰

中

華

民

國

一

百

零

一

年

六

月

I

摘要

本研究以國中一年級「數與數線」概念為研究範圍，目的在建置以建構反應 題為基礎，並結合貝氏網路研發一套具有選擇題與建構反應題之電腦化診斷測驗， 希望能利用電腦完整記錄學生解題過程，藉由自動化計分模式，分析學生的作答 反應，得到學生更多樣化的錯誤類型，進而能提升學習診斷成效，並有效減輕教 師閱卷負擔。 本研究之研究結論分述如下： 一、 從全部選擇題型與包含部分建構題的多點計分題型之測驗信度比較發現， 加入建構題型的測驗信度優於全部選擇題型（.857＞.825）。 二、 本研究「數與數線」概念之電腦化建構反應題可以診斷出學生的多種錯誤 類型，有助於學生知道自己的錯誤概念，也可幫助教師掌握學生的錯誤類 型，進行後續補救教學。 三、 本研究研發的建構反應題電腦化診斷系統，能夠自動偵測學生的錯誤類型， 其平均辨識率為0.950，成效良好。 四、 結合選擇題與建構反應題作答反應的貝氏網路在能力指標、子技能與錯誤 類型之偵測率皆優於傳統僅有選擇題的貝氏網路，其中以將建構反應題模 型之自動化分析錯誤類型結果標記為已知之貝式網路診斷成效最佳。 關鍵詞：建構反應題、貝氏網路、錯誤類型、數與數線

II

Abstract

Based on the study in the conception of “Integers and Number Line” from first grade in junior high school. The purposes of this study are to develop the diagnostic test system, diagnostic model in order to improve the effect of diagnosis and combine with Bayesian network including multiple-choice and constructed response. Designing the content of test focus on the “Integers and Number Line” concept of 7th grade.

The conclusions of this thesis are as follows:

1. The reliability of the test adding constructed-response items is better than the test all multiple-choice types (.857>.825).

2. In this study, the constructed response items in the proposed can diagnose more error patterns than traditional item, the diagnostic result is contributive to students’ learning and teachers afford suitable remedial teaching.

3. The constructed response questions proposed in this study can detect the error patterns of students automatically. The average recognition rate is 0.950, that is, the automatic diagnostic result of constructed response items agree with the diagnostic result of experts.

4. On the accuracy of diagnoses in sub-skills and error patterns, the Bayesian network combined with the constructed response items partly is better than the Bayesian network combined with traditional multiple-choice items.

Key words: constructed-response items、Bayesian network、error pattern、Integers and Number Line

III

目錄

摘要 ... I Abstract ... II 目錄 ... III 表目錄 ... V 圖目錄 ... VII 第一章 緒論 ... 1 第一節 研究動機 ... 1 第二節 研究目的 ... 3 第三節 名詞解釋 ... 3 第二章 文獻探討 ... 7 第一節 建構反應題型 ... 7 第二節 電腦化診斷測驗 ... 16 第三節 「數與數線」教材與錯誤類型分析 ... 24 第三章 研究方法 ... 27 第一節 研究流程 ... 27 第二節 研究對象 ... 29 第三節 研究工具 ... 29 第四節 建構反應題之解題策略流程分析 ... 44 第五節 建構題與貝氏網路結合之認知診斷模式設計 ... 50 第六節評估指標 ... 55 第四章 研究結果與討論 ... 57 第一節 建構反應題計分模式 ... 57 第二節 建構反應題之成效評估 ... 63 第三節 結合建構反應題之貝氏網路成效評估 ... 68 第五章 結論與建議 ... 71

IV 第一節 結論 ... 71 第二節 建議 ... 72 參考文獻 ... 74 中文部分 ... 74 外文部分 ... 78

V

表目錄

表2-1-1 PISA 2012 數學素養評量在各歷程所佔的百分比 ... 9 表2-1-2 PISA的建構反應題型計分代號之間的關係摘要 ... 11 表2-1-3 TIMSS自由反應題計分方式 ... 13 表2-1-4 TIMSS自由反應題之兩碼計分表 ... 13 表2-1-5 TIMSS計分及答案編碼說明 ... 15 表2-1-6 建構反應題在教育方面相關參考文獻整理... 15 表2-2-1 電腦化診斷測驗在教育上之應用相關文獻... 18 表2-3-1「數與數線相關能力指標」之分年細目與對照能力指標 ... 25 表2-3-2「數與數線」單元教材分析與錯誤類型相關文獻 ... 26 表3-3-1「數與數線」概念的子技能 ... 30 表3-3-2「數與數線」概念的子技能與錯誤類型對應表 ... 31 表3-3-3 「數與數線」概念之各子技能及所對應的錯誤類型與各試題間之評量架 構表 ... 32 表3-3-4「數與數線」概念之試題範例 ... 33 表3-3-5 各試題之難度、鑑別度一覽表 ... 35 表4-1-1「數與數線」學習概念建構反應題第 16 題題目 ... 58 表4-1-1「數與數線」學習概念建構反應題第 16 題編碼範例 ... 58 表4-1-3「數與數線」學習概念建構反應題第 19 題題目 ... 59 表4-1-4「數與數線」學習概念建構反應題第 19 題編碼範例 ... 60 表4-1-5「數與數線」學習概念建構反應題第 26 題題目 ... 61 表4-1-6「數與數線」概念建構反應題第 26 題編碼範例 ... 61 表4-1-7 全部選擇題型與建構題的多點計分題型測驗信度比較表 ... 62 表4-2-1 學生於建構反應題所增加之錯誤類型 ... 63 表4-2-2 第 16 題全體學生錯誤類型數量統計表 ... 64 表4-2-3 第 19 題全體學生錯誤類型數量統計表 ... 65

VI 表4-2-3 第 23 題全體學生錯誤類型數量統計表 ... 66 表4-2-4 電腦判斷建構反應題之學生錯誤類型偵測率 ... 67 表4-3-1 四種貝氏網路之子技能偵測率比較表 ... 68 表4-3-2 四種貝氏網路之錯誤類型偵測率比較表 ... 69 表4-3-3 四種貝氏網路之平均偵測率比較表 ... 70

VII

圖目錄

圖2-1-1 利用地圖的比例尺估算出南極洲的面積 ... 10 圖2-1-2 TIMSS建構反應題型舉例說明 ... 14 圖2-2-1 KSAT系統介面圖 ... 20 圖2-2-2 有向無循環圖形例圖 ... 21 圖2-2-3 BNAT系統介面圖 ... 23 圖3-1-1 研究流程圖 ... 28 圖3-3-1 專家知識結構圖 ... 31 圖3-3-2 登入系統後點選施測單元畫面 ... 36 圖3-3-3 選擇題測驗施測畫面 ... 37 圖3-3-4 建構題第 1 題施測畫面 ... 38 圖3-3-5 建構題第 1 題施測畫面 ... 38 圖3-3-6 建構題第(1)題作答完畢畫面 ... 39 圖3-3-7 建構題第(2)題施測畫面 ... 39 圖3-3-8 建構題第 2 題施測畫面 ... 40 圖3-3-9 建構題第 2 題作答畫面 ... 40 圖3-3-10 建構題第 2 題點選箭頭線 2 畫面 ... 41 圖3-3-11 建構題第 2 題作答完畢畫面 ... 41 圖3-3-12 建構題第 3 題施測畫面 ... 42 圖3-3-13 施測成果查詢畫面 ... 43 圖3-4-1 第 16 題(建構題)畫面 ... 45 圖3-4-2 第 16 題(建構題)判斷節點圖 ... 46 圖3-4-3 第 19 題(建構題)畫面 ... 47 圖3-4-4 第 19 題(建構題)判斷節點圖 ... 48 圖3-4-5 第 26 題(建構題)畫面 ... 49 圖3-4-6 第 26 題(建構題)判斷節點圖 ... 50

VIII 圖3-5-1 模式一之貝氏網路圖 ... 51 圖3-5-2 模式二之貝氏網路圖 ... 52 圖3-5-3 模式三之貝氏網路圖 ... 53 圖3-5-4 模式四之貝氏網路圖 ... 54 圖4-6-1 評估選題策略之成效圖 ... 56 圖4-1-1 第 16 題解題策略計分流程圖 ... 59 圖4-1-2 第 19 題解題策略計分流程圖 ... 60 圖4-1-3 第 26 題解題策略計分流程圖 ... 62

第一章 緒論

本章第一節說明研究動機；第二節說明研究目的；第三節為本研究重要名 詞釋義。

第一節 研究動機

為提升學校教師「教」的品質和學生「學」的成效，站在教育工作第一線的 教師們必須致力於教育，以期達到良好的教學成效。教師除了運用本身教學經驗、 教學技巧，並蒐集各方面新的教材資訊以求教學過程能順利進行、讓學生可以有 良好的吸收外，對於學生發生錯誤情形進行診斷分析，了解學生錯誤的類型與犯 錯的原因，進而幫助學生改正錯誤的概念，更是促進教學成效的不二法門。 過去對於學生的診斷多半是採用人工分析的方式，費時費力且較無法即時提 供測驗資訊，隨著網際網路與電腦多媒體的蓬勃發展，目前在測驗方面，電腦化 測驗已逐漸取代大部分傳統的紙筆測驗，降低人工閱卷的勞力負擔，使得考試更 為效率化及經濟化，然而檢視先前有關電腦化測驗的文獻可發現（林建福，2008； 饒育宗，2008；林文宗，2009），大多數電腦化測驗多以選擇題、是非題或填充 題的題型為主，測驗結果也僅呈現分數的高低，無法紀錄學生完整的解題歷程， 再加上選擇題較容易猜測作答，因此往往造成測驗結果的誤差，導致在診斷學生 迷思概念時，診斷的正確性不易提升，甚至影響後續補救教學的適當性。 基於上述缺失，近年來開發以建構反應 (constructed-response) 題型為基礎的 診斷測驗系統乃應運而生。透過資訊科技的功能，使得我們能夠運用電腦來表徵 學生的學習歷程，建構學生的知識狀態，如此便能在不增加教師負擔的前提下， 建置一個能記錄學生解題歷程並進行更精確的診斷及自動計分之診斷測驗系統， 學生可以透過網路評量進行診斷，評量結果經由電腦快速試後分析的功能，立即 提供學生了解學習困難與迷思概念發生的原因，並提供教師針對迷思概念實施補

2 救教學適合的教學內容及教學策略，此類系統例如：教育部攜手計畫電腦化測驗 系統、MFT數學線上健檢、KSAT國小數學科電腦化適性診斷測驗、具建構反應 題型的貝氏網路電腦化適性診斷測驗系統等。不過目前這些系統開發的內容多屬 於以國小為主（吳任婕，2009；陳宗楹，2009；張永鑫，2010；鄭涵，2010）， 國中部分的電腦化診斷測驗仍有極大的發展空間。 基於上述，本研究選定的研究內容為國中一年級「數與數線」學習內容，選 定此內容乃是基於雖然學生於國小六年級「整數、小數和分數」單元中已學習過 基礎的四則運算法則，但是國中「數與數線」單元中與負數相關的加減法運算卻 是較為抽象及需要進一步學習的運算法則。相對於國小加、減運算的多量研究， 國中學生數與數線及正、負數加減運算方面的正式研究似乎不多（陳梅仙，2003; 朱玉萍，2008），但在實際教學現場上卻可發現學生其實在此部分存在許多學習 的問題，需要教師更精確的診斷與協助。因此本研究希望藉由應用可記錄學生解 題過程的電腦化診斷測驗系統，設計診斷工具，以提供師生與相關人員了解七年 級學生在學習正、負數的加減法後所呈現的學習情形及困難之癥結。 因此本研究的目的即是以國中一年級「數與數線」學習內容進行選擇題型與 建構反應題型的編製，測驗試題內容配合100學年度實施的課程綱要為主要內容， 題型之所以有選擇題與建構反應題，是希望藉由比較完全以選擇題型來設計的診 斷測驗與部分試題改採較新式的建構反應題型的診斷測驗，二者在診斷成效上的 差異，並探討建構反應題題型如何與貝氏網路結合，才能達到較佳的診斷效果。

3

第二節 研究目的

基於上述之研究動機，本研究欲探討的目的陳列如下： 壹、 開發「數與數線」概念的選擇題型及建構反應題型及並探討其計分模式與 信、效度比較。 貳、 分析建構反應題型之自動診斷成效。 參、 分析包含建構反應題題型之診斷測驗資料與貝氏網路結合之診斷成效。

第三節 名詞解釋

壹、建構反應題

建構反應試題 (constructed-response items) 能測量學生運用思考、解決問題、 組織統整和表達想法的能力。學生在建構反應題的作答反應通常不只一種，需 要以人工方式閱卷與計分，分析學生在答題中呈現思考的過程。常見的建構反 應題為填充題 (completion item) 和論文題 (essay question)。

建構反應題在本研究單元是指非選擇題。建構反應題的優點是能夠測量學 生在「說明、整合、應用、分析、評估和傳達科學資訊」的能力 (National Assessment Governing Board, 2004)。

貳、錯誤類型

在數學計算式中產生錯誤的步驟，依據其錯誤的關鍵處分成幾種的類型 (Kathleen,1987)。本研究之錯誤類型是指學生在解決數學問題的歷程中，可能發 生的一些錯誤型態，學生所具備的相關知識概念不同於專家或教學者的想法。 本研究中的錯誤類型制定是根據相關文獻的探討、教師手冊、專家學者與教育 現場的教師之建議作為資料蒐集，並進行分類。

4

參、解題策略

本研究之解題策略是指將學生解題時所產生的每一種解題過程加以分類。 試題編製者針對所編製的試題預先想定學生的解題策略，並在學生解題進行時 將解題動作分類，通常以「二分法」來進行分類，常見的錯誤類型則將其獨立 出來，以此方式建立每題建構題的「解題策略計分模型樹狀圖」。 不同的解題策略通常都代表受試者具有某一種錯誤類型，我們將學生的解題策 略加以分類有助於更精確的判定受試者的錯誤類型。

肆、計分模式

建構反應題型不同於選擇題的當受試者做答時，並非由制定的選項中選擇答 案，而是由受試者自行產生和提供。在計分方面，選擇題是答對得1分，答錯得0 分的二元計分，而建構反應題則是可以有部分給分的計分方式，因此建構反應題 採用試題反應理論的多點計分模式是適合的（簡月梅，1998）。當建構反應題編 製完成後，根據每一道試題逐一探討學生進行測驗時，可能發生的解題與列式歷 程，並使用區塊分析法，由系統自動化判別其錯誤類型。

伍、區塊分析

「區塊分析」為本研究中為了達成錯誤類型自動化分析建構反應題所使用 的方法。吳任婕（2009）認為此方法可以先將學生的解題歷程之特徵與運算符 號切割成不同的數字區塊，再將每一區塊與錯誤類型之數字區塊進行比對。

陸、正數、負數

日常生活中，為了分辨相反或相對的量，常用「＋」（讀作正）號和「－」 （讀作負）號來描述；例如溫度、方向、盈虧(賺錢或賠錢)。

柒、數線

數線的基本要素包含原點、方向（正向）及單位長。在數線上，若正向朝

5

右，則正數都在原點的右邊，負數都在原點的左邊，而 0 在原點上。任何數， 不論是正數、負數或 0，均可在數線上找到一個點表示。同一個數，在數線上 所標示的點位置相同。

7

第二章 文獻探討

本章節主要研討與本研究有相關的理論和文獻，第一節探討建構反應題型 及教育測驗上的應用；第二節探討電腦化診斷測驗，；第三節探討「數與數線」 教材與錯誤概念分析。

第一節 建構反應題型

壹、建構反應題的意義

建構反應題是指由學生自行組織、思考產生答案之試題。建構反應試題能測 量學生運用思考、解決問題、組織統整、和表達想法的能力，即透過學生獨立思 考、自我批判、組織整合、系統評鑑、並呈現成果（教育部，2004）。盧雪梅（2009） 將常見的建構反應題分為填充題 (completion item) 和論文題 (essay question)。填 充題通常要求學生提供一明確答案，因此填充題作答簡單，計分較容易，然而， 雖然填充題可以避免學生猜測之因素，但因題目為固定型式，學生經由背誦記憶 即可獲得該技能，並無法測得學生邏輯、組織、思考等能力。相對的，論文型式 之試題，雖然可以測得學生創造、邏輯、組織、思考等能力，但因答案無固定型 式，學生作答時自由組織、天馬行空，沒有固定模式，要使用電腦自動記分將造 成很大之困擾。

貳、建構反應題的類型

一、填充題與簡答題 填充題和簡答題 (short answer) 的命題性質是一樣的，只是題幹的敘述方式 不同。填充題以不完全敘述句命題，簡答題則以直接問句方式命題，均要求學 生根據理解、記憶回答重要的關鍵性概念。答案無法猜測，是最簡單的建構反 應題。

8 二、限制反應題 限制反應題明確指定學生討論的主題及反應方式。限制反應題可以測量以 下能力（Linn ＆ Gronlund, 2000）：描述原理原則、說明假定、陳述假設、方 法和程序的解釋、陳述結論、描述資料的限制、提出論證、因果關係的解釋。 擴展反應題擴展反應題給予學生自由組織、整合相關知識並將其呈現出來。 可以用來評量高層次的認知能力。擴展反應題可以測量以下各項能力（Linn ＆ Gronlund, 2000）：發表和組織及表達想法、統整不同領域的知識、創新獨特的 設計、文學的寫作能力。 本研究使用的建構反應題題型屬限制反應題，除可記錄受試者完整作答反 應外，亦可避免受猜測度的影響，完整取得學生的迷思概念。 目前在教育改革的推動上，一些國內外的考試也開始在原有的選擇題之外， 增加建構反應題或實作評量的部份。國外的大型測驗已陸續加入建構反應題題 型，如美國的國家教育進展評量 (National Assessment of Educational Progress， 簡稱NAEP)、經濟合作暨發展組織 (Organisation for Economic Co-operation and Development，簡稱 OECD) 委託計畫的國際受試者評量 (The Programme for International Student Assessment ， 簡 稱 PISA) 及 國 際 教 育 成 就 調 查 委 員 會 (International Association for the Evaluation of Educational Achievement，簡稱IEA) 舉辦的國際數理趨勢研究 (The Trends in International Mathematics and Science Study，簡稱TIMSS) 均已加入建構反應題型。

國內有關建構反應題型試題之研發僅有少數機構進行相關之研究。由國家 教育研究院所建立之臺灣學生學習成就評量資料庫 (Taiwan Assessment of Student Achievment, TASA)，試題包含作文題型之建構反應題；行政院國家科學 委員會 (National Science Council) 於2004-2007年之間委託國立臺灣師範大學 地球科學系暨科學教育中心及國立政治大學資訊科學系研究團隊發展開放式科 學學習測驗自動評分技術；另外，在數學領域方面，國立臺中教育大學測驗統

9

計研究所亦積極開發相關之建構反應題型並建置診斷系統。

參、建構反應題的設計

一、國際評量測驗之建構反應題題型 (一)、國際學生能力評量計畫 (PISA)

PISA 是由經濟合作暨發展組織 (OECD) 主辦的全球性學生評量。PISA 評 量自 2000 年開始每三年進行一次調查，每次以一個領域為主，另兩個領域為輔； PISA 2009 是第四次調查，以閱讀素養為主軸，數學及科學素養為輔。每個國家 （地區）至少有 150 所學校，約 4500 至 10000 名學生接受測試。 由 PISA 報告中指出每個人在使用數學解決不同情境中所遭遇的問題時，並 不一定需要整個數學建模循環的完整過程，有時只需利用表格資訊做簡單的計 算或做一些數學推論或論證。因此，PISA 的問題多數只涉及部分的過程，可 能與形成模式有關、或是與數學計算有關、或是與數學結果的詮釋或驗證答案 在真實情境中是否合宜有關。PISA 數學素養評量強調建構式的反應，加入開放 式問答題，希望學生在問題背景訊息下，靈活運用自己的知識和技能解決實際 問題。根據 PISA 的調查研究，是從素養 (literacy) 的觀點設計測驗，在數學領 域方面希望了解學生運用數學知識和技能去解決數學相關的難題及挑戰所能達 到的程度。表 2-1-1 為 PISA 2012 數學素養評量在各歷程所佔的百分比。 表2-1-1 PISA 2012數學素養評量在各歷程所佔的百分比 轉化 解題 建模 合計 40-50% 40-50% 10-20% 100%

10 以下就 PISA 的建構反應題型舉例說明，如圖 2-1-1 1、題目M148：大陸面積 請依據圖2-1-1並利用地圖的比例尺估算出南極洲的面積。 寫出你的作法並解釋你是如何估計的。 (若作圖能幫助你估計的話，可直接畫在地圖上。) 圖2-1-1 利用地圖的比例尺估算出南極洲的面積 資料來源：取自學生能力國際評量計劃中文網站數學科樣本試題，2009 2、PISA 計分說明如下： 大陸面積問題共計 2 分，此題的多元計分方式以表 2-1-2 呈現，並以編碼表示 其之間的關係：

11 表2-1-2 PISA的建構反應題型計分代號之間的關係摘要 得分 滿分(2 分) 部分分數(1 分) 零分 作答反應 介於 12,000,000 和 18,000,000 平方公里 之間。 正確方法但答案不 正確或不完整。 其他答案。 畫一個長方形 21 一個正方形或長方 形估計出面積在 12,000,000平方公 里18,000,000平方 公里之間（不需要 單位）。 11 畫一個正方形或長 方形估計，方法正 確但答案不正確或 不完整。 － 畫一個圓 22 畫一個圓形估計出 面積在12,000,000 平方公里和 18,000,000平方公 里之間。 12 畫一個圓形估計， 方法正確，但答案 不正確或不完整。 － 增加一些規則 的圖形 23 加上數個規則的幾 何圖形估計出面積 在12,000,000平方 公里和18,000,000 平方公里之間。 13 加上數個規則的幾 何圖形估計，方法 正確，但答案不正 確或不完整。 － 其他正確方法 24 運用其它正確方法 得出面積 12,000,000平方公 里和18,000,000平 方公里之間。 14 運用其它正確方法 估計，但答案不正 確或不完整。 － 沒有顯示 25 答案正確 （12,000,000平方 公里和18,000,000 平方公里之間）， 但沒有計算過程。 － － (續下頁)

12 得分 滿分(2 分) 部分分數(1 分) 零分 周長 － － 01 計算周長，但沒有 計算面積。如： 16,000公里是1,000 公里的比例尺圍繞 地圖16次。 其他不正確 方法 － － ₀₂ 其他答案 如：16,000公里（沒 有顯示計算過程， 答案也不正確）。 有作答 － － ₉₉ 沒有作答 (2)國際數學與科學教育成就研究 (TIMSS) 國際數學與科學教育成就趨勢調查 (TIMSS) 是由國際教育學習成就調查 委員會 (IEA) 主辦的國際測驗，IEA 自 1995 年開始辦理 TIMSS 計畫，該計畫 每隔 4 年針對參加國家或地區抽樣 4 年級與 8 年級學生，進行數學與科學的學 習成就調查。 TIMSS 主要目的是提供各國長期追蹤學生數學和科學學習成就的趨勢，透 過學生學習成就的調查，並利用問卷蒐集影響這兩顆學業成就的相關因素，以 了解各國在其教育或課程改革等措施的改進效用。 TIMSS 測驗為成就評量，是在精密嚴謹的標準下完成計分。評分分為兩大類： 一類為選擇題，每題一分，題目敘述盡量減低學生閱讀的負擔，另一類為自由反 應問題，其中填充題每題一分而申論題每題二分，用以了解學生是否學會了而非 其寫作的好壞，因此評分者必須能有國際一致標準與素養。自由反應試題得分計 分方式是利用兩位數字”XX”的評分碼來表示，因此各種正確或合理的答案可得滿 分或部份得分。其中第一碼等於”1”時表示該題得分為一分，即1X（X=1,2,3,…9），

13 包括10、11、12、13、14、…19等正確的評分碼。當第一碼第於”2”時表示該題得 分為二分，即2X（X=1,2,3,…9），包括20、21、22、23、…29等正碼的評分碼。 當第一碼等於”7”時，7X（X=1,2,3,…8）評分碼表示該題答案錯誤，其得分為0， 錯誤答案型態包括70、71、72、73、…78等答案。79內來表示非評分標準指引所 標示的其他不正確答案（包含刪掉／擦掉，塗鴉，難以辦認或無效的嘗試）。評 分碼99用來表示空白沒有作答。 以下分別就申論題及填充題兩種類型的計分方式及兩碼計分方式以表 2-1-3、 表 2-1-4 呈現說明 表2-1-3 TIMSS自由反應題計分方式 申論題 計分 2 分：完全正確給 2 分，顯現出對於科學概念和過程技能 完整的理解 1 分：部分正確給 1 分，顯現出對於科學概念和過程技能 部分的理解 0 分：完全徹底錯誤 填充題 計分 1 分：正確 0 分：完全錯誤 表2-1-4 TIMSS自由反應題之兩碼計分表 最高得分 計分代碼 定義 說明 二 分 20 答案完全正確 答案類別/方法＃1 21 答案完全正確 答案類別/方法＃2 22 答案完全正確 答案類別/方法＃3 29 答案完全正確 使用其他方法 10 答案部分正確 答案類別/方法＃1 11 答案部分正確 答案類別/方法＃2 12 答案部分正確 答案類別/方法＃3 19 答案部分正確 使用其他方法 70 答案錯誤 常見的迷思概念/錯誤＃1 71 答案錯誤 常見的迷思概念/錯誤＃2 76 答案錯誤 題幹出現提示 79 答案錯誤 其他錯誤造成 (續下頁)

14 最高得分 計分代碼 定義 說明 二 分 90 塗改、表達不清楚 96 來不及作答 98 該生未考該題 99 空白 代 碼 一 分 10 答案正確 答案類別/方法＃1 11 答案正確 答案類別/方法＃2 12 答案正確 答案類別/方法＃3 19 答案部分正確 使用其他方法 70 答案錯誤 常見的迷思概念/錯誤＃1 71 答案錯誤 常見的迷思概念/錯誤＃2 72 答案錯誤 常見的迷思概念/錯誤＃3 73 答案錯誤 常見的迷思概念/錯誤＃4 76 答案錯誤 題幹出現提示 79 答案錯誤 其他錯誤造成 90 塗改、表達不清楚 96 來不及作答 98 該生未考該題 99 空白 以下就 TIMSS 建構反應題型舉例說明，如圖 2-1-2 1、題目：下面有兩個圖形，請寫出他們相同及不同的地方在哪裡? 圖形 A 圖形 B 作答：(一)相同的地方： (二)不同的地方： 圖2-1-2 TIMSS建構反應題型舉例說明 資料來源：取自TIMSS網站：http://timss.bc.edu/TIMSS2007/index.html，2007

15 2、TIMSS計分及答案編碼說明如表2-1-5： 表2-1-5 TIMSS計分及答案編碼說明 正確回答 不正確回答 沒有回答 (一) 相同的 地方 代號10：都有三個角， 三個邊 (1)代號70：他們是相同 形狀。 (2)代號71：都有直立的 邊。 (3)代號72：其它不正確 回答(包括註銷、擦掉、 不完整、不合理或其他 不相關內容)。 代號99：空白 (二) 不同的 地方 (1)代號10：一個是直角 三角形，一個不是。 (2)代號11：一個有兩邊 (角)相同/一個有對稱， 另一個沒有。 (3)代號12：一個比較大 (長或寬)。 (1)代號 70：他們是不同 形狀。 (2)代號 79：其它不正確 回答(包括註銷、擦掉、 不完整、不合理或其他 不相關內容)。 代號99：空白

肆、建構反應題在教育測驗上的應用研究

國內外已有不少將建構反應題應用於教育測驗上的相關研究，茲將建構反 應題在教育方面相關參考文獻整理如表2-1-6。 表2-1-6 建構反應題在教育方面相關參考文獻整理 研究者 (年代) 論文名稱 內容摘要 盧炎成 (2006) 國小數學領域電腦化適性 診斷測驗題庫及補救教學 數位內容開發－以「小數 的除法」單元為例 發展一套適用於「小數的除法」單元 的電腦化適性診斷測驗題庫及電腦補 救教學模組，透過電腦化適性診斷測 驗確實可以適性化、個別化，有效達 成節省施測時間及施測試題數的功 能。 (續下頁)

16 研究者 (年代) 論文名稱 內容摘要 賴淑錦 (2009) 資訊科技融入數學多元評 量設計—以五年級容量單 元為例 探討多元評量的設計理念，並藉由多 元評量活動及問卷調查觀察學生在多 元評量活動上的表現 吳任婕 (2009) 以建構反應題型為基礎之 數學科診斷測驗系統建置 透過診斷系統可詳細記錄學生解題反 應及計算過程，幫助教師掌握學生的 學習狀況 張永鑫 (2010) 數學科建構反應題診斷系 統的建置─以五年級「平 行四邊形和三角形的面 積」單元為例 加入建構題型的測驗信度優於全部選 擇題型，若可以再增加測驗題數及受 測樣本人數應該能更有效提高測驗信 度。 鄭涵 (2010) 具選擇題與建構反應題之 電腦化測驗診斷模式探討 -以國小「容量」單元為例 結合貝氏網路研發出兼具選擇題與建 構反應提之電腦化診斷測驗，將解題 歷程記錄下來得到學生的錯誤類型與 解題策略，協助教師補教教學。 簡啟全 (2010) 國中數學科「相似形」單 元電腦化測驗與診斷模式 研發 將建構反應題加入選擇題後，整個貝 氏網路模式平均辨識率皆提高，能有 效提升貝氏網路的估計精準度。 根據上述文獻記載，可發現目前已有許多學者提出選擇題的不足，並設法 在測驗中加入建構反應題，但仍侷限於紙筆測驗與人工閱卷，僅有小部份開發 成電腦化測驗，但建構反應題的分析仍須仰賴人工閱卷，且計分較無客觀。故 本研究希望研發一套以貝氏網路為基礎的建構反應題的分析診斷系統，以改善 目前大多只有選擇題型之診斷測驗。

第二節 電腦化診斷測驗

傳統的測驗型態多半以紙筆方式進行，批改試卷往往是教師教學的一大負擔。 教師在教學活動上，需要花費很多時間來診斷學生學習困難之所在，隨著電腦科 技的迅速發展，許多測驗已由人工閱卷轉變為電腦化測驗，許多專家學者投入電

17 腦診斷測驗的研究，以電腦代替人工來評估學生的學習成效與學習歷程。利用電 腦進行測驗的優點在於可節省測驗時間與成績計算快速，希望藉由電腦適性診斷 測驗系統，能達到節省施測題數、施測時間，準確診斷出學生錯誤所在，並給予 適性化補救教學，減輕教師負擔，提升教學品質。 以下就電腦化測驗的優點與限制加以說明：

壹、電腦化測驗的優缺點

彙整各學者的觀點，電腦化測驗具有以下優點（周文正，1998；李連順， 2000；林裕集，2002）： 一、能蒐集學生反應資訊，利於測驗分析。 二、測驗題目的多元化，提升測驗與計分效率。 三、降低人工出錯的機會。 四、可反覆練習，並給予學生即時回饋。 五、可進行適性測驗。 六、試題製作具一致性，使施測更趨標準化。 七、可利用網路進行施測。 對於教學者，線上診斷測驗有下列的優點（黃國禎、朱蕙君、王榕榆， 2007）： 一、提供即時回饋給受試者，讓受試者明瞭自己的學習障礙，進而能調整 學習方法。 二、提供回饋給教學者以提高教學的成效，利於實施補救教學。 三、依受試者的學習狀況適時調整教材難易度，作為改進課程的依據。 電腦化測驗雖有許多優點，但同時也有一些限制須注意的： 一、題型大多為是非題或選擇題，開放性的問題仍無法提供較為客觀的評 分標準。

18 二、實施測驗時，必須考慮到電腦的軟硬體設備是否可以配合施測；再者， 電腦化測驗雖比紙筆測驗節省時間，但當受試者做到必須計算的題目 時，必須先在紙上進行計算再將答案鍵入電腦中，可能會影響答題的 速度。

貳、電腦化診斷測驗的相關研究

由於資訊技術的快速發展，使得近幾年來使用電腦為媒介來進行測驗的方 式也大為成長，這幾年來，線上診斷測驗更是蔚為流行。將線上診斷測驗應用 在教育上，也讓測驗評量變得更多元、活潑。茲將國內近年來電腦化診斷測驗 之相關研究整理如表 2-2-1 電腦化診斷測驗在教育上之應用。 表2-2-1 電腦化診斷測驗在教育上之應用相關文獻 研究者 (年代) 論文名稱 內容摘要 許志毅 (2005) 國小數學領域電腦化適 性診斷測驗及補救教學 系統之內容開發及試用-以「扇形」單元為例 建立以知識結構為基礎的「電腦 化適性診斷測驗及電腦補救教學 系統」，提供學生在適性診斷測驗 後，能依據其錯誤類型的分析， 進行適性、即時的補救教學。 許雅菱 (2004) 貝氏網路在教育測驗分 析上的應用 以貝氏網路為基礎，建立一個符 合證據中心的數學評量 李俊儀 (2005) 以貝氏網路為基礎的電 腦化適性測驗選題策略-以國小數學科診斷測驗 為例。 嘗試利用電腦來進行學生錯誤類 型的分析，並對個別學生進行補 救教學，因材施教，以減輕教師 教學與評量的負擔，提升學習成 效。 施淑娟 (2006) 應用貝氏網路進行國小 五年級-「小數」單元學 習診斷之研究。 從貝氏網路方法論著手，建立一 個以貝氏網路為基礎的錯誤類型 與子技能認知診斷模式 (續下頁)

19 研究者 (年代) 論文名稱 內容摘要 曾彥鈞、張雅 媛、郭伯臣 (2006) 基於知識結構之適性診 斷測驗系統的防猜選題 策略 改良以知識結構為基礎之適性測 驗的選題策略，降低受試者猜測 度，以提升適性測驗之預測精準 度，並於以知識結構為基礎之適 性測驗系統上進行模擬實驗，以 評估改良後的選題策略之成效。 張玲婉 (2008) 以貝氏網路為基礎建置 二階段電腦化診斷測驗 及補救教學媒體之研究 －以國小低年級時間概 念為例 編製知識結構與二階段測驗，並 將二階段測驗與貝氏網路認知診 斷模型結合，在比較貝氏網路中 三種不同診斷模式的辨識率後， 以診斷成效最好的模式，建置國 小低年級時間概念之二階段電腦 化診斷測驗。 林清煌 (2009) 以貝氏網路為基礎之國 中數學數位教材及電腦 適性測驗之研發─以最 大公因數與最小公倍數 單元為例 研發可運用於教學及補救教學的 數位指導教材，以及結合貝氏網 路的電腦適性診斷測驗，並進行 教學實驗，期能同時達到教學、 診斷評量、補救教學的功能。 以下針對文獻中較常見的電腦化診斷測驗：「以知識結構為基礎的適性測驗 系統」(Knowledge structure based computerized adaptive testing system, KSAT) 及 「以貝氏網路為基礎的適性測驗系統」(Bayesian network based adaptive testing, BNAT) 進行較詳細的介紹。

参、以知識結構為基礎之適性測驗 (KSAT)

KSAT為國科會補助研究計畫「國小數學科電腦化適性診斷測驗(I)(II)(III)」 （郭伯臣，2003-2005）之技術轉移及「以試題結構理論為基礎之國小五、六年 級數學領域電腦適性診斷測驗與適性補救教學模式」建教合作計畫之研究成 果。

20 KSAT 乃根據受試者知識結構設計適性測驗，對不同的受試者會給予適當的 試題，並精確估計受試者的能力，能提供學童一個適性測驗及立即的成績回饋， 達到「因才施測」的效果，是具有診斷受試者錯誤概念的電腦化適性測驗，並 有相關研究顯示電腦化適性測驗確實可以節省施測題數、時間，且有不錯的精 準度（蔡昆穎，2004；許志毅，2005；黃碧雲，2005）。在受試者同分情形下， 亦可區辨不同錯誤類型之受試者。學生可以透過 KSAT 系統診斷出錯誤概念， 再針對個別的錯誤部分進行適性補救教學。 然而，KSAT 雖可於短時間內對學童的學習狀況進行診斷，了解學童的知識 結構有何不足之處，但獲得學童的學習診斷並非教育的最終目的，最終應該是 學會完整的教材內容，因此測驗後之補救教學實有必要。 KSAT 系統網址：http://210.240.187.23/ksat/ KSAT 系統介面如圖 2-2-1 所示： 圖2-2-1 KSAT系統介面圖

21

肆、以貝氏網路為基礎之測驗系統 (BNAT)

貝氏網路 (Bayesian network) 又可以稱為信賴網路 (belief network)、機率 網路 (probability network) 或是因果網路 (caual network)。它是一種基於貝氏定 理 (Bayes’ theorem) 的圖形表達模式，亦是一種知識表現的推論工具，可說明 變數間相互影響之程度的機率關係，為一機率性專家系統（Heckerman , Geiger , & Chickering, 1995），內容如下： 假設U＝｛S₁，S2 ,，…，Sn｝，且Si有限，在事件E情形下發生Si的機率可 表示為以下：

∑

= = i i i i i i i i S P S E P S P S E P E P S P S E P E S P ) ( ) | ( ) ( ) | ( ) ( ) ( ) | ( ) | ( ₍₁₎ ) (S_i P ：代表事前機率（prior probability） ) | (E S_i P ：代表樣本機率（sample probability） ) | (S E P _i ：代表事後機率（posterior probability）

貝氏定理結合事前機率（prior probability）與樣本機率（sample probability）， 來推論出事後機率（posterior probability），貝氏網路則是依貝氏定理，以一連 串的概念節點與節點間的箭號所構成的，概念節點與箭頭則構成有向無循環的 圖形（directed acyclic graph, DAG）如圖 2-2-2 所示。

圖2-2-2 有向無循環圖形例圖 A B C D E F G H

22

圖中的每一個節點 (node) 表示一個事件 (event），節點間的連線 (link) 則 表示事件之間的因果關係，而連線的有無及其影響程度，依其強弱則藉由條件 機率來表達；該網路中之節點表示隨機變數，而連結線用來表示兩個變數間的 關聯或因果關係，所以此有向圖是這些變數之聯合機率分佈的分解表示法（呂 靜芳，1999）。 貝氏網路其型態主要為圖形模式，很容易瞭解變數之間的聯合機率關係， 其有三項優點（區國良、吳銘哲、黃孟文、張家榮、曹水龍，2007）： 1. 貝氏網路可以處理不完整或缺失的資料，且貝氏網路提供了一個表示變 數間相關聯的網路圖形。 2. 貝氏網路具有漸增性，每個節點內包含相關聯變數的機率值，很容易合 併新的資料到貝氏網路中，無須全部樣本重新建立圖形。 3. 貝氏網路有因果關係的學習，不但可以預測結果，還可找尋發生的原因 所在，在不確定性下找到最有可能的答案。 以貝氏網路為基礎的適性測驗系統，簡稱BNAT，是由國立臺中教育大學教 育測驗統計研究所研發。它是一套利用貝氏網路為基礎概念而設計研發出來的診 斷測驗系統，命題時會先針對教材、學生先備知識、錯誤類型、學習技能及能力 指標來進行分析，並蒐集專家學者相關研究文獻找出學生可能發生之錯誤類型， 完成專家知識結構之分析，並依此架構一個合乎邏輯推論的貝氏網路圖，再依據 此架構來命題（施淑娟，2006）。 本研究利用貝氏網路作為估計學生是否具有錯誤類型 (bug) 或是否具備技 能 (skill) 的工具，透過貝氏網路工具箱（郭伯臣、謝典佑，2007），能夠根據學 生作答反應的資料，藉著貝氏網路的聯合機率關係，了解學生的能力及迷思所 在。 當學生進入系統歡迎畫面後，網頁會顯示學生的基本資料，確認身分完畢 後，即可進入本測驗系統，開始測驗。本測驗系統每題都必須回答，才可以進

23 行下一題。學生於測驗完畢後立即顯示學習診斷報告，給予最立即的回饋，除 了測驗的一些基本資訊以外，有提供百分等級給學生參考大概的落點，也有詳 盡的概念診斷列表，直接指出學生的錯誤類型與學習障礙，施以補救教學，且 系統會自動列出同單元的學習紀錄，提供給學生作為學習上的參考。以貝氏網 路為基礎之適性測驗系統，可以依照學生的作答反應，詳細的診斷出學生有哪 些學習概念需要加強，也能診斷出學生在學習過程中所擁有的錯誤類型，導致 形成學習的迷思概念，依此系統所診斷之結果，可以使得評量、診斷與補救教 學皆個別化與適性化，以期「因才施測」與「因才施教」之目標。 系統畫面介紹如圖 2-2-3 所示： 圖2-2-3 BNAT系統介面圖

從 2004 年 ETS 技術報告（Yan, Almond, & Mislevy，2004）中對於認知診 斷模式比較中，明白指出以貝氏網路為基礎之計量模式較具靈活性，適合用於 認知診斷，因此本研究將採用此一模式進行診斷測驗分析。

24

第三節 「數與數線」教材與錯誤類型分析

九年一貫課程中，數學學習領域的能力指標分為五大類：「數與量」、「圖形 與空間」、「統計與機率」、「代數」、「連結」。而「數與量」即是第一類，並在整 數的加減法單元中首次引入了「負數」的概念。九年一貫課程數學領域能力指 標中指出： 1、能以「正、負」表徵生活中相對的量，並認識負數是性質的相反。 2、能判別兩數加、減、乘、除的正負結果。 3、能理解負數的特性並熟練正負數（含小數、分數）的四則運算。 接著在多項式的運算、解方程式、直角座標、函數與其圖形、等差級數等 等，無一不用到整數的概念。範圍涵蓋一年級到三年級的課程內容，由此可見， 數與數線單元學習成效的良窳對於往後的學習佔相當重要的關鍵地位，將影響 到學生學習數學的興趣能否延續不斷。 綜上所述，發現瞭解負數概念及接受正負加減運算法則對目前初剛接觸中學 數學學生而言，是重要基礎但卻不是容易的學習過程。 因此本研究欲以自編的建構反應題題型來建置線上診斷系統，以分析受試 者在建構反應題題型中所產生的錯誤類型和種類，試題編製以南一版國中一年 級數學領域第一冊第一章「整數的運算」單元中與「數與數線」概念相關之內 容作為本研究所探討的範圍。

壹、「數與數線」單元所涉及的能力指標

依據教育部於 2008 年發佈的國民中小學九年一貫數學課程綱要(100 學年度 實施)，將「數與數線」概念之分年細目與對照能力指標整理如表 2-3-1 所示： 表 2-3-1 「數與數線相關能力指標」之分年細目與對照能力指標(教育部，2008)。

25 表2-3-1 「數與數線相關能力指標」之分年細目與對照能力指標 分年細目 能力指標 7-n-04 能認識負數，並能以「正、負」表徵生 活中性質相反的量。 7-n-05 能認識絕對值，並能利用絕對值比較負 數的大小。 7-n-06 能理解負數的特性並熟練數(含小數、分 數)的四則混合運算。 N-4-05 能認識負數、相反數、絕對值的 意義。 7-n-06 能理解負數的特性並熟練數(含小數、分 數)的四則混合運算。 N-4-06 能做正負數的比較與加、減、乘、除計 算。 7-n-08 能理解數線，數線上兩點的距離公式， 及能藉數線上數的位置驗證數的大小 關係。 N-4-07 能將負數標記在數線上，理解正負數的 比較與加、減運算在數線上的對應意 義，並能計算數線上兩點的距離。 7-n-06 能理解負數的特性並熟練數(含小數、分 數)的四則混合運算。 7-n-07 能熟練數的運算規則。 N-4-08 能熟練正負數的四則混合運算。

26 二、「數與數線」概念教材分析與錯誤類型相關研究來進行文獻探討，數與數 線相關參考文獻如表 2-3-1 表2-3-2 「數與數線」單元教材分析與錯誤類型相關文獻 研究者 (年代) 主題 研究目的發現 陳梅仙 (2003) 國中電荷教學模式與數線教 學模式在整數加減法之教學 成效比較 探討整數加減法運算的教學模式對學 生學習的差異比較，並進一步的擬出 對學生較適當之整數加減法運算的教 學模式 張立群 (2003) 台南地區國一學生整數的加 減法單元錯誤類型之分析研 究 教師教授負數相關概念時，應以適當 策略及教學方式使學生清楚了解負數 的意義，避免造成學生遇到須思考與 負數概念相關問題時出現恐懼心理， 逃避問題 李秀麗 (2006) 不同教學模式與七年級學生 在整數加減法單元錯誤類型 關係之分析研究 透過數量教學模式能讓學生從生活中 的具體實例瞭解整數加減法運算，透 過數線教學模式學生可以利用數線解 決整數加減法的問題。 洪瑞盈 (2006) 以網路評量系統進行診斷評 量以實施補救教學之研究： 以整數加減法單元為例 運用 DiAM-WATA 可以有效診斷出 學生在「整數加減法」的迷思概念類 型 朱玉萍 (2008) 網路化動態評量對七年級學 生在整數與數線單元概念學 習成效之研究 探討「網路化動態評量」與「一般網 路評量」兩種不同評量模式對七年級 學生在「整數與數線」單元之學習成 效、概念改變與數學學習興趣的影響 差異

27

第三章 研究方法

本章節分為研究流程、研究對象、電腦化建構反應題系統介面與建構反應題 之解題策略分析流程、結合建構反應題之貝氏網路等幾個部分來說明整個研究方 法。

第一節 研究流程

本研究為建置一套包含選擇題與建構反應題的數學診斷系統，其研究流程如 圖 3-1-1 所示，研究步驟說明如下： 1. 在確立研究主題後蒐集相關文獻，根據文獻資料建立錯誤類型與子技能，並建 置專家知識結構。 2. 進行自編試題，先編製選擇題型試題，再由這些試題中挑選適合的題目另行編 製建構反應題。 3. 進行紙筆測驗預試，再進行試題之編修建立題庫，並確定貝氏網路架構。 4. 研發包含建構反應題之國中數學科診斷系統，並進行建置自動化計分流程，建 構反應題之解題策略與錯誤類型分析。 5. 進行電腦線上施測，測驗完成後，蒐集學生之施測結果，並針對建構反應題之 答案進行比較研究。 6. 進行結合建構反應題之貝氏網路成效評估。

28 圖3-1-1 研究流程圖 擬定研究主題 相關文獻蒐集與探討 建立專家知識結構 建立錯誤類型 編製試題 結合貝氏網路分析 結論與建議 預試資料分析 建立貝氏網路架構 蒐集作答反應 分析錯誤類型 建立計分模式 建立自動化分析模型 正式施測 確立貝氏網路架構 蒐集作答反應 再次分析錯誤類型 確立計分模式

29

第二節 研究對象

基於研究方法及研究限制下，無法採用隨機抽樣的方式，因此採用立意抽 樣來進行研究，研究階段包含「數與數線」測驗的預試及正式施測，研究對象 說明如下： 壹、預試對象 預試採紙筆測驗，對象為國中七年級學生：桃園縣兩所國中、台中市一所國中、 嘉義縣一所國中，所抽到的國中之所有七年級學生皆參加施測，共計 22 個班級， 577 位學生。 貳、正式施測對象 正式施測採電腦線上測驗，對象乃選取新北市一所國中、桃園縣兩所國中、 嘉義縣一所國中，所抽到的國中之所有七年級學生皆參加施測，共計 18 個班級， 498 位學生。

第三節 研究工具

本研究使用的工具有自編「數與數線」概念相關之能力測驗、BNAT系統與 SPSS統計分析軟體，茲分述如下。 壹、「數與數線」概念自編測驗 一、 測驗內容 本次試題測驗參照教育部於 2008 年發佈的國民中小學九年一貫數學課程綱 要(100 學年度實施)，將「數與數線」概念之分年細目與對照能力指標整理進行 分析，並參考相關文獻，依據命題原理程序，進行出題。預試試題形式為選擇 題，題目與答案選項皆經與兩位在教學現場至少 5 年以上教師詳細討論後設計， 經檢核後進行組卷。 (一)「數與數線」概念之子技能 本研究之子技能為用以解決學生「數與數線」概念問題所需之基本能力，

30 依據教育部於 2008 年發佈的國民中小學九年一貫數學課程綱要(100 學年度實 施)及相關文獻(張立群，2003；洪瑞盈，2006)中與專家、教師討論一同訂定， 茲將「數與數線」概念之子技能與能力指標相對應關係整理如表 3-3-1 所示， 並建立「數與數線」概念的專家知識結構圖如圖 3-3-2 所示，每個子技能節點 分別代表一個概念，每個概念皆設計命題。此外，綜合文獻及與專家討論整理 出本單元的錯誤類型如表 3-3-2。 表3-3-1 「數與數線」概念的子技能 代號 子技能內容 S01 能以「正、負」表徵生活中相對的量，並認識負數是性質（方向、盈虧） 的相反。並可以理解當基準量變動時，所對應的量也會變動 S02 能認識相反數及其意義 S03 能認識絕對值符號，並了解絕對值在數線上的意義 S04 能進行整數的加減運算 S05 能進行整數的乘法運算 S06 能進行整數的除法運算 S07 能利用乘法對加(減)法的交換律、分配律求算式的值 S08 能利用乘法交換律、結合律求算式的值 S09 能理解數線的要素並畫出數線並標示整數、分數和小數的點並判別大小。 S10 能用絕對值的符號表示數線上兩點間的間隔（距離）。 S11 能利用數線解加減運算 S12 能明白數線上兩點間的間隔（距離）。 S13 能理解負數的特性並熟練正負數（含小數、分數）的四則運算。 S14 能進行含絕對值的整數四則運算

31 圖3-3-1 專家知識結構圖 表3-3-2 「數與數線」概念的子技能與錯誤類型對應表 代號 錯誤類型 對應子技能 M-01 無法判斷正負數的意義 S-01 M-02 無法判斷絕對值的意義 S-03 M-03 無法判斷數線的意義及要素 S-09 M-04 無法判斷相反數的意義 S-02 M-05 無法進行正負數的加減運算 S-01、S-04 M-06 無法進行正負數的乘法運算 S-01、S-05 M-07 無法進行正負數的除法運算 S-01、 S-06 M-08 不能利用乘法對加(減)法的交換律、結合 律求算式的值 S-07 M-09 未注意數線上單位變化 S-09 M-10 不能利用數線進行加法運算 S-09、S-11 M-11 不能利用數線進行減法運算 S-09、S-11 M-12 不明白數線上兩點間的間隔（距離） S-09 M-13 不能進行正負數（含小數、分數）的四則 運算。 S-13 M-14 不能進行含絕對值的整數四則運算 S-14 M-15 不能利用乘法交換律、結合律求算式的值 S-08 M-16 不能用絕對值的符號表示數線上兩點間 的間隔（距離）。 S-09、S-10、S-12 S-01 S-02 S-04 S-05 S-06 S-07 S-08 S-14 S-13 S-12 S-11 S-10 S-03 S-09

32 二、 試題評量架構 表3-3-3 「數與數線」概念之各子技能及所對應的錯誤類型與各試題間之評量架 構表 試題 錯誤類型 子技能 Item1 M-04 S-02 Item2 M-15 S-08 Item3 M-16 S-10 Item4 M-01 S-01 Item5 M-03 S-09 Item6 M-01 S-01 Item7 M-06 S-05 Item8 M-12 S-12 Item9 M-07 S-06 Item10 M-02 S-03 Item11 M-08 S-07 Item12 M-02、M-05 S-04 Item13 M-15 S-08 Item14 M-10、M-11 S-11 Item15 M-08 S-07 Item16 M-12 S-09 Item17 M-05 S-04 Item18 M-03 S-09 Item19 M-03、M-10、M-11 S-11 Item20 M-05 S-04 Item21 M-01、M-09 S-01 Item22 M-05、M-14 S-04 Item23 M-05、M-13 S-13 Item24 M-05 S-04 Item25 M-10、M-11 S-11 Item26 M-05、M-13、M-14 S-14 Item27 M-10、M-11 S-11 其中，Item16、19、26經正式電腦施測設計為建構反應題。

33 三、 試題範例說明 本試卷依據上述之錯誤類型及專家知識結構中的子技能節點編製，命題卡 設計說明如下表 3-3-4 之試題範例。從試題選項設計中，除了正確的解答以外， 其餘的選項皆包含一種錯誤類型，然而，同一種錯誤類型卻可能有不同的解題 歷程，不同的解題歷程相對的也就代表不同的迷思概念，即便學生選擇了正確 的選項，也不代表真正答對。 以此題來說明，學生若是選擇 1，學生可能不懂先乘除後加減的運算規則； 選擇選項 2 代表學生可能不清楚去括號規則；學生若是選擇 3，代表學生對於 此概念是正確的；學生若是選擇 4，則代表學生可能不清楚絕對值定義。本研 究所使用之預試試題，詳如附錄一。 表3-3-4 「數與數線」概念之試題範例 編號 概念 14：能進行數的四則混合運算。 題目 （ ）26.計算(－8)×(－1)＋{－3×[－2＋(－6)×(－3)]＋∣7－8∣}＝？ 33 43 －39 －41 選項 反應類型 選項 1 (M-05) 無法進行正負數的加減運算，直接由左至右計算 33 選項 2 (M-13)不清楚去括號規則， (－8)×(－1)－3×(－2)＋(－6)×(－3)＋1 ＝8＋6＋18＋1 ＝33 選項 3 ◎(－8)×(－1)＋{－3×[－2＋(－6)×(－3)]＋|7－8|} ＝8＋{－3×[－2＋18]＋1} ＝8＋{－48＋1} ＝8－47 ＝－39 選項 4 (M-14)不清楚絕對值定義， (－8)×(－1)＋{－3×[－2＋(－6)×(－3)]＋|7－8|} ＝8＋{－3×[－2＋18] －1} ＝8＋{－48－1} ＝8－49 ＝－41

34 四、 預試結果 當測驗題目完成後，接著進行預試及試題的項目分析。測驗採立意取樣， 預試對象為100學年度國中七年級學生，共577人參與，刪除無效樣本14筆後， 以563筆進行預試試卷分析。 (一)難度 試題難易度是指試題參照團體而言的難易程度，又稱為難度。試題的難易 度與測驗的效率有關，是試題困難或簡單的一種指數，難度數值越低試題越困 難；反之則越簡單。 難易度的計算公式為全體受試者通過百分比(答對率)，即試題答對人數與作答 該試題總人數的百分比值，其計算公式(1)如下： P R 100% N = × (1) 其中，P：表示該題的難度指數，R：表示該題通過的人數，N ：表示全體受 試人數。 本研究測驗之試題難度值介於0.464～0.774，平均難度指數0.623。 (二)鑑別度 測驗的組成必須具有鑑別某種心理特質的作用，才能成有有效可靠的測量 工具。試題鑑別度是一個決定受試者在教材或心理構念差異的指數，而測驗基 本假定為「在教材或心理構念上的高能力者能正確回答該試題的比例較低能力 者高」，亦即試題的鑑別度高低與測驗的信度和效度有密切的關係。一份良好 的測驗試題，應該具備有較高的鑑別度指標值。 本測驗試題鑑別度值介於 0.3786～0.835，平均鑑別度指數 0.619。 本研究之線上測驗計有選擇題 27 題及建構反應題 3 題，經施測後分析作答 情形，預試試卷之難度、鑑別度如表 3-3-5 所示，從表中可得知，難度屬於中 偏易（平均 0.623），鑑別度非常優良（平均 0.619），由於本測驗的目的為診斷

35 測驗，題目設計是為了診斷學生在基本概念上的迷思，故不需要設計特別艱深 刁鑽的題目，以免因為題目過難導致學生無法作答或隨意猜題，造成診斷上的 困難。 表3-3-5 各試題之難度、鑑別度一覽表 題號 1 2 3 4 5 6 7 難 度 0.7179 0.6010 0.6179 0.7714 0.6607 0.7536 0.6750 鑑別度 0.3786 0.6286 0.5500 0.4000 0.5500 0.4786 0.5214 題號 8 9 10 11 12 13 14 難 度 0.4643 0.6036 0.6786 0.5393 0.6393 0.6643 0.7402 鑑別度 0.4429 0.7357 0.5857 0.7071 0.6500 0.6000 0.3857 題號 15 16 17 18 19 20 21 難 度 0.5429 0.5929 0.5357 0.6750 0.6250 0.5821 0.6857 鑑別度 0.6857 0.7571 0.4857 0.6071 0.7500 0.5929 0.5429 題號 22 23 24 25 26 27 難 度 0.6107 0.5980 0.5714 0.6071 0.5393 0.5536 鑑別度 0.7500 0.7857 0.8000 0.7143 0.8357 0.7929 (三)效度 本研究邀請 4~6 位具有教學的現職國中教師及測驗編製經驗的專家學者一同討 論，依據九年一貫課程數學領域內容及試題編製原則來編製與目標相符合的試 題，並以電腦化適性測驗之試題檢核表檢核試題，確認試題合宜，因此此份測 驗已具備良好的內容效度。 (四)信度 本測驗預測資料內部一致性 Cronbach α 係數值為達 0.891，顯示電腦化測 驗具有良好的信度。

36 五、 正式試卷 經預試後依上述資料審題、修題確定正式試卷如附錄二後，即將試題匯入 BNAT 系統，正式施測。

貳、BNAT 系統

本系統是由郭伯臣、謝典佑（2007）以 Matlab 結合 Murphy (2004)所設計 的Bayes Net Toolbox for Matlab 之相關函數，再加上 TASBN (Test analysis software based on bayesian network) 的工具箱三者合一而成。主要根據施測樣本 的單元目標、子技能、錯誤類型、試題、作答反應等資料，來計算貝氏網路之 辨識率。 本研究結合選擇題與由系統開發設計的建構反應題型，將修審後之題本與 答案轉成圖檔，輸入題庫介面系統，藉此方式進行電腦化線上診斷測驗，以下 茲作選擇題與建構反應題介面操作說明 一、「數與數線」概念電腦化測驗介面 進行電腦化線上測驗時，學生透過網路登入系統，系統畫面如圖3-2-1，即 可輸入個人的帳號、密碼，再選擇施測單元開始施測，施測完畢後可點選成果 查詢，即完成該次測驗。 圖3-3-2 登入系統後點選施測單元畫面

37 二、「數與數線」概念電腦化測驗施測界面說明 由於本研究結合選擇題與建構反應題兩種題型進行線上電腦化測驗，測驗 試題內容如附件二，以下分別就兩種題型之介面與操作介紹說明如後。 1.選擇題介面 「數與數線」概念之選擇題操作框架分為題幹、4 個選項與「作答完畢， 進入下一題」三部份，，題目呈現於上方綠色方框內，每題下方皆有四個答案 選項提供學生選擇，由於本系統不可逆作答，學生必須點選其中一個答案後才 可進行下一題。學生選擇其中一個答案後，點選 即可進入下一道試 題進行施測，學生未點選即點選該按鈕時，會停留在原頁面，避免學生因誤觸 而跳題，系統畫面如圖 3-3-3 所示。 圖3-3-3 選擇題測驗施測畫面 2.建構反應題操作方式 「數與數線」概念建構題反應題的施測畫面如圖3-2-3所示，由於建構反應 題運用於電腦化測驗是較以往少見，為了避免學生因為操作上的問題造成錯誤， 我們會預先於施測前進行一節課時間系統操作介面說明，讓學生熟悉系統。以 下針對本單元之3題建構反應題分別說明如下：

38

(一)建構題第1題

圖3-3-4 建構題第1題施測畫面

學生將滑鼠移到上方藍色空格位置，點選右鍵即可輸入座標。

39 本系統設定僅能輸入3項座標，即鎖定作答，結束第(1)小題。 圖3-3-6 建構題第(1)題作答完畢畫面 第(2)小題，如同第(1)小題，學生將滑鼠移到上方藍色空格位置，點選右鍵 即可輸入下方座標。 圖3-3-7 建構題第(2)題施測畫面

40 (二)建構題第2題 學生於數線上先點選箭頭線1，拉出正確方向及長度後 圖3-3-8 建構題第2題施測畫面 點選箭頭線1作答 圖3-3-9 建構題第2題作答畫面

41

2.學生再點選箭頭線2，拉出正確方向及長度

圖3-3-10 建構題第2題點選箭頭線2畫面

3.做答完畢後，在空格填入結果即可。

42 (三)建構題第3題 圖3-3-12 建構題第3題施測畫面 作答輸入工具說明： ：點選後，所輸入之算式會顯示在左側記錄欄內。 ：點選後，可以回復至上一個步驟。 ：點選後，可以將算式換行排列。 ：點選後，會將輸入的算式重新整理。 ：點選後，會清空左側記錄欄所有內容。 ：輸入後，在左側記錄欄內顯示運算符號。 ：輸入後，在左側記錄欄顯示括號與絕對 值。 ：點選後，所輸入之數值會以次方型式顯示在左側記錄欄內。 ：輸入後，在左側記錄欄顯示冒號。

43 ：數入後，會出現△符號。 ：輸入後，結束本題作答，進入下一試題。 經系統施測完畢後，學生及教師可點選「成果查詢」功能，如圖3-3-13所示， 系統會列出學生施測單元及成績，可提供學生及教師了解作答狀況，以利後續 補救教學使用。 圖3-3-13 施測成果查詢畫面

参、SPSS 18.0 統計軟體

SPSS 18.0 是一套融合資料管理與統計分析的軟體，它可以將大量複雜、瑣 碎的資料加以整理分析，透過友善的操作介面，使用者可以輕鬆解決關於學術 研究、社會科學與商業管理等各方面的統計問題，本研究用以分析測驗的信度 及試題分析。

肆、MATLAB

MATLAB 是一套用於分析資料、進行數值計算、發展演算法與應用之程式 語言，它能撰寫程式、編碼與繪圖，將數學運算、資料統計、資料擷取之效能

44 大幅提升。本研究採用 MATLAB 軟體撰寫自動化分析建構反應題模型與貝氏網 路程式。

第四節 建構反應題之解題策略流程分析

本研究試題依據子技能編製，編製試題的形式為選擇題，而選擇題的選項 也經由所對應錯誤類型的設計，但是學生作答錯誤的情況有兩種，其一為犯了 此種錯誤類型，其二為猜測作答，但因為選擇題無法記錄學生之解題歷程，因 此無法依據選擇題所選之選項，判斷學生的學習成效。建構題的命題便可以解 決如何判讀學生迷思概念與錯誤類型的困難，總括來說，學生作答的解題歷程 可以略為分類出以下為八類： (1)解題列式正確，計算過程正確，解答正確。 (2)解題列式正確，計算過程正確，解答錯誤。 (3)解題列式正確，計算過程錯誤，解答正確。 (4)解題列式正確，計算過程錯誤，解答錯誤。 (5)解題列式錯誤，計算過程正確，解答正確。 (6)解題列式錯誤，計算過程錯誤，解答正確。 (7)解題列式錯誤，計算過程正確，解答錯誤。 (8)解題列式錯誤，計算過程錯誤，解答錯誤。 選擇題的施測方式，依據學生所選的選項，對於(1)、(3)、(5)、(6)都是答 對的情形，但是卻包含因猜測所答對而無法確定學生是否具有真實的能力值。 然而對於(2)、(7)雖然都是答錯的情形，但是卻可以部分給分，之所以以建構題 施測的方式，則可以詳細的知道學生的迷思概念與作答情形，清楚的區分此八 類的解題反應，避免因為猜測所得到的能力值大於真實的能力值，學生的解題 過程與最後的解答是否正確，皆可以藉由電腦完整的紀錄，提供給教師更多的 訊息，作為判讀學生迷思概念的依據與參考。

45 簡單來說，使用建構反應題可以更加詳盡獲得學生的迷思概念與學習成效。 本研究所編製的試題無作答時間限制，除了選擇題題型之試題以外，另從選擇 題內挑選適合之試題，開發建置建構反應試題，此單元所編製之測驗試題共 27 題，試卷內容包含 24 題選擇題與 3 題建構題。 經由專家判別學生解題歷程之後，將學生在操作過程中的解題的路徑、所 犯錯誤類型加以編碼後建立解題策略計分模型以進行診斷系統的建置。 在建立解題策略計分模型前，首先必須考慮到學生在解題過程中每一個可能 的操作步驟，且為了讓所有學生的每一種解題過程都能在計分模型中歸納到一種 特定的錯誤類型，所有的操作基本上是以「二分法」進行分類，但若解題過程出 現文獻中常見的錯誤類型時，這些錯誤類型就將其獨立出來，因此，利用解題策 略計分模型來做錯誤類型分類時應能百分之百將所有學生的解題策略作出分類。 以下以建構題3題作為說明 一、 數與數線第 16 題 1、 題目如圖 3-4-1 圖3-4-1第16題(建構題)畫面

46 2、 設計決策之步驟 下列判斷方法為圖 3-4-2 中的判斷節點。 (1)檢測答案是否為「空白」，如為空白，編碼為 99。 (2)標示正確則歸類至「標示正確」，其餘為「標示錯誤」。 (3)依據標示錯誤類型，判別為「M-12」。 圖3-4-2第16題(建構題)判斷節點圖 第 16 題 (1) 未作答(99) 有作答 (2) 全對(0) 非全對 (3) M-12

47 二、 數與數線第 19 題 1、 題目如圖 3-4-3 圖3-4-3第19題(建構題)畫面 2、 設計決策之步驟 下列判斷方法為圖 3-4-4 中的判斷節點。 (1)檢測答案是否為「空白」，如為空白，編碼為 99。 (2)標示正確則歸類至「標示正確」，其餘為「標示錯誤」。 (3)依據數線畫圖情形，分類為「標示正確」，其餘為「標示錯誤」。 (4)依據數線畫圖正確情形，判別為「M-05」、「M-10」、「M-11」。 (5)依據數線畫圖錯誤情形，判別為「M-05」、「M-10」、「M-11」。

48 圖3-4-4第19題(建構題)判斷節點圖 第 19 題 (1) 未作答(99) 有作答 (2) 全對(0) 非全對 (3) 標示正確 標示錯誤 (4) (5) M-05 M-10 M-11

49 三、 數與數線第 26 題 1、題目如圖 3-4-5 計算(－8)×(－1)＋{－3×[－2＋(－6)×(－3)]＋∣7－8∣}＝？ 圖3-4-5第26題(建構題)畫面 學生使用視窗右方工具列輸入答案後，學生的作答歷程會呈現在式窗左方 的方格內，系統會記錄學生的解題歷程於資料庫中。 2、 設計決策之步驟 下列判斷方法為圖 3-4-6 中的判斷節點。 (1)檢測答案是否為「空白」，如為空白，編碼為 99。 (2)答案正確則歸類至「答案正確」，其餘為「答案錯誤」。 (3)列式正確則歸類至「列式正確」，其餘為「列式錯誤」。 (4)根據運算錯誤類型分類為「M-05」、「M-13」、「M-14」。 (5)根據計算式列式錯誤中再分類為「M-02」、「M-05」、「M-06」。

50 圖3-4-6第26題(建構題)判斷節點圖

第五節 建構題與貝氏網路結合之認知診斷模式設

計

本研究之測驗試題型式分為選擇題24題(Item-01～Item-15、Item-17、Item-18、 Item-20～Item-25、Item-27）與建構反應題3題(Item-16、Item-19、Item-26)，依據 此兩種形式之試題，設計4種貝氏網路的模式。 第 26 題 (1) 未作答(99) 有作答 (2) 全對(0) 非全對 (3) 列式正確 列式錯誤 (4) (7) M-05 M-13 M-14 (5) M-02 M-05 M-06

51

一、 模式一

本模式僅放入24題選擇題，貝氏網路如圖3-5-1。節點由左而右分別為試題， 錯誤類型（M-01～M-16），子技能（S-01～S-14）。

52 二、 模式二 本模式除了與模式1相同，皆有24題選擇題，另加入3題建構反應題(Item-16、 Item-19、Item-26)，共有27題。貝氏網路如圖3-5-2所示，節點由左而右分別為試 題（Item-01～Item-23），錯誤類型（M-01～M-16），子技能（S-01～S-14）。 圖3-5-2 模式二之貝氏網路圖

53 三、 模式三 本模式除了模式1 的20題選擇題以外，另加入融合專家判別以及建構反應題 （CR1～CR3），建構題每一個錯誤類型的有無，均視為一個新試題之對與錯， 所以本模式共有27題。貝氏網路如圖3-5-3所示。節點由左而右分別為試題（Item-01 ～CR3-3），錯誤類型（M-01～M-16），子技能（S-01～S-14）。 圖3-5-3 模式三之貝氏網路圖

54 四、 模式四 本模式放入模式2的題目，再將與3題建構反應題（Item-21～Item-23）相關之 錯誤類型（M-03、M-05、M-10、M-11、M-13、M-14、M-15），直接以自動化 分析建構反應題模型之分析結果輸入，不進行估計。貝氏網路如圖3-5-4。節點由 左而右分別為試題（Item-01～Item-23），錯誤類型（M-01～M-16），子技能（S-01 ～S-14）。 圖3-5-4 模式四之貝氏網路圖