具選擇題與建構反應題之電腦化測驗診斷模式探討—以國小「容量」單元為例

(1)

國立臺中教育大學教育測驗統計研究所理學碩士論文

指導教授：郭伯臣博士

具選擇題與建構反應題之電腦化測驗

診斷模式探討—以國小「容量」單元為例

研究生：鄭涵撰

中華民國九十九年八月

(2)

(3)

謝詞

一個巧合的機緣，在大學同學欣怡、羽伸的考試邀約下，串連起我與台中教育大學測統所間四個難忘又充實的暑假。這三年又兩個月的碩士生活讓我成長許多，不僅是學術上知識的增長以外，更重要的是擴展了我生活的觸角，以及做學問的態度。在這過程中要感謝許多老師及朋友們的提攜與陪伴，尤其是指導老師郭伯臣教授，老師坦率明朗的個性及明快確實的建議，總讓我在學術研究上有撥雲見物、恍然大悟的感動，感謝您不厭其煩的指導，才能督促我在課業上努力精進。同時也感謝口試委員施淑娟教授以及黃孝雲教授，給予論文方面的批評與指教，讓此篇論文更加的嚴謹及完整。感謝學長姐智為、任婕、孟君、筱倩，忙於自己的研究外，還不厭其煩的給予我學術上諸多的建議和指教，讓我在一堆混亂的研究數據中，還能找出一絲曙光；感謝同組的研究夥伴曉竹、亭宇、嘉謚、啟明、寶玉，有你們一同挑燈夜戰與努力，才能讓我的論文順利完成，不然在最後的暑假，我一定會驚慌到手足無措，這段一起打拼的歲月，實在很幸福；感謝最親愛的室友雅娟、婉林、兆敏，感謝有你們的陪伴，讓碩一、碩二的宿舍生活不再只是恐怖的夢魘，雖然總有寫不完的報告，但大家總能相互扶持、幫忙，讓我這位出門忘記上鎖，回宿舍忘記密碼的小女子，能順利畢業，真是感謝上帝！並且大家「就算衰到爆，也要窮開心」的個性，讓我們的足跡在這無數夜晚裡遍及台中各大景點，讓我彷彿重溫大學的年少輕狂般；還要感謝三民國小的同仁與最佳好友元均、曉玉、欣怡、羽伸、明峰的相伴，無論是生病急需求救時，煩悶想找出氣桶時，或是忙到無暇處理日常瑣事時，你們都是我最佳的支援補給站，感謝你們的包容與關心。最後我要感謝最親愛的家人們，從小對我的照顧與栽培，讓我在疲憊辛勞之時，能容忍我任性的脾氣，並給予我無限的支持，讓我無後顧之憂順利的完成學業。你們真是最佳的家人，我愛你們，以及這一路上相伴的所有貴人們！

(4)

(5)

摘要

教學現場常需藉由評量來診斷學生的學習成效，進而進行補救教學。但診斷過程往往費時費力，一份測驗施測後的計分，以致於如何根據測驗的結果進行補救教學，常令教師捉襟見肘，造成施行上的困難。因此，本研究希望能結合貝氏網路研發出一套兼具選擇題與建構反應題之電腦化診斷測驗，利用電腦將學生的解題歷程詳細記錄下來，再藉由系統自動化計分並分析學生作答之反應，由此得到學生的錯誤類型與解題策略，以協助老師閱卷與補救教學的實施。本研究之研究結論如下：一、本研究「容量」單元之電腦化建構反應題相較於選擇題能診斷出學生更多元化之錯誤類型，以利於教師在教學現場上進行補救教學。二、本研究所研發之「自動化分析建構反應題模型」對於錯誤類型之平均辨識率達97.79％，成效良好。三、結合選擇題與建構反應題作答反應的貝氏網路在能力指標、子技能與錯誤類型之辨識率皆優於傳統的貝氏網路。關鍵字：電腦化診斷測驗、建構反應題、錯誤類型、貝氏網路、容量

(6)

(7)

Abstract

It is necessary to diagnose students’ learning condition after the assessment for the teachers, and then,conducting the remedial instruction. And the diagnosis always cost much time and effort, just like scoring the examinations and then conducting the remedial instruction by the testing result. It always makes the teachers have too many difficulties to cope with, and causing the difficulties to execute. Therefore, this thesis is for combining the Bayesian network to develop a Computerized Diagnostic Test which is with both multiple choice questions and constructed-response items. It uses the computers to record the solving steps of the students explicitly, and then scoring the test by the system automatically and analyzing the solving responses of the

students, and from the way to get the error types and solving tactics of the students to support teachers grading the test papers and conducting the remedial instruction.

The conclusions of this thesis are as follows:

1. In the unit “capacity” of the thesis, compare with multiple choice questions, the computerized constructed-response items are more suitable to diagnose more error types of the students, and it is better for the teachers to do the redemptive education on teaching.

2. The development - “automatic analyzing constructed-response items model” of this thesis can identify the error type attaining to 97.79% accuracy, and the

performance is excellent.

3. On the identification of ability targets, sub-skills, and error types, the Bayesian network which is combined the multiple choice questions with the solving responses of the constructed-response items is better than the traditional one.

(8)

Keywords:constructed-response items, Bayesian network, error type, Computerized Diagnostic Test, capacity

(9)

目錄

摘要 ... I Abstract ... III 目錄 ...V 表目錄 ... VI 圖目錄 ... VIII 第一章 緒論...1 第一節研究動機...1 第二節研究目的...2 第三節名詞釋義...2 第二章 文獻探討...5 第一節容量教材與錯誤類型分析...5 第二節建構反應題型及教育測驗上的應用...9 第三節電腦化診斷測驗...12 第四節貝氏網路及相關教育測驗上的應用...17 第三章 研究方法...21 第一節研究流程...21 第二節研究工具...23 第三節研究對象...31 第四節「容量」單元建構反應題之系統介面 ...31 第五節研究設計...33 第四章 研究結果...49 第一節建構反應題題型之計分模式規則 ...49 第二節自動化分析建構反應題模型之成效評估 ...51 第三節貝氏網路模式之成效評估 ...68 第五章 結論與建議 ...79 第一節結論...79 第二節建議...80 參考文獻 ...81

(10)

表目錄

表 2-1-1 九年一貫課程綱要國小五年級「容量」相關能力指標與教材架構...5 表 2-1-2 國小五年級「容量」單元之能力指標與子技能對照表 ...6 表 2-1-3 相關錯誤類型整理 ...7 表 2-1-3 相關錯誤類型整理（續） ...8 表 2-2-1 建構反應題在教育測驗上之相關研究 ...10 表 2-2-1 建構反應題在教育測驗上之相關研究（續） ... 11 表 2-3-1 攜手計畫課後扶助篩選追蹤輔導轉銜試辦計畫實施流程 ...13 表 2-4-1 貝氏網路在教育上之應用 ...18 表 2-4-1 貝氏網路在教育上之應用（續） ...19 表 3-2-1 「容量」單元子技能一覽表 ...24 表 3-2-2 原「容量」單元錯誤類型一覽表 ...25 表 3-2-3 「容量」單元錯誤類型一覽表 ...28 表 3-4-1 資料庫所記錄之學生的解題歷程 ...33 表 4-1-1 「容量」單元建構反應題第 26 題編碼舉例 ...50 表 4-2-1 學生於建構反應題所增加之錯誤類型 ...51 表 4-2-1 學生於建構反應題所增加之錯誤類型（續） ...52 表 4-2-1 學生於建構反應題所增加之錯誤類型（續） ...53 表 4-2-2 第 25 題之全部學生解題錯誤類型數量統計表 ...54 表 4-2-3 第 25 題之全部學生解題策略數量統計表 ...55 表 4-2-4 第 26 題之全部學生解題錯誤類型數量統計表 ...56 表 4-2-5 第 26 題之全部學生解題策略數量統計表 ...57 表 4-2-6 第 27 題之全部學生解題錯誤類型數量統計表 ...58 表 4-2-6 第 27 題之全部學生解題錯誤類型數量統計表（續） ...59 表 4-2-7 第 27 題之全部學生解題策略數量統計表 ...59 表 4-2-8 第 28 題之全部學生解題錯誤類型數量統計表 ...61 表 4-2-9 第 28 題之全部學生解題策略數量統計表 ...62 表 4-2-10 第 29 題之全部學生解題錯誤類型數量統計表 ...63 表 4-2-11 第 29 題之全部學生解題策略數量統計表 ...64 表 4-2-12 第 30 題之全部學生解題錯誤類型數量統計表 ...65 表 4-2-13 第 30 題之全部學生解題策略數量統計表 ...66 表 4-2-14 建構反應題之辨識率 ...67 表 4-3-1 模式 1 與模式 2 貝氏網路之差異 ...69 表 4-3-2 模式 1 與模式 3 貝氏網路之差異 ...69 表 4-3-3 四種模式之能力指標辨識率比較表 ...74 表 4-3-4 四種模式之子技能辨識率比較表 ...75

(11)

表 4-3-5 四種模式之錯誤類型辨識率比較表 ...76 表 4-3-6 四種模式之平均辨識率比較表 ...77

(12)

圖目錄

圖 2-3-1 攜手計畫系統學校登入介面 ...13 圖 2-3-2 電腦化測驗結果報告介面 ...14 圖 2-3-3 數學科表現診斷圖畫面 ...14 圖 2-3-4 MFT 數學健檢首頁 ...15 圖 2-3-5 KSAT 系統首頁 ...16 圖 2-4-1 簡易貝氏網路圖 ...18 圖 3-1-1 研究流程圖 ...22 圖 3-2-1 「容量」單元專家知識結構圖 ...26 圖 3-2-2 原「容量」單元之貝氏網路圖 ...27 圖 3-2-3 「容量」單元之貝氏網路圖 ...30 圖 3-4-1 「容量」單元試題介面 ...31 圖 3-4-2 「容量」單元解題歷程例題 ...32 圖 3-5-1 第 25 題解題策略分析流程 ...35 圖 3-5-2 第 26 題解題策略分析流程 ...37 圖 3-5-3 第 27 題解題策略分析流程 ...39 圖 3-5-4 第 28 題解題策略分析流程 ...41 圖 3-5-5 第 29 題解題策略分析流程 ...43 圖 3-5-6 第 30 題解題策略分析流程 ...45 圖 4-2-1 第 25 題之全部學生解題策略示意圖 ...55 圖 4-2-2 第 26 題之全部學生解題策略示意圖 ...57 圖 4-2-3 第 27 題之全部學生解題策略示意圖 ...60 圖 4-2-4 第 28 題之全部學生解題策略示意圖 ...62 圖 4-2-5 第 29 題之全部學生解題策略示意圖 ...64 圖 4-2-6 第 30 題之全部學生解題策略示意圖 ...66 圖 4-3-1 模式 1 貝氏網路圖 ...70 圖 4-3-2 模式 2 貝氏網路圖 ...71 圖 4-3-3 模式 3 貝氏網路圖 ...72 圖 4-3-4 模式 4 貝氏網路圖 ...73

(13)

第一章緒論

本研究旨在建置一套具選擇題與建構反應題之電腦化診斷系統，並以國小五年級「容量」單元為例。本章第一節說明研究動機；第二節說明研究目的；第三節為本研究重要名詞釋義。

第一節研究動機

現今教育現場，在多元的學習活動下，常常會壓縮到教學時間，所以如何教師在有限的時間內得知學生的學習狀況，並進行補救教學是許多老師在教學現場上面臨的一大問題。隨著網際網路的發展和電腦的普及，學生不僅可透過電腦多媒體的方式進行學習，更能藉由電腦化測驗以進行評量活動。電腦化的測驗不僅能準確的記錄學生的解題歷程，更可迅速經由電腦系統分析出學生的錯誤類型，並討論學生的解題策略，以便於進行之後的補救教學。國內已發展出許多數學領域之電腦化診斷測驗，但大多是以選擇題的形式呈現。但選擇題僅能反映出學生答案的正確性，並無法確定學生的作答歷程是否完全正確，畢竟學生也有可能是因為一時的運氣好壞而猜對。且選擇相同錯誤選項的學生，也未必表示其解題歷程是完全相同的，故若能在測驗中加入建構反應題，將有助於判別學生之真實能力。因此，目前大型測驗中開始加入建構反應題之題型，但目前建構反應題之診斷，仍需仰賴人工閱卷，而造成人力與時間的浪費。所以如能在測驗中加入建構反應題，並以電腦做為分析與計分工具，將能減少人力與時間之負擔，並保有其計分之客觀性。故本研究採用賴淑錦（2009）自編國民小學五年級「容量」單元之試題作為研究範圍，將「容量」數學單元之試題電腦化，開發出一套自動化分析建構反應題模型。希望藉由自動化分析建構反應題模型能將資料庫中的學生作答反應與建

(14)

進行電腦化計分，以減輕教師閱卷之負擔；之後，再將自動化分析建構反應題模型之分析結果，加入貝氏網路，以做為能力、子技能與錯誤類型分析之證據，進而診斷出學生之真實能力，以做為教師進行補救教學之依據，讓學生的學習更加完善。

第二節研究目的

基於上述之研究動機，本研究欲探討之目的分為以下三部分：一、建置一套可自動計分與診斷錯誤類型之「容量」單元電腦化分析系統。二、建置自動化分析建構反應題模型，並進行成效分析。三、比較傳統選擇題之貝氏網路與加入建構反應題之貝氏網路之成效評估。

第三節名詞釋義

壹、建構反應題

建構反應題型（constructed-response items）即一種要學生在答題中呈現思考的過程，解釋答案意義的一種測驗題型。相較於傳統的選擇題，建構反應題通常是較高層次的能力表現，目的在測量學生說明、整合、應用、分析、評估和傳達科學資訊的能力（National Assessment Governing Board, 2004；引自吳任婕, 2009）。故建構反應試題常用於評量學生解釋因果關係、描述原理應用、提出適切論證、陳述假設、組織統整、表達想法等能力（Linn & Gronlund,2000）。

貳、區塊分析

「區塊分析」為本研究中為達自動化分析建構反應題所使用的方法。此方法會先將學生的解題歷程根據運算符號＋、－、×、÷……等，切割成不同的數字區塊，再將每一區塊與錯誤類型之數字區塊進行比對，稱之「區塊分析法」。

(15)

參、錯誤類型偵測率

「錯誤類型偵測率」為本研究評估自動化分析建構反應題模型中單一錯誤類型之準確性所採用的數值。先將專家判斷出具有此錯誤類型之受試者，與其自動化分析建構反應題模型之判斷進行比對，若兩者判斷之錯誤類型皆相同的人數，再除以專家判斷具有此錯誤類型的人數。其計算模式如下：偵測率＝（專家判斷與電腦診斷皆屬此錯誤類型的人數）÷專家判斷具有此錯誤類型的人數

肆、建構反應題之辨識率

「建構反應題之辨識率」為本研究中評估自動化分析建構反應題模型之成效所採用的數值。先將全部受試者的解題歷程輸入自動化分析建構反應題模型，再把分析出的錯誤類型與專家判斷的錯誤類型進行比對，比對相同的人數再除以全部受試者人數，即為本題之辨識率。其計算模式如下：辨識率＝（專家判斷與電腦診斷之錯誤類型相同的總人數）÷總施測人數

(16)

(17)

第二章文獻探討

本研究主要以國民小學五年級「容量」單元為研究範圍，建置一個有選擇題與建構反應題題型的線上診斷系統，並結合貝氏網路開發電腦化診斷系統。為達本研究之目的，本章將針對「容量教材與錯誤類型分析」、「建構反應題型及教育測驗上的應用」、「電腦化診斷測驗」、「貝氏網路及相關教育測驗上的應用」四部分做探討。

第一節容量教材與錯誤類型分析

本節目的在探討「容量」教材與錯誤類型相關文獻，以協助貝氏網路與電腦化診斷測驗系統之建構。依據教育部民國92 年底頒佈「國民中小學九年一貫課程綱要」數學學習領域國小五年級相關的能力指標如表2-1-1。 表2-1-1 九年一貫課程綱要國小五年級「容量」相關能力指標與教材架構 認知發展能力指標教材架構 N-2-10 能認識各種量的普遍單位，應用在生活中的實測和估測活動，並培養出量感（普遍單位：千米、毫米、公升、毫公升、時、分、秒）。個別單位 N-2-11 能理解生活中，各種量的測量工具上刻度間的結構，進而對以同單位表達的量作形式計算。第二階段：具體表徵/察覺樣式 N-2-12 能知道同類量中二階單位之間的關係及使用二階單位作描述，並利用此關係作整數化聚。單位化聚第三階段：類化具體表徵/辨識樣式間的關係 N-3-9 能理解同類量中不同單位之間的關係，並做化聚的活動單位化聚

(18)

根據「容量」單元的能力指標，可以歸納出本單元各能力指標所對應的子技能，如表2-1-2。 表2-1-2 國小五年級「容量」單元之能力指標與子技能對照表 能力指標子技能 N-2-10 能認識各種量的普遍單位，應用在生活中的實測和估測活動，並培養出量感 S01 認識毫公升及其常用單位 S19 能以毫公升為單位，進行估測 S20 能以毫公升為單位，進行實測 N-2-1 能理解生活中，各種量的測量工具上刻度間的結構，進而對以同單位表達的量作形式計算 S05 分公升與毫公升的加法應用題（一階單位） S06 分公升與毫公升的減法應用題（一階單位） S07 分公升與毫公升的乘法應用題（一階單位） S08 分公升與毫公升的除法應用題（一階單位） S13 分公升與毫公升的加乘法應用題（一階單位） S14 公升與毫公升的減除法應用題（一階單位） S15 分公升與毫公升的乘除法應用題（一階單位） N-2-12 能知道同類量中二階單位之間旳關係及使用二階單位作描述，並利用此關係作整數化聚 S04 公升與毫公升二階單位的整數化聚 S09 公升與毫公升的加法應用題（二階單位） S10 公升與毫公升的減法應用題（二階單位） S11 公升與毫公升的乘法應用題（二階單位） S12 公升與毫公升的除法應用題（二階單位） S16 公升與毫公升的加乘法應用題（二階單位） S17 公升與毫公升的減除法應用題（二階單位） S18 公升與毫公升的乘除法應用題（二階單位） N-3-9 能理解同類量中不同單位之間的關係，並做化聚的活動 S02 分公升與毫公升一階單位整數化聚 S03 公升與毫公升一階單位的整數化聚 S21 常用容量單位的應用問題

(19)

本研究「容量」單元之線上測驗是採用賴淑錦（2009）自編國民小學五年級「容量」單元之試題。並從其中選擇出部分適合的選擇題轉為建構反應題題型，希望能以開放式題型保留下學生多樣化的解題歷程，以進行診斷與分析。而本診斷測驗主要依據學生的解題歷程，分析學生的迷思概念，以瞭解學生的真實想法，讓教師能更瞭解學生的概念是否清楚，進而知道學生的問題所在，以進行有效的補救教學。而國內過去已有許多學者針對國小學生在「容量」單元的錯誤類型與迷思概念進行相關研究，資料整理如下表2-1-3： 表2-1-3 相關錯誤類型整理 研究者錯誤類型譚寧君（1996） z 估測能力不足 z 實測能力不足 z 缺乏公升、毫公升量感王瑋樺（2001） z 無法了解題目中字、詞或數字的含意 z 以關鍵字選擇運算的方法 z 不瞭解算式的意義 z 瞭解題意，但無法列出算式林秋榮（2001） z 在文字題上有認字問題 z 缺乏基本運算之能力 z 不知解題的思考邏輯 z 欠缺解題策略與運算能力張淑怡（2004） z 量感不足且缺乏有效的估量策略 z 估側策略除憑靠量感外，多以「單位」作判斷標準 z 欠缺單位換算的能力 z 對「容量」概念不清楚

(20)

表2-1-3 相關錯誤類型整理（續） 研究者錯誤類型張淑怡（2004） z 缺乏相互性的邏輯思考能力劉政霏（2005） z 高低階單位換算的乘除符號錯誤 z 加法進位錯誤 z 直接將二階單位做相加運算 z 將數值直接做加減 z 容量概念錯誤劉穎民（2006） z 計算錯誤 z 加法進位錯誤 z 減法退位錯誤 z 粗心、抄錯數字 z 不懂題意紀承耀（2007） z 對二階單位間的關係不清楚 z 乘法概念不夠清晰 z 小數位值概念錯誤 z 誤解題意 z 乘法計算錯誤 z 除法計算錯誤康軒教師手冊（2008） z 不知道公升與毫公升的關係 z 不瞭解毫公升與 c.c.間的意義根據上表錯誤類型，可發現學生在「容量」單元的「量感」、「單位換算」、「題意瞭解」等部分，能力是較薄弱的。也可得知「容量」單元對學生而言是較困難，且難以理解的單元。

(21)

第二節建構反應題型及教育測驗上的應用

九年一貫課程的評量方法可分為三種：選擇式反應測驗題、建構式反應測驗題、實作評量。目前國內的線上測驗大多是選擇式反應測驗題，但選擇題的作答反應易受猜測因素影響，所以測驗若僅有選擇題一種題型容，便容易造成測量上的誤差，所以測驗應包含建構反應題等開放題型才更為適當（江文慈，1997）。目前在教育改革的推動上，一些國外的入學考試和證照考試也開始在原有的選擇題之外，增加建構反應題或實作評量等部分。故本節將介紹建構反應題之題型與其在教育測驗上的應用。以分析目前建構反應題在教育測驗實施上的優缺點，並作為本測驗開發建構反應題之參考。

壹、建構反應題之題型

建構反應題是一種能提供更多學生的真實能力與解題策略之線索。透過建構反應題，學生能展現獨立思考、自我批判、組織整合、系統評鑑之能力，並呈現成果（教育部，2004）。盧雪梅（2009）將常見建構反應題分為填充題（completion item）和論文題（essay question）。填充題通常要求學生提供明確的答案，而論文題則允許學生自由組織並呈現所想表達的想法。論文題又可分為兩大類：限制反應題（restricted-response question）和擴展反應題（extended-response question），其中限制反應題會對學生的反應形式加以設限，常在問題中指明討論主題的內容範圍和回答方式，或給予學生一些引導，再要求學生根據提示建構答案，也就是以論文題取代選擇題或是非題。所以限制反應題可用來測量學生應用、分析的能力，並可以免於被猜測因素影響。而相對於限制反應題，擴展反應題給予學生更大的答題空間，學生可以自由選擇自己認為相關之知識，歸納整合出最佳之答案，再呈現出來。申論題就是常見的擴展式反應題。擴展反應題相較於限制反應

(22)

較分析觀念、問題解決的技巧（盧雪梅，2009）。本研究所採用的建構反應題屬於「限制反應題」。因限制反應題不但可以避免受選擇題題型的猜測因素而影響施測結果，也不像擴展反應題因答題範圍過大，而難以客觀評分，故採用此種題型。並希望能改善限制反應題在閱卷上費時費力、評分不易客觀之缺點。

貳、建構反應題在教育測驗上的應用

國內外已有不少將建構反應題應用於教育測驗上的相關研究，相關文獻整理如表2-2-1，可發現目前已有許多學者提出選擇題的不足，並設法在測驗中加入建構反應題，且研究範圍遍及自然等其他學習領域，但仍限於紙筆測驗與人工閱卷，僅有小部分研究將測驗開發成電腦化測驗，但建構反應題的分析仍必須仰賴人工閱卷，且計分較無客觀方式。故本研究希望能研發一套辨識率較高的電腦化建構反應題之分析診斷系統，以改善傳統只具有選擇題題型之測驗，並將建構反應題之分析結果加入貝氏網路做為證據，以提高貝氏網路中學生能力之辨識率。 表2-2-1 建構反應題在教育測驗上之相關研究 研究者期刊/論文名稱研究內容摘要徐建煌（2003）國小學童分數文字題解題歷程與解題歷程錯誤類型本研究以北市大安區一所小學的五年級學生為研究對象，進行分數文字題解題測驗，依學生得分分為低中高成就三組，再從三組中隨機抽取8 名學生進行放聲思考測驗，從放聲思考與訪談資料中分析學童之解題歷程與錯誤類型。張國樑（2003）國中生代數文字題之解題歷程分析研究以國中代數文字題為研究的材料，研究樣本取六位國二學生進行解題歷程分析，探

(23)

表2-2-1 建構反應題在教育測驗上之相關研究（續） 研究者期刊/論文名稱研究內容摘要張國樑（2003）國中生代數文字題之解題歷程分析研究討國中學生之解題歷程與策略，並分析解題成敗之因素。根據Schoenfeld(1985)所提的數學解題歷程模式加以修改，採放聲思考法。康桂瑛（2009）國小六年級學生對分數乘除法教材題意理解之分析本研究透過分數乘除法教材文字題題型之分析，以「內容分析法」，並實際進行訪談，旨在探討教科書中分數乘除法文字題問題類型與學生題意理解之關係。主要發現「參照量的判斷」與學生分數乘除法文字題之理解有密切關係，且「參照量已知與否」與學生分數乘除法文字題之理解有密切關係。賴淑錦（2009）資訊科技融入數學多元評量設計—以五年級容量單元為例以國小五年級「容量」單元為研究領域，進行容量單元之多元評量設計。探討多元評量的設計理念，並藉由多元評量活動及問卷調查，觀察五年級學生在多元評量活動上的表現。黃文信（2009）自然科「簡單電路」單元之建構反應題及診斷測驗系統電腦化測驗多以選擇題呈現，雖能收集到的學生作答歷程，但非常有限。希望能從建構反應題收集更多學生的作答反應，並由記錄解題時所做的所有動作來分析學生的錯誤類型。

(24)

第三節電腦化診斷測驗

傳統的測驗多半都是以紙筆方式進行，並仰賴人工閱卷，所以批改試卷變成為教師們在教學上的一大負擔。所幸近年來隨著電腦科技的發展，許多測驗已由傳統的人工閱卷轉變成電腦化測驗，以電腦代替人工來評估學生的學習成效與學習歷程（曾彥鈞，2007）。電腦化測驗簡單來說，具有以下的優點（周文正，1998）：（1）能蒐集學生反應資訊，以利於測驗的分析。（2）提升測驗計分的效率。（3）降低人工閱卷出錯的機率。（4）可反覆練習，並及時給予學生回饋。（5）可進行適性測驗。（6）試題編製具有一致性，使施測趨向標準化。（7）可利用網路進行施測。以下主要介紹目前國內已開發之電腦化評量，以分析各種測驗之優缺點作為本測驗開發電腦化診斷測驗之參考。

壹、教育部攜手計畫電腦化測驗系統

一、網址： http://asaptbt.nutn.edu.tw/cda/ 二、特色：教育部為協助國民中小學落實弱勢低成就學生學習輔導，依教育部攜手計畫課後扶助實施要點辦理學習輔導事宜，特進行攜手計畫課後扶助計畫。以99 年度攜手計畫課後扶助篩選追蹤輔導轉銜試辦計畫年度規畫表（表2-3-1）為例，學生將於6 月進行篩選測驗，並以篩選結果進行開班程序。於 9 月及 12 月將進行追蹤成長測驗，以檢核攜手計畫是否能有效提升學生學習成效（教育部，2010）。攜手計畫電腦化測驗採適性方式進行施測，測驗題目會依照每個學生能力有所不同。施測結束後，系統會自動計分，並將學生測驗結果轉換為T 分數與百分等級，即時給予學生回饋，作測驗結果之報告。攜手計畫的系統並提供國語科的建構題型，以冀求測得學生較高層次的能力，但測驗結果並未看到建構反應題的

(25)

得分與結果分析，尚未達到建構題題型的自動計分與分析錯誤類型之功能。 表2-3-1 攜手計畫課後扶助篩選追蹤輔導轉銜試辦計畫實施流程 日期辦理事項 4.1-4.30 由縣市辦理全縣市說明會 5.1-5.15 除98 年已參與試辦計畫之學校外，其餘攜手學校均應上網回報是否參加99 年度試辦計畫 5.16-5.31 參與試辦計畫學校上網登錄施測時間與人數 6.1-6.30 篩選測驗 7.1 以篩選結果進行開班 9.15-10.1 第一次成長追蹤測驗 12.15-1.31 第二次成長追蹤測驗 圖 2-3-1 攜手計畫系統學校登入介面（註：取自 http://asaptbt.nutn.edu.tw/cda/） 登入後，填入使用者名稱與密碼，並在身分欄選擇「攜手」。

(26)

圖 2-3-2 電腦化測驗結果報告介面（註：取自 http://asaptbt.nutn.edu.tw/cda/）

圖 2-3-3 數學科表現診斷圖畫面（註：取自 http://asaptbt.nutn.edu.tw/cda/）

測驗結束後，系統自動呈現結果，同時將百分等級 35 以下學生 匯入個案管理。

(27)

貳、MFT 數學健檢

一、網址：http://www.mft.com.tw/ 二、特色：

MFT（Mathematic for Taiwan）主要針對台灣教育環境與文化背景，對每個不同的主題做出適合的數學健檢。系統由本校台中教育大學與台電通股份有限公司於2007 年簽訂產學合作計畫「國小五、六年級數學領域之題庫建置」，並將技術轉移至「線上診斷測驗與適性學習系統」。系統介面如圖2-3-4。 MFT 全部皆為選擇題，在題幹敘述上精簡扼要，並適度的佐以圖形，可除卻文字因素所造成的錯誤診斷。且各選項的設計皆針對學生的迷思概念設計，但由於系統無法記錄學生的解題歷程，所以若學生的錯誤概念並未涵蓋在選項中，便可能會遺漏某些沒有包含在錯誤選項中的錯誤類型。 圖 2-3-4 MFT 數學健檢首頁（註：取自 http://www.mft.com.tw/）

(28)

參、以知識結構為基礎之適性化測驗系統

一、網址：http://ksat.ntcu.edu.tw/ksat/index.php 二、特色：

KSAT（Knowledge Structure based Adaptive Test，KSAT）測驗系統為國科會補助研究計畫「國小數學科電腦化適性診斷測驗（I）（II）（III）（郭伯臣，2003， 2004，2005）」之計畫，已於 2006 年 8 月技術轉移台灣階梯數位科技股份有限公司。並簽訂建教合作計畫「以試題結構理論為基礎之國小五、六年級數學領域電腦適性診斷測驗與適性補救教學模式」建置題庫。 KSAT 能精確的診斷出學習上的迷思概念，並節省施測時間，主要是因為 KSAT 系統在建置時，使用到專家知識結構、學生知識結構、補救教學結構，而能達到「因材施測」、「因材施教」之成效（郭伯臣、謝友振、張峻豪、蔡坤穎， 2005）。 圖 2-3-5 KSAT 系統首頁（註：取自 http://ksat.ntcu.edu.tw/ksat/index.php）

(29)

第四節貝氏網路及相關教育測驗上的應用

「貝氏網路」又稱為「機率網路」（probabilistic networks）、「知識地圖」（knowledge map）、「因果關係網路」（casual networks）、「貝氏信念網路」（Bayesian belief networks）等（蘇俊和，2002），由網路圖形結構和貝氏證據推論所結合而成。貝氏網路運用機率圖形模式，將變數與變數間的影響以節點與有向連線的網路結構呈現，主要用來說明各個變項間的關係，以瞭解各種事件發生之機率大小。而貝氏證據推論則根據此網路結構的先驗機率分佈，結合所觀察到的證據訊息，計算未觀察到變數之後驗機率，在依後驗機率推論未觀察到的變數狀態（游國昌，2007）。簡單來說，貝氏網路能依據網路結構的先驗機率分佈，由可觀察到的證據訊息，推論至未觀察到的變數。近年來貝氏網路的應用相當廣泛，因為它能夠輕易地從模式中的一組可觀測之數據做為證據，以推斷另一組不完整資料的機率，且具有絕佳的預測及診斷的能力。因此本研究利用貝氏網路的優點，將貝氏網路運用到電腦化診斷系統，希望能結合自動分析化建構反應題模型的優點，在學生的錯誤類型、子技能等，擁有更精準的分析。

壹、貝氏網路

完整的貝氏網路具有兩個部分，分別是節點（node）及連結（link）。「節點」表示有限範圍內任意的一個「概念」或「變數」，例如：本研究中所提及的能力指標、子技能、錯誤類型、試題等，都屬於「節點」。節點與節點間以「有向邊」做連結，有向邊的有無象徵著兩節點間的因果關係之強度，節點之間若沒有連結，即表示條件獨立。

(30)

如圖2-4-1，甲、乙、丙三節點各表示一個事件的隨機變數。三節點間有甲→乙、甲→丙的關係，即稱「甲是乙、丙的親代」，而「乙、丙是甲的子代」，也可說「甲是乙、丙的父節點」，「乙、丙是甲的子節點」。 圖 2-4-1 簡易貝氏網路圖

貳、貝氏網路在教育測驗上的應用

國內外已有不少將貝氏網路應用於教育測驗上的相關研究，相關文獻整理如表2-4-1，從相關研究中可發現大部分的研究內容多以選擇題為主，但選擇題容易受猜測度所影響，所以以選擇題作答反應為證據加入貝氏網路所做出的平均辨識率不易提升，故本研究希望能加入建構反應題之分析結果，以改善貝氏網路之辨識率。 表2-4-1 貝氏網路在教育上之應用 研究者期刊/論文名稱研究內容摘要謝典佑（2005）多重貝氏網路在教育測驗上的應用探討單一貝氏網路模組和多重貝氏網路模組在不同融合演算法下，對於學生的錯誤類型及其技能分類之辨識率的比較。許雅菱（2005）貝氏網路在教育測驗分析上的應用以貝氏網路為基礎，建立一個符合證據中心的數學評量，並應用在國小面積學習單元的評量。連結（link）條件機率子節點（node）子節點（node）

甲

乙

丙

(31)

表2-4-1 貝氏網路在教育上之應用（續） 研究者期刊/論文名稱研究內容摘要施淑娟（2006）應用貝氏網路進行國小五年級「小數」單元學習診斷之研究以國小五年級「小數」單元為研究範圍，從貝氏網路的方法論著手，發展學生模式與證據模式，建立一個以貝氏網路為基礎的錯誤類型與子技能認知診斷模式。林建福（2007）以知識結構及貝氏網路為基礎進行國小五年級小數乘法單元課程設計與評量建構之研究─以彰化縣某國小為例以國小五年級「小數乘法」單元為範圍，結合知識結構理論及貝氏網路來進行小數乘法單元課程設計與評量的研發。游國昌（2007）應用貝氏網路進行試題分析以「證據中心的評量設計」之架構為基礎，設計以證據為中心的題組試題，進行實徵研究，並結合貝氏網路對施測資料進行分析。高健智（2007）以貝氏網路為基礎之學生分數概念診斷系統以分數概念為主，開發一套以貝氏網路為基礎的分數診斷系統，以診斷學生在分數學習上的錯誤迷思，並提供補救教學。白曉珊（2008）以知識結構及貝氏網路為基礎之數學教材及電腦適性測驗主要在建立一套以知識結構和貝氏網路為基礎之數學教材與電腦適性測驗，供教師進行數學教學與補救教學使用，希冀達到「因材施測」與「因材施教」之效果。

(32)

(33)

第三章研究方法

本研究使用賴淑錦（2009）自編國民小學五年級「容量」單元之試題，將其中部分題目作為建構反應題，建置一套以建構反應題為基礎，並結合貝氏網路的數學科診斷系統。讓學生能進行線上施測，並利用專家所建立的錯誤類型分析，探討學生解題歷程，以建置自動化計分流程。本章節分為五個部分來說明本研究的研究方法：研究流程、研究工具、研究對象、「容量」單元建構反應題之系統介面、研究設計。

第一節研究流程

本研究為建置一套建構反應題的數學診斷系統，其研究流程如圖3-1-1。研究步驟如下：步驟1：確定研究主題，並蒐集相關文獻。採用賴淑錦（2009）自編五年級「容量」單元之試題中，將文字題情境為主的部分題目改為建構反應題，混合選擇題。步驟2：將實際施測所得到的建構反應題之解題歷程與結果進行錯誤類型分析，並確定貝氏網路架構。步驟3：依據建構反應題錯誤類型分析的結果，進行計分模式的探討，並建立「自動化分析建構反應題模型」。步驟4：進行結合建構反應題之貝氏網路成效評估。

(34)

圖 3-1-1 研究流程圖 擬定研究主題文獻探討分析建構反應題錯誤類型建立專家知識結構建立相關錯誤類型資料建置貝氏網路架構建立自動化分析建構反應題模型結合建構反應題之貝氏網路成效分析結論與建議建立計分模式蒐集建構反應題之作答反應自動化分析建構反應題模型之成效分析

(35)

第二節研究工具

本節分述本研究之研究工具，工具為Mathworks 所出版的 MATLAB 7.6 版及數學科數學科領域五年級「容量」單元之試題。

壹、MATLAB 7.6

「MATLAB 7.6」是一套用於分析資料、進行數值計算、發展演算法與應用之程式語言。能有效撰寫程式、編碼與繪圖，將數學運算、資料統計、資料擷取之效能大幅的提升。因此，本研究採用MATLAB 7.6 軟體撰寫自動化分析建構反應題模型與貝氏網路之程式。

貳、貝氏網路工具箱

由郭伯臣、謝典佑（2007）以 Matlab 結合 Murphy（2004）所設計的 Bayes Net Toolbox for Matlab 之相關函數，再加上 TASBN（Test Analysis Software based on Bayesian Network）的工具箱三者合一而成。主要根據施測樣本的單元目標、子技能、錯誤類型、試題、作答反應等資料，來計算貝氏網路之辨識率。

參、「容量」單元測驗之信效度分析

本研究採用賴淑錦（2009）自編之國民小學五年級數學領域「容量」單元試題，其測驗之Cronbach’s α 值達 0.809，顯示本研究試題具有良好的信度。建構反應題題型之建置是由試題中挑選出6 題具有較高層次且適宜之文字情境題，改為建構反應題，以開放式題型為主。本測驗長度共31 題，含選擇題 25 題，建構反應題 6 題。賴淑錦（2009）於編製試卷時，根據相關文獻、專家學者、實際教學者的意見，彙整出與能力指標

(36)

「容量」單元學習內容相關的子技能及錯誤類型，資料彙整如表3-2-1 和表 3-2-2 所示。並提出「容量」單元的知識結構圖（如圖3-2-1）與貝氏網路圖（如圖 3-2-2）。每一節點表示一個概念，節點內容亦是根據研究中的子技能所出。 表3-2-1 「容量」單元子技能一覽表 代號子技能內容 S01 認識毫公升及其常用單位 S02 分公升與毫公升一階單位整數化聚 S03 公升與毫公升一階單位的整數化聚 S04 公升與毫公升二階單位的整數化聚 S05 分公升與毫公升的加法應用題 S06 分公升與毫公升的減法應用題 S07 分公升與毫公升的乘法應用題 S08 分公升與毫公升的除法應用題 S09 公升與毫公升的加法應用題 S10 公升與毫公升的減法應用題 S11 公升與毫公升的乘法應用題 S12 公升與毫公升的除法應用題 S13 分公升與毫公升的加乘法應用題 S14 分公升與毫公升的減除法應用題 S15 分公升與毫公升的乘除法應用題 S16 公升與毫公升的加乘法應用題 S17 公升與毫公升的減除法應用題 S18 公升與毫公升的乘除法應用題 S19 能以毫公升為單位，進行估測 S20 能以毫公升為單位，進行實測 S21 常用容量單位的應用問題

(37)

表3-2-2 原「容量」單元錯誤類型一覽表 代號錯誤類型內容 B01 「公升」與「毫公升」的單位換算概念不清 B02 「分公升」與「毫公升」的單位換算概念不清 B03 忽略單位 B04 無毫公升量感 B05 不瞭解 ml 與 c.c.的意義 B06 估測能力的不足 B07 直接由題目數字來實測 (實測能力的不足) B08 以視覺判斷 B09 直接由數了幾個刻度點來表示實測結果 (實測能力的不足) B10 容量概念錯誤 B11 進位或退位錯誤 B12 其他計算錯誤 B13 將數值直接做運算 B14 使用錯誤的數字運算 B15 使用錯誤的符號運算 B16 直接將二階單位做運算 B17 高低階單位換算乘除符號錯誤 B18 不懂題意 B19 以關鍵字來判斷題目所需要的運算方法 B20 欠缺解題策略及運算能力資料來源：資訊科技融入數學多元評量設計—以五年級容量單元為例（13-17 頁），賴淑錦，2009，未出版，台中市。

(38)

圖 3-2-1 「容量」單元專家知識結構圖

資料來源：資訊科技融入數學多元評量設計—以五年級容量單元為例（13-17 頁），賴淑錦，2009，未出版，台中市。

(39)

圖 3-2-2 原「容量」單元之貝氏網路圖

(40)

但本研究根據測驗中選擇題題目與錯誤類型進行分析時，發現原研究中的錯誤類型有部分重複或分類不夠詳細，故本研究將原研究中部分錯誤類型作修正或合併，重新分析一套選擇題之錯誤類型（如表3-2-3）。修正部分如：原 B11「進位或退位錯誤」涵蓋加法與減法之錯誤類型，故將其區分為B11「計算錯誤：加法錯誤，進位錯誤」與B12「計算錯誤：減法錯誤，退位錯誤」；原 B03「忽略單位」改名為「單位未換算」；原B13「將數值直接做運算」與 B03 相同，皆為未換算單位，直接將數字做運算，故歸類於B03；原 B14「使用錯誤的數字運算」、 B15「使用錯誤的符號運算」、B20「欠缺解題策略及運算能力」皆與 B16「不懂題意」相同，故歸亦為同一類型；原B16「直接將二階單位做運算」意指學生不知如何將二階單位換算，應屬於B01「公升與毫公升的單位換算概念不清」。 表3-2-3 「容量」單元錯誤類型一覽表 代號錯誤類型內容 B01 「公升」與「毫公升」的單位換算概念不清 B02 「分公升」與「毫公升」的單位換算概念不清 B03 單位未換算 B04 無毫公升量感 B05 不瞭解ml 與 c.c.的意義 B06 估測能力的不足 B07 直接由題目數字來實測 B08 以視覺判斷 B09 直接由數了幾個刻度點來表示實測結果 B10 容量概念錯誤 B11 計算錯誤：加法錯誤，進位錯誤 B12 計算錯誤：減法錯誤，退位錯誤 B13 計算錯誤 B14 高低階單位換算乘除符號錯誤 B15 以關鍵字來判斷題目所需要的運算方法 B16 不懂題意

(41)

修正錯誤類型後，本研究即重新分析本測驗之貝氏網路（如圖3-2-3）。節點由左至右共分成四個層次。最左邊一層為試題（I01～I31）；第二層為錯誤類型（B01 ～B16），表示學生在解題過程中可能具有的錯誤迷思；第三層為子技能（S01～ S21），表示學生在解題過程中，需要具備的概念與技能；第四層為能力指標，亦為教學目標。

(42)

圖 3-2-3 「容量」單元之貝氏網路圖 B13 計算錯誤 B10 容量概念錯誤 B08 以視覺判斷 B06 估測能力的不足 B04 無毫公升量感 B03 單位未換算子技能錯誤類型 B01 「公升」與「毫公升」的單位換算概念不清 B05 不瞭解 ml 與 c.c. 的意義 B07 直接由題目數字來實測 B09 直接由數了幾個刻度點來表示實測結果 B11 計算錯誤：加法錯誤，進位錯誤 B12 計算錯誤：減法錯誤，退位錯誤 B02 「分公升」與「毫公升」的單位換算概念不清 B16 不懂題意 B14 高低階單位換算乘除符號錯誤 B15 以關鍵字來判斷題目所需要的運算方 S01 S02 S03 S04 S05 S06 S07 S08 S09 S10 S11 S12 S13 S14 S15 S16 S17 S18 S20 S19 S21 N-2-10 能認識各種量的普遍單位，應用在生活中的實測和估測活動，並培養出量感 N-2-11 能理解生活中，各種量的測量工具上刻度間的結構，進而對以同單位表達的量作形式計算 N-3-9 能理解同類量中不同單位之間的關係，並做化聚的活動 N-2-12 能知道同類量中二階單位之間的關係及使用二階單位作描述，並利用此關係作整數化聚能力指標 I01 I02 I03 I04 I05 I06 I07 I08 I09 I10 I11 I12 I13 I14 I15 I16 I17 I18 I20 I19 I21 I22 I23 I24 I31 I26 I25 I27 I28 I29 I30 試題

(43)

第三節研究對象

壹、線上測驗對象

施測對象以學習九年一貫課程康軒版五年級「容量」單元的學童為主，以方便抽樣法先自台中縣市抽取3 所國小之五年級國小學生，再從中抽取 5 個班級，有效樣本共158 人。

第四節「容量」單元建構反應題之系統介面

本節主要為「容量」單元建構反應題題型之介面操作說明，如圖3-4-1 所示。以下將分為三部分說明，分別為符號區的工具說明和資料庫記錄畫面說明。「容量」單元解題之例題，如圖3-4-2 所示。 圖 3-4-1 「容量」單元試題介面

(44)

壹、工具說明

I：符號區

：點選後輸入的算式則會顯示在左側記錄欄內。：點選後則會清除算式輸入器的算式。：點選後左側記錄欄內會移動至下一行。：點選後會清空左側記錄欄內的所有內容。：輸入後在左側記錄欄內顯示運算符號。：輸入後在左側記錄欄內顯示左括號、右括號。：輸入後在左側記錄欄內顯示數字0～9。：輸入後，將結束本題作答，進入下一試題。 圖 3-4-2 「容量」單元解題歷程例題

(45)

參、資料庫記錄畫面說明

學生使用右方工具列輸入算式後，所有算式與答案均會呈現在畫面的左下角，而系統則會記錄下學生的解題歷程於資料庫（表3-4-1）。 表3-4-1 資料庫所記錄之學生的解題歷程 使用者編號施測時間施測題目資料庫所記錄之學生的解題歷程 06470050610 2008-11-13, 11:04 25 300*4+450*2 =1200+900 =2100 06470050611 2008-11-13, 11:04 25 (300*4)+(450*2) =1200+900 =2100 06470050612 2008-11-13, 11:04 25 (300*4)+(450*2) =1200+900 =2100 06470050613 2008-11-13, 11:16 25 (300*4)+(450*2) =1200+900 =2100 06470050614 2008-11-13, 11:15 25 300 *4 +450*2 =1200+900 =2100 =21L 06470050615 2008-11-13, 11:05 25 4*300+2*450=1200+900 =2100

第五節研究設計

經由專家判別學生解題歷程之錯誤類型後，利用MATLAB 編寫自動判別學生錯誤類型之程式，即「自動化分析建構反應題模型」，進而達到自動化計分。由資料庫中所記錄的資料（表3-4-1）可發現，學生在列式過程中多用到運算子、單位符號，甚至是「交換律」的過程，但這些解題歷程容易造成電腦判別錯誤，故本研究採用「區塊分析」之方式以判別學生的錯誤類型。以下為「自動化分析建構反應題模型」之解題策略分析流程及「區塊分析」之設計方法說明。

壹、「自動化分析建構反應題模型」之分析流程

當學生進行完線上測驗後，我們可由所記錄的資料庫中取得學生的解題歷程，再將學生的解題歷程以下面的流程進行解題策略分析，並經由「區塊分析」法自動化判別出學生的錯誤類型。以下為6 題建構反應題型之解題策略分析流程，及6 題建構反應題型題目、設計決策之步驟。

(46)

一、第 25 題解題策略分析流程 1、題目 一瓶紅茶的容量是300c.c.，一瓶綠茶的容量是 450c.c.，4 瓶紅茶和 2 瓶綠茶的容量合起來，共有多少分公升？ 2、設計決策之步驟 下列判斷方法為圖3-5-1 中的判斷節點： ①：檢測答案是否為「空白」，如為空白，編碼為99。 ②：出現正確答案「21」、「21dl」，且後方無任何字元，判別為「正確」，編碼為 0，其他視為「非全對」。 ③：出現「300*4+450*2」或「300*4、400*2」，判別為「列式正確」，其他視為「不懂題意」。 ④：等號後無任何字元，則判別為「BUG17」，其他為「有算答案」。 ⑤：出現字元「2100」，判別為「計算正確」，其他視為「運算錯誤」。 ⑥：無換算過程，判別為「BUG02」，其他為「BUG03」。 ⑦：根據運算錯誤類型判別為「BUG13」與「BUG24」。

(47)

3、解題策略分析流程 ① 第25 題有作答未作答＜99＞ ② 全對＜0＞非全對 ③ 列式正確 ④ 17 有算答案 ⑤ 運算正確運算錯誤 ⑥ 02 03 ⑦ 13 24 16

(48)

二、第 26 題解題策略分析流程 1、題目 三瓶礦泉水的容量是18 分公升，6 瓶蒸餾水 8400 毫公升，1 瓶礦泉水和 1 瓶蒸餾水相差多少毫公升？ 2、設計決策之步驟 下列判斷方法為圖3-5-2 中的判斷節點： ①：檢測答案是否為「空白」，如為空白，編碼為99。 ②：出現正確列式「8400/6-1800/3」、「1400-600」，歸類至「列式正確」，其餘為「列式錯誤」。 ③：若忽略單位，判別為「BUG03」；等號後無任何字元，判別為「BUG17」；若出現正確答案「800」或「800ml」，且後方無任何字元，判別為「正確」，編碼為0；其餘則為「運算錯誤」。 ④：以區塊分析，給予最接近的錯誤類型：「BUG13」、「BUG19」、「BUG20」。 ⑤：若換算單位錯誤，判別為「BUG02」；若被除數、除數顛倒，判別為「BUG40」；並分類出「小數減大數」、「不懂題意」。 ⑥：以區塊分析，給予最接近的錯誤類型：「BUG45」、「BUG46」、「BUG47」。 ⑦：若列式中未出現「/6」或「/3」之算式，分類為「忽略數量」；其餘為「BUG16」。 ⑧：根據「運算正確與否」判別「BUG38」、「BUG39」。

(49)

3、解題策略分析流程 圖 3-5-2 第 26 題解題策略分析流程 ① ② 未作答＜99＞有作答第26 題列式正確 ③ 17 全對＜0＞ 13 運算錯誤 ④ 19 列式錯誤 ⑤ 不懂題意小數減大數 ⑦ ⑥ 40 02 03 20 45 46 47 38 39 16 ⑧ 忽略數量

(50)

三、第 27 題解題策略分析流程 1、題目 一瓶汽水18 分公升，琦琦買 3 瓶，平分給 9 個朋友和自己喝，全部分完每個人可以喝汽水多少c.c.？ 2、設計決策之步驟 下列判斷方法為圖3-5-3 中的判斷節點： ①：檢測答案是否為「空白」，如為空白，編碼為99。 ②：列式正確則歸類至「列式正確」，其餘為「列式錯誤」。 ③：若等號後無任何字元，則判別為「BUG17」；若出現正確答案「540」或「540c.c.」，且後方無任何字元，判別為「正確」，編碼為 0；其餘則為「運算錯誤」。 ④：根據運算錯誤類型分類為「BUG20」、「BUG24」。 ⑤：若列式中缺少「括號」，但答案正確，判別為「BUG27」；若列式中忘記分給自己，僅出現「/9」，則判別為「忘記分給自己」；若將「分公升與 c.c.」的換算誤以為是千進位或百進位，則歸類為「換算錯誤」：其餘為「BUG16」。 ⑥：以區塊分析，給予最接近的錯誤類型：「BUG28」～「BUG33」。 ⑦：若將「分公升與c.c.」的換算誤以為是千進位或百進位，則歸類為「BUG18」、「BUG44」

(51)

3、解題策略分析流程 圖 3-5-3 第 27 題解題策略分析流程 ① ② 未作答＜99＞有作答第27 題列式正確 ③ 17 全對＜0＞ 20 運算錯誤 ④ 24 列式錯誤 ⑤ 29 31 換算錯誤忘記分給自己 ⑦ ⑥ 16 30 32 28 33 44 18 27

(52)

四、第 28 題解題策略分析流程 1、題目 大水管一秒鐘流出155 毫公升的水量，小水管一秒鐘流出 48 毫公升的水量，兩條水管一分鐘一共可以流出多少水量？ 2、設計決策之步驟 下列判斷方法為圖3-5-4 中的判斷節點： ①：檢測答案是否為「空白」，如為空白，編碼為99。 ②：出現正確列式「（155+48）*60」、「155*60+48*60」，歸類至列式正確，其餘為列式錯誤。 ③：若列式後方無任何字元，判別為「BUG17」；若出現正確答案「12180」，且後方無任何字元，判別為「正確」，編碼為0；其餘則為「運算錯誤」。 ④：以區塊分析，給予最接近的錯誤類型：「BUG11」、「BUG13」、「BUG21」～「BUG26」。 ⑤：當解題策略為「（155+48）*60」時，判別其括號位置是否正確，若無括號，則歸類至「括號使用不當」，其餘為「不懂題意」。 ⑥：若能正確算出答案「12180」，則判別為「BUG27」，其餘為「BUG28」。

(53)

3、解題策略分析流程 圖 3-5-4 第 28 題解題策略分析流程 ① ② 未作答＜99＞有作答第28 題列式正確 ③ 17 全對＜0＞ 11 運算錯誤 ④ 13 21 23 24 25 22 26 列式錯誤 ⑤ 27 28 括號使用不當 16 ⑥

(54)

五、第 29 題解題策略分析流程 1、題目 小和尚到河邊挑水，每次挑7 公升 930 毫公升的水，走回廟裡的路上，都會灑出1260 毫公升的水。他想把一個 80 公升 40 毫公升的水缸裝滿，最少要挑幾次水？ 2、設計決策之步驟 下列判斷方法為圖3-5-5 中的判斷節點： ①：檢測答案是否為「空白」，如為空白，編碼為99。 ②：列式正確則歸類至「列式正確」，其餘為「列式錯誤」。 ③：若列式後方無任何字元，判別為「BUG17」；若出現正確答案「12」或「12 次」，且後方無任何字元，判別為「正確」，編碼為0；其餘則為「運算錯誤」。 ④：根據運算錯誤類型分類為「BUG13」、「BUG19」。 ⑤：若無括號，判別為「BUG27」；若換算錯誤，判別為「BUG01」；並分類出「被除數與除數互置」、「不懂題意」。 ⑥：根據「計算錯誤類型」，將「被除數與除數互置」的錯誤種類分成「BUG40」～「BUG43」。

(55)

3、解題策略分析流程 圖 3-5-5 第 29 題解題策略分析流程 ① ② 未作答＜99＞有作答第29 題列式正確 ③ 17 全對＜0＞ 13 運算錯誤 ④ 19 列式錯誤 ⑤ 40 42 被除數與除數互置 ⑥ 01 41 43 27 16

(56)

六、第 30 題解題策略分析流程 1、題目 每瓶烏龍茶的容量是1 公升 957 毫公升，王老師買了一打，平分給 19 個人喝，全部分完每人可以喝到多少果汁？ 2、設計決策之步驟 下列判斷方法為圖3-5-6 中的判斷節點： ①：檢測答案是否為「空白」，如為空白，編碼為99。 ②：出現正確列式「1957*12/19」、「1957*12」且「/19」，歸類至「列式正確」，其餘為「列式錯誤」。 ③：若列式後方無任何字元，判別為「BUG17」；若出現正確答案「1236」或「1236ml」，且後方無任何字元，判別為「正確」，編碼為 0；其餘則為「運算錯誤」。 ④：根據錯誤類型區塊分析，給予最接近的錯誤類型：「BUG13」、「BUG20」、「BUG24」。 ⑤：根據「解題歷程」，分類為「不懂一打的定義」、「不懂題意」。 ⑥：根據「計算錯誤類型」，將「不懂一打的定義」的錯誤種類分成「BUG34」～「BUG37」。

(57)

3、解題策略分析流程 圖 3-5-6 第 30 題解題策略分析流程 ① ② 未作答＜99＞有作答第30 題列式正確 ③ 17 全對＜0＞運算錯誤 ④ 列式錯誤 ⑤ 不懂「一打」的定義 ⑥ 16 34 36 35 37 13 20 24

(58)

貳、區塊分析法

區塊分析是將解題歷程以運算子分割成數個區塊，再以每個區塊與錯誤類型之區塊進行比對，稱為「區塊分析法」。以第26 題為例，將解題歷程以「÷」、「－」、「＝」將解題過程分割成數個區塊，再將解題歷程的區塊與每種錯誤類型進行比對，最後再將累積次數最高的錯誤類型，也就是最相似之錯誤類型判給此解題歷程。以此題為例，將資料庫裡的學生作答資料「(1800÷3)－(8400÷6)＝800」以「區塊分析法」分割成區塊，如範例中的「解題歷程分割」部分，可分割成5 個區塊。假設有兩種錯誤類型，錯誤類型一為「小數減大數」，犯此錯誤類型的學生解題歷程為「(1800÷3)－(8400÷6)＝600－1400＝800」；錯誤類型二為「小數減大數，並且除法計算錯誤，商忘記補0」，犯此錯誤類型的學生解題歷程為「(1800÷3)－ (8400÷6)＝600－140＝460」。【範例】學生解題歷程 (1800÷3)－(8400÷6)＝800 區塊1 區塊2 區塊3 區塊4 區塊5 解題歷程之區塊分割 _{1800 3 8400 6 800} 1800 3 8400 6 600 錯誤類型一小數減大數 ₁₄₀₀₈₀₀ 1800 3 8400 6 600 錯誤類型二小數減大數且除法計算錯誤，商忘記補0 140 460 錯誤類型一：具有五個相同區塊數。錯誤類型二：具有四個相同區塊數。故將學生判為累積次數最高的錯誤類型，也就是錯誤類型一。

(59)

將學生的解題歷程所分割的5 個區塊與錯誤類型比對，學生的解題歷程有 5 個區塊與錯誤類型一相同，有4 個區塊與錯誤類型二相同；故以此題為例，會將學生判為犯下錯誤類型一。

(60)

(61)

第四章研究結果

本章節依據研究目的，分別在各節中探討其研究結果，並將研究結果分為三部分：第一節為「建構反應題題型的計分模式規則」，第二節「自動化分析建構反應題模型之成效評估」，及第三節「貝氏網路模式之成效評估」。

第一節建構反應題題型之計分模式規則

「容量」單元共有6 題建構反應題（第 25 題～第 30 題），下面以第 26 題為例，說明如何分析學生的解題過程，並且給予計分編碼。

壹、編碼規則說明

一、編碼分為兩部分，共計四碼。二、第一部份：前兩碼為得分，如01、02、03、04、…。以表 4-1-1 為例，此題滿分4 分，計分規則為全對 4 分，若列式正確得 2 分、答案正確得2 分。三、第二部分：後兩碼為解題歷程類型之編碼，如00、01、02、03、04…。當學生全對時，編碼為00，其餘為錯誤類型編碼。

貳、範例說明

一、學生全對之編碼以第26 題為例，全對為 4 分，而解題歷程編碼為 00，故全對之編碼為「0400」。二、學生部分答對之編碼（一）編碼為「0213」，代表此學生具有「錯誤類型 13：計算錯誤」，但此學生列式正確，推斷是因粗心或計算問題導致本題未答對，故本題得分2 分。

(62)

（二）編碼為「0016」，代表此學生具有「錯誤類型 16：不懂題意」，此學生之列式邏輯混亂，推斷其不懂容量文字情境之概念，故本題得分0 分。 表4-1-1 「容量」單元建構反應題第26題編碼舉例 第 26 題（4%） 三瓶礦泉水18 分公升，6 瓶蒸餾水 8400 毫公升，1 瓶礦泉水和 1 瓶蒸餾水相差 多少毫公升？ 編號計分 第 26 題之錯誤類型 B2 0202 「分公升」與「毫公升」的單位換算概念不清 B3 0203 單位未換算 B13 0213 計算錯誤 B16 0016 不懂題意 B17 0217 未算出答案 B19 0219 計算錯誤：除法錯誤，商數補 0 錯誤 B20 0220 計算錯誤：除法錯誤 B38 0038 忽略數量（沒除瓶數） B39 0039 忽略數量（沒除瓶數），且計算錯誤 B40 0240 被除數與除數互置 B45 0245 小數減大數 B46 0046 小數減大數，且未算出答案 B47 0047 小數減大數，且計算錯誤

(63)

第二節自動化分析建構反應題模型之成效評估

實際電腦化線上施測後，將電腦所記錄到的學生建構反應題之解題歷程加以分析，可以發現學生在建構反應題型中所呈現之錯誤類型不同於原先選擇題題型所預設之錯誤類型，變得更加多元化。透過建構反應題所呈現出之錯誤類型列於表4-2-1，灰底部分為原先選擇題所預設之錯誤類型，其餘為建構反應題所增加之錯誤類型。本研究以建構反應題的「辨識率」與單一錯誤類型的「偵測率」作為評估自動化分析建構反應題模型之依據。以下為偵測率與辨識率之定義：一、錯誤類型偵測率（專家判斷與電腦診斷皆屬此錯誤類型的人數）÷專家判斷具有此錯誤類型的人數二、建構反應題之辨識率（專家判斷與電腦診斷之錯誤類型相同的總人數）÷總施測人數 表4-2-1 學生於建構反應題所增加之錯誤類型 編號 錯誤類型 B01 「公升」與「毫公升」的單位換算概念不清 B02 「分公升」與「毫公升」的單位換算概念不清 B03 單位未換算 B04 無毫公升量感 B05 不瞭解ml 與 c.c.的意義 B06 估測能力的不足 B07 直接由題目數字來實測

(64)

表4-2-1 學生於建構反應題所增加之錯誤類型（續） 編號 錯誤類型 B08 以視覺判斷 B09 直接由數了幾個刻度點來表示實測結果 B10 容量概念錯誤 B11 計算錯誤：加法錯誤，進位錯誤 B12 計算錯誤：減法錯誤，退位錯誤 B13 計算錯誤 B14 高低階單位換算乘除符號錯誤 B15 以關鍵字來判斷題目所需要的運算方法 B16 不懂題意 B17 未算出答案 B18 單位換算概念不清，且未算出答案 B19 計算錯誤：除法錯誤，商數補0 錯誤 B20 計算錯誤：除法錯誤 B21 計算錯誤：乘法錯誤，遇乘數為0 時，積忘記補末位的 0 B22 計算錯誤：乘法錯誤，遇乘數為0 時，積末位多補一個 0 B23 計算錯誤：乘法錯誤，遇被乘數有0 時，直接進位 B24 計算錯誤：乘法錯誤 B25 計算錯誤：加法錯誤，0+N=0 B26 計算錯誤：加法錯誤 B27 忘記使用括號 B28 忘記使用括號，且計算錯誤

(65)

表4-2-1 學生於建構反應題所增加之錯誤類型（續） 編號 錯誤類型 B29 分物品，忘記分給自己 B30 分物品，忘記分給自己，且單位未換算 B31 分物品，忘記分給自己，且單位換算概念不清：以為18 分公升＝180 c.c. B32 分物品，忘記分給自己，且未算出答案 B33 分物品，忘記分給自己，且計算錯誤 B34 誤以為一打是兩倍 B35 忽略題目中「一打」的訊息 B36 忽略題目中「一打」的訊息，且未算出答案 B37 忽略題目中「一打」的訊息，且計算錯誤：除法錯誤 B38 忽略數量（沒除瓶數） B39 忽略數量（沒除瓶數），且計算錯誤 B40 被除數與除數互置 B41 被除數與除數互置，且沒括號 B42 被除數與除數互置，且換算錯誤 B43 被除數與除數互置，且計算錯誤 B44 「c.c.」與「毫公升」的單位換算概念不清 B45 小數減大數 B46 小數減大數，且未算出答案 B47 小數減大數，且計算錯誤

(66)

壹、建構反應題之錯誤類型及解題策略分析

一、第25 題建構反應題分析全體學生在第25 題共有 6 種錯誤類型，數量統計表如表 4-2-2，其中 2 種為原選擇題題型所預設（如表4-2-2 灰底所示），另4 種錯誤類型（B2、B13、B17、 B24）為建構反應題題型所增加。本題共有 158 人作答，58 人全對，9 人未作答；而學生在此題犯下的錯誤類型，大多屬「單位未換算」，可見對學生而言，「單位換算」是「容量」單元學習上的一大考驗。本題錯誤類型之辨識率達99.37％。 表4-2-2 第25題之全部學生解題錯誤類型數量統計表 編號錯誤類型學生犯此錯誤類型之人數錯誤類型偵測率 2 「分公升」與「毫公升」的單位換算概念不清 6 0.8333 3 單位未換算 55 1.0000 13 計算錯誤 5 1.0000 16 不懂題意 18 0.9444 17 未算出答案 5 1.0000 24 計算錯誤：乘法錯誤 2 1.0000 99 未作答 9 1.0000 全體學生對第25 題的解題策略，共可分成 5 種，其解題策略示意圖如圖 4-2-1，解題策略之使用人數統計表如表 4-2-3。而策略 A2 在本次施測中，並無學生採用此解題策略。採用策略A1 的學生正確率達百分之百，因其先將單位換算成答案所要求的目標單位，可避免多次換算所造成的錯誤，故正確率較策略B1、 B2 高，屬於較好之解題策略。

(67)

表4-2-3 第25題之全部學生解題策略數量統計表 策略 A1 A2 B1 B2 **其他答對 2 0 42 15 0 答錯 0 0 68 16 15 總人數 2 0 110 31 15 答對比例% 100 * 38.2 48.4 0 *表無人採用此策略 **表學生直接寫答案，或未回答此題 圖 4-2-1 第 25 題之全部學生解題策略示意圖 二、第26 題建構反應題分析全體學生在第26 題共有 13 種錯誤類型，數量統計表如表 4-2-4，其中 3 種為原選擇題題型所預設（如表4-2-4 灰底所示），另 10 種錯誤類型（B13、B17、 B19、B20、B38、B39、B40、B45～B47）為建構反應題題型所增加。本題共有 158 人作答，76 人全對，5 人未作答；而在建構反應題所記錄的解題歷程中，可使用合併列式使用合併列式換算成目標單位答案答案 A1 策略 A2 策略使用分開列式使用分開列式換算成目標單位答案答案換算成目標單位 B1 策略 B2 策略使用預設單位

(68)

以發現B38、39 的錯誤類型都是以「忽略數量」為主要錯誤類型，代表學生在解釋題意時，常會忽略題目中「瓶數」的意義，而導致錯誤；而B45～B47 的錯誤類型都是以「小數減大數」為主要錯誤類型，推斷學生可能是依照題目數字出現的先後順序，依次列式，而忽略式子的合理性，所以犯下B45 的學生在選擇題題型下答案是正確的，但在建構反應題題型中仍無法判為全對。本題錯誤類型之辨識率達97.47％。 表4-2-4 第26題之全部學生解題錯誤類型數量統計表 編號錯誤類型學生犯此錯誤類型之人數錯誤類型偵測率 2 「分公升」與「毫公升」的單位換算概念不清 1 1.0000 3 單位未換算 4 1.0000 13 計算錯誤 12 1.0000 16 不懂題意 3 0.3333 17 未算出答案 23 1.0000 19 計算錯誤：除法錯誤，商數補0 錯誤 2 1.0000 20 計算錯誤：除法錯誤 1 1.0000 38 忽略數量（沒除瓶數） 5 1.0000 39 忽略數量（沒除瓶數），且計算錯誤 14 0.9286 40 被除數與除數互置 2 0.5000 45 小數減大數 1 1.0000 46 小數減大數，且未算出答案 7 1.0000 47 小數減大數，且計算錯誤 2 1.0000 99 未作答 5 1.0000

(69)

全體學生對第26 題的解題策略，共可分成 6 種，其解題策略示意圖如圖 4-2-2，解題策略之使用人數統計表如表 4-2-5。其中策略 B1、B2 由於需要多次換算，所以答對比例相較策略A1、A2 低；策略 A2 比 A1 答對比例較高，推論原因是採用分開列式的學生可避免犯下「小數減大數」類型之錯誤，故答對率較高；採用策略C2 的學生正確率達百分之百，屬於較良好之解題策略。 表4-2-5 第26題之全部學生解題策略數量統計表 策略 A1 A2 B1 B2 C1 C2 其他答對 40 28 1 0 1 5 1 答錯 39 10 2 4 2 0 25 總人數 79 38 3 4 3 5 26 答對比例% 50.6 73.6 33.3 0 33.3 100 3.8 使用合併列式換算成目標單位答案答案 A1 策略使用分開列式使用分開列式換算成目標單位答案答案 A2 策略使用合併列式換算成目標單位換算成高階單位 B1 策略 B2 策略使用合併列式使用分開列式答案答案換算成目標單位換算成目標單位 C1 策略 C2 策略

具選擇題與建構反應題之電腦化測驗診斷模式探討—以國小「容量」單元為例

國立臺中教育大學教育測驗統計研究所理學碩士論文

指導教授：郭伯臣 博士