國立臺中教育大學教育測驗統計研究所理學碩士論文
指導教授:郭伯臣 博士
以建構反應題題型為基礎之數學科診斷
測驗系統建置
謝 詞
終於完成這篇論文了!經過兩年的時間,完成了論文。首先,最要感謝我 的家人,感謝我的父母從小就給我良好的讀書環境,也給我良好的家庭教育, 使我不必為了學費、房租的事情費心;也感謝我的弟弟,在我低潮的時候,給 予我力量和關心,因為有了我的家人,而給我許多前進的力量和勇氣。 誠摯感謝研究所的恩師郭伯臣教授,由教授的指導下,我順利的完成我的 論文,也感謝老師的提攜,除了不厭其煩的指導外,也教我許多人生做人做事 的道理。也感謝口試委員李源順教授和施淑娟教授不吝給予論文方面的指導, 對於研究上的不足之處提出建議,使論文結構更加完整。感謝施慶麟教授、李 政軒學長、何省華學姊對我生活上的鼓勵和幫助;謝謝學長姐慧珉、暄博、典 佑、彥鈞、智為、育隆、懿珊、筱倩、鈞翔和文俊,在學術上不厭其煩的解決 我的問題,並給予我學術和生活上諸多的建議和照應;謝謝同學們秀聿、佳穎、 佳樺、敬蔚、銘豪、仁傑、志勝、士勛,這兩年有你們陪伴的生活,雖然辛苦, 但這是一段多采多姿的回憶,在我需要安慰和加油的時候,大方的給我肩膀和 鼓勵,也感謝你們在線上施測時,不辭辛勞和不分施測學校的遠近,都給我大 力的幫忙,真的很感謝你們。謝謝學弟妹怡伶、辰育、慶皇、慧珊、孟君,你 們的幫忙讓我減輕許多壓力和負擔;也謝謝助理精國、淑瑜、亞君、永婷、敏 嫻、孟穎,給予行政的幫忙,讓我在處理帳務問題時,能夠順利的迎刃而解。 另外,也謝謝我的大學同學家萓、楓丹、貞維、淑惠、碩瑩、子惠、王筳、 怡如,除了在學業上的交流幫忙外,也給予我精神的鼓勵和支持,有了你們作 我的後盾,讓我可以在這裡勇往直前;最後,也感謝威伸,謝謝你陪伴我度過 這兩年的日子,有你的陪伴,讓我有堅持下去的力量,不管我挑燈夜戰到多晚,摘要
傳統電腦化測驗記錄學生作答反應時,只能記錄學生是否答對,無法詳細得 到學生的解題過程;而傳統紙筆測驗雖然能夠得到學生詳細解題歷程,卻會增加 教師閱卷時間及負擔。因此,本研究期望透過建構反應題之數學科電腦化測驗, 利用電腦詳細紀錄學生的解題過程,並得到學生更多元之迷思概念,藉由檢視學 生之解題過程,給予錯誤類型;根據解題過程之規則,利用區塊分析方式,對學 生的錯誤類型進行診斷與分類,並建立自動化分析模型,以利日後學生測驗完 畢,即可透過電腦診斷出學生之錯誤類型及得分。 本研究依據張玲婉(2008)研究「分數的乘法」數學單元之試題,挑選適合 的試題電腦化,透過實際施測的結果,初步分析建構反應題之錯誤類型,並建立 自動化分析模型及建置診斷系統。本研究發現透過診斷系統可詳細記錄學生解題 反應,及學生計算過程,並藉由電腦所診斷出學生的錯誤類型以減輕教師閱卷負 擔,學生也可獲得立即的學習回饋,幫助教師掌握學生的迷思概念及學習狀況。 本研究之研究結論分述如下: 一、學生在「分數的乘法」單元之建構反應題診斷測驗之錯誤類型比選擇題 型之錯誤類型更詳盡、多元。 二、電腦判別之錯誤類型平均正確率為97.15%,顯示該研究所建置之建構反 應題之數學科診斷測驗成效良好。 關鍵詞:線上診斷測驗、建構反應題、錯誤類型、分數的乘法Abstract
This research attempt to development the computer-based diagnosis test system for constructed-response items of “fraction multiplication”. We expect to obtain more misconception of students from problem solving process by computer. And inspect the problem solving process with experts, gives the wrong type.
To design the examination based on knowledge of “Fraction Multiplication”, then choices the suit examination with computerization way, and establishes mistake type for the all questions. After the experimentation, we uses the block-analysis way with computer to diagnosis the students’ error types and error conceptions, and establishes a model of automatize analysis diagnosis on the system, compared the accuracy by experts and computer distinction.
The study result gives:
(1) We can obtain more misconception of students from constructed-response questions than multiple choice questions.
(2) The average accuracy on automotive analysis diagnosis system is 97.15%, which is indicate the automotive analysis diagnosis systems’ effect are fine.
Keywords: Constructed-Response Item, computer-based test, Error Type, Fraction
目錄
摘要 ... I Abstract ... II 目錄 ...III 表目錄 ... IV 圖目錄 ...V 第一章 緒論 ...1 第一節 研究動機 ...1 第二節 研究目的 ...2 第三節 名詞釋義 ...2 第二章 文獻探討 ...4 第一節 建構反應題題型 ...4 第二節 國外大型測驗之建構反應題題型 ...7 第三節 線上診斷測驗 ...14 第四節 「分數的乘法」教材分析 ...23 第三章 研究方法 ...31 第一節 研究流程 ...31 第二節 研究工具 ...32 第三節 研究對象 ...34 第四節 「分數的乘法」單元建構反應題之系統介面...34 第五節 研究設計 ...37 第四章 研究結果 ...48 第一節 建構反應題題型之計分模式分析 ...48 第二節 學生解題過程之錯誤類型分析 ...53 第三節 診斷系統成效評估 ...60 第五章 結論與建議 ...61 第一節 結論 ...61 第二節 建議 ...61 參考文獻 ...63表目錄
表2-2-1 TIMSS 2007 數學評量在四年級和八年級各內容領域百分比 ... 13 表2-4-1 「分數的乘法」單元的能力指標 ... 23 表2-4-2 文獻相關研究之學生「分數的乘法」錯誤解題類型整理... 24 表2-4-3 「分數的乘法」單元之錯誤類型分類 ... 28 表2-4-4 國小六年級「分數的乘法」單元目標之子技能(部分範例)... 28 表2-4-5 「分數的乘法」單元之試題範例 ... 29 表3-2-1 試題參數、答題情形及信度表 ... 33 表3-4-1 資料庫所記錄之學生解題歷程 ... 37 表4-1-1 「分數的乘法」單元建構反應題解題過程編碼舉例 ... 49 表4-2-1 學生於建構反應題題型所增加之錯誤類型 ... 53 表4-2-2 第 27 題之全部學生解題錯誤類型數量統計表 ... 54 表4-2-3 第 27 題之全部學生解題策略數量統計表 ... 55 表4-2-4 第 28 題之全部學生解題錯誤類型數量統計表 ... 55 表4-2-5 第 28 題之全部學生解題策略數量統計表 ... 56 表4-2-6 第 29 題之全部學生解題錯誤類型數量統計表 ... 57 表4-2-7 第 29 題之全部學生解題策略數量統計表 ... 57 表4-2-8 第 30 題之全部學生解題錯誤類型數量統計表 ... 59 表4-2-9 第 30 題之全部學生解題策略數量統計表 ... 60 表4-3-1 診斷正確率 ... 60圖目錄
圖2-2-1 NAEP 之數學評量架構...8 圖2-2-2 PISA 之數學評量架構... 11 圖2-3-1 MFT 數學健檢首頁 ...16 圖2-3-2 MFT 數學健檢結果—學習概況分析圖 ...17 圖2-3-3 MFT 數學健檢結果—概念診斷報告 ...17 圖2-3-4 MFT 數學健檢結果—錯誤題目列表 ...18 圖2-3-5 學生進行檢測介面 ...19 圖2-3-6 補救教學介面 ...19 圖2-3-7 學生測驗結果瀏覽介面 ...19 圖2-3-8 進行測驗介面 ...21 圖2-3-9 學生測驗結果查詢介面 ...22 圖2-3-10 學習診斷報告 ...22 圖2-4-1 「分數的乘法」單元之貝氏網路圖 ...27 圖3-1-1 研究流程圖 ...32 圖3-4-1 「分數的乘法」單元試題介面 ...35 圖3-4-2 「分數的乘法」解題歷程例題 ...36 圖3-5-1 第 27 題解題策略分析流程 ...39 圖3-5-2 第 28 題解題策略分析流程 ...41 圖3-5-3 第 29 題解題策略分析流程 ...43 圖3-5-4 第 30 題解題策略分析流程 ...45 圖4-2-1 第 27 題之全部學生解題策略示意圖 ...54 圖4-2-2 第 28 題之全部學生解題策略示意圖 ...56 圖4-2-3 第 29 題之全部學生解題策略示意圖 ...58 圖4-2-4 第 30 題之全部學生解題策略示意圖 ...59第一章 緒論
本章第一節說明研究動機;第二節說明研究目的;第三節為本研究重要名詞 釋義。第一節 研究動機
電腦化測驗是現今教學活動中常被使用的工具,隨著網際網路科技與電腦 多媒體的興盛,近年以網際網路為基礎的教學方式逐漸受到重視,學習方式也使 用電腦多媒體來輔助傳統教學方法,而學習環境則從現實環境延伸到虛擬網路學 習世界(巫靜宜,1999)。評量的目的不僅是評定學生的成績良窳,在學生完成 一定的學習範圍後,更可協助學生藉由評量方式,瞭解自己的不足之處,並加強 學習自己的不足之處。透過電腦化測驗除了可以評定學生的成績好壞,學生在評 量後可立即從電腦的分析得到回饋訊息,加強學習不足的地方。 然而,傳統的紙筆測驗只提供學生表現的整體分數,教師無法從整體分數上 得知學生在學習歷程中的盲點,更無法讓學生知道自己之不足而予以補強。透過 線上評量測驗方式來改善以往的傳統測驗,讓教師與學生可以更快的了解在學習 上的成效及盲點。此外,在推動教育改革之際,期望藉由評量之革新來提升教師 教學的品質和學生學習的成就,一些國外大型入學測驗和證照考試,除了選擇題 外,並增加建構反應(constructed-response)題或實作測驗部分(盧雪梅,1997)。 而綜觀國內數學領域之電腦化診斷測驗,大多以選擇題或填充題形式呈現,只能 紀錄受試者答案,無法判斷學生是猜對或同一錯誤選項之不同解題歷程。因此, 本研究以國外大型入學測驗為範例,擬開發建構反應題題型,以達到可記錄學生 多元之解題歷程。 「分數」是國小學童容易產生學習困難的數學主題之一(呂玉琴,1991;陳 靜姿,1999),因此,本研究使用張玲婉(2008)自編之數學領域「分數的乘法」 單元測驗卷作為研究範圍,將「分數的乘法」數學單元之試題電腦化,使電腦化診斷測驗可達到自動化分析成效,並降低教師閱卷負擔,幫助教師快速找出學生 學習盲點。電腦化診斷測驗雖可快速診斷出學生學習的盲點,然而現今電腦化診 斷測驗只有選擇題題型可達到自動化計分,若是填充題或計算題就無法立即進行 自動化計分;因此,本研究期望建置以建構反應題為基礎之數學科診斷測驗系 統,除記錄學生所選之答案外,亦可詳細記錄學生之解題與列式歷程,精準診斷 學生之迷思概念及學習狀態,可針對學生在建構反應題之解題過程進行診斷及自 動化分析,讓教師在最短時間掌握學生的迷思概念,並可留下更多時間進行補救 教學,讓學生的學習更完善。
第二節 研究目的
基於上述之研究動機,本研究欲探討目的分為以下四部分: (1)開發建構反應題題型之計分模式。 (2)傳統選擇題題型及建構反應題題型之錯誤類型比較。 (3)建置以建構反應題題型為基礎之診斷系統。 (4)以建構反應題題型為基礎之診斷系統成效評估。第三節 名詞釋義
壹、建構反應題
建構反應題(constructed-response items)即非選擇題,旨在測量學生說明、 整合、應用、分析、評估和傳達科學資訊的能力(National Assessment Governing Board, 2004)。Linn & Gronlund(2000)亦認為,建構反應試題能測量學生運用 思考、解決問題、組織統整、和表達想法的能力,即透過學生獨立思考、自我批 判、組織整合、系統評鑑、並呈現成果(教育部,2004)。貳、錯誤類型
本研究之錯誤類型為學生解決數學概念時,學生所具備的相關知識概念不同 於專家或教學者公認的想法。錯誤類型制定的過程是根據文獻、教材、教師手冊 與專家學者意見之資料蒐集,定義出常見的錯誤類型,並進行分類。參、區塊分析
區塊分析係本研究中為達到自動化分析所使用的方法,將學生解題過程以符 號分割為區塊,每區塊再與錯誤類型進行比對,稱為「區塊分析法」。第二章 文獻探討
本研究主要的目的為以建構反應題題型來建置一個線上診斷系統,且分析 學生在建構反應題題型中所具有的錯誤類型,並以國民小學六年級數學領域第 11 冊「分數的乘法」單元作為本研究所探討的研究範圍。為達到本研究之目的, 在相關文獻部分,針對建構反應題型、國外大型測驗建構反應題題型、診斷測 驗及「分數的乘法」教材分析四部分來探討。第一節 建構反應題題型
建構反應題的答案由學生產生和提供,需要人工閱卷計分,無法使用電腦 閱卷。常見的建構反應題有填充題(completion item)和論文題(essay question)。 盧雪梅(2009)研究中提及,論文題有時也稱作開放式問題(open-ended question), 填充題通常要求學生提供一明確答案,而開放式問題允許學生自由建構、組織和 呈現想法,根據給予學生組織和表達觀念的自由程度,開放式問題可分為兩大 類:限制反應題(restricted-response question)和擴展反應題(extended-response question),擴展反應題又稱申論題。 建構反應題即非選擇題,旨在測量學生說明、整合、應用、分析、評估和傳 達科學資訊的能力(National Assessment Governing Board, 2004)。Linn & Gronlund (2000)也認為,建構反應試題能測量學生運用思考、解決問題、組織統整、和 表達想法的能力,即透過學生獨立思考、自我批判、組織整合、系統評鑑、並呈 現成果(教育部,2004)。以下將針對盧雪梅(2009)研究中所分類之類型分別 敘述。生的記憶力。有時填充題可以改採用簡單的直接問句陳述問題,稱之簡答題 (short answer)。 填充題的優點為以下三項: (1)用於測量廣泛知識成果。 (2)和選擇題相比,可降低學生猜測的行為。 (3)在測量數學和科學的計算、公式和方程式,及英文字彙拼字,填充題較選 擇題有更佳的信度和效度。 但填充題有下列三項限制: (1)要求的答案簡短明確,較難測量到複雜思考,組織和表達的能力。 (2)適用於測量事實性知識,大量使用會讓學生產生機械背誦的習慣。 (3)和選擇題相比,計分較費力、費時,且無法採用電腦閱卷;且學生答案部 分正確、書寫字跡和錯別字,都可能影響到計分的客觀性。
貳、限制反應題
限制反應題對學生反應的內容和形式加以設限,常在問題中指明討論主題 的內容範圍和反應的方式,例如「比較選擇題和論文題的信度和效度。」有時 也可能限制作答的篇幅。限制反應題可以測量以下八項能力(Linn & Gronlund, 2000): (1)解釋因果關係; (2)描述資料的限制; (3)提出適切的論證; (4)解釋方法和程序; (5)陳述有效的結論; (6)說明必要的假定; (7)陳述可辯護的假設;(8)描述原理原則的應用。 限制反應題有三項優點: (1)用來測量解釋、應用和分析資訊的能力。 (2)和選擇題相比,限制反應題可免於猜測因素影響,在試題預備上也較容易; 此外,限制反應題可測量學生組織和書寫表達的能力。 (3)和擴展反應題相比,學生答題方向與範圍較能和預期測量的目標相符,較 有利於計分,在試題取樣上也能較廣泛,內容效度較佳。 但限制反應題有下列兩項限制: (1)和選擇題相比,限制反應題在閱卷計分上較費時、費力,而且評分較不易 客觀;除此,試題取樣範圍亦有限,較不易具代表性,內容效度較差。 (2)和擴展反應題相比,較無法測量到組織、統整和創意表達的能力。
參、擴展反應題
擴展反應題給予學生相當大的答題自由,學生可以自由選擇自己認為有關 的知識,根據自己最佳的判斷組織答案,整合和評鑑自己認為適當的想法觀念, 並將之呈現出來。此種自由度使學生展現其選擇、組織、統整、評鑑和創意表 達的能力,這些能力通常是學校教育的重要目標。擴展反應題可以測量以下各 項能力(Linn & Gronlund, 2000):(1)提出、組織和表達想法; (2)統整不同領域的學習結果;
(3)創作新穎獨特的方式(如設計實驗);
(4)各種文類的寫作(如敘述、說明和說服性質的文章)。 擴展反應題有以下幾項優點:
(2)和選擇題相比,擴展反應題可免於猜測因素影響,在試題預備上也較容易; 此外,其對學生學習方法和習慣的影響較為積極,例如,在準備考試上, 學生花較多的時間思考事實間的關係、比較分析觀念和問題解決的技巧。 擴展反應題下列兩項限制: (1)給予學生太大的作答自由,不適合用來測量特定的學習結果,且造成計分 上的困難。 (2)和限制反應題相比,計分難度增高,試題取樣範圍亦更為侷限,信度和內 容效度受到的威脅更大。 本研究使用的建構反應題題型屬限制反應題,因擴展反應題題型給學生很 大的答題自由,學生須自行組織、思考,並表達出想寫下之答案,可避免猜測 因素影響計分,但也造成了計分的困難。因此,使用建構反應題題型結合電腦 化測驗,除記錄學生完整作答反應,亦可避免學生投機猜測答案,協助教師得 到學生完整之迷思概念。
第二節 國外大型測驗之建構反應題題型
將建構反應題題型結合電腦化測驗,可完整記錄學生作答反應,國外已有 大型測驗加入建構反應題型,如國家教育進展評量(National Assessment of Educational Progress, NAEP)、國際學生評量(The Programme for International Student Assessment, PISA)及國際數理趨勢研究(The Trends in International Mathematics and Science Study, TIMSS),以下將簡介三個大型測驗及列舉其建構 反應題題型及編碼說明,以於研究中錯誤類型分析之用。壹、國家教育進展評量(NAEP)
一、簡介
情況,藉以促進教育改革與課程教學革新,並提供了解影響教育表現之因素。主 要評量(Main NAEP)是指「注重學生現在學習的內容是什麼」,一般NAEP所呈 現的教育評量結果大多屬於主要評量。主要評量的評量內容每十年都會重新檢視 與更新(Lee, Grigg, and Dion,2007)。測驗的學生為四年級、八年級與十二年級 學生,測驗的能力為閱讀能力(reading)與數學能力(mathematics)。NAEP數學 領域之評量架構主要包含三大向度:內容成分(content strands)、數學能力 (mathematical abilities)、數學力(mathematical power)。NAEP數學領域之評量 架構,詳見圖2-2-1。
圖2-2-1 NAEP之數學評量架構
引自:Mathematics framework for the 2003 national assessment of educational progress. (Lee et al., 2007)
CS B1 B2 B3 B4 B5 MA A1 A2 A3 MP C1 C2 C3
二、建構反應題題型 題目: Jan點心舖有三種不同的冰淇淋-香草、巧克力和草莓,並有三種冰淇淋盛裝 的方式-盤裝、甜筒和一般捲筒。現在有九個客人,每一個人都可以選擇一種口味 的冰淇淋和一種盛裝方式,但是他們九人的選擇組合都是不同的,請你列出這九 種不同的選擇組合。 今天若有一個新的客人進來點心舖,他的選擇會跟上面九種選擇組合不同 嗎?請你回答並說明為什麼。 三、編碼說明
(一)延伸的:正確顯示九種不同的方式,並在第二部分回答〝是〞或〝不是〞 且作適當的解釋。 (二)良好的: 1. 顯示 7 或 8 種不同的方式,但在第二部分有或沒有做適當的解釋。 2. 顯示 9 種不同的方式,但在第二部分沒有做適當的解釋或做了不適當 的解釋。 (三)部分的:顯示4 ~ 6 種不同的方式,但第二部分有或沒有適當的解釋。 (四)最小的: 1. 顯示 1 ~ 3 種不同的方式,但在第二部分有或沒有做適當的解釋。 2. 顯示 9 種方式,但沒有清楚的定義。 (五)錯誤的:錯誤的反應。
貳、國際學生評量(PISA)
一、簡介1999年「國際經濟合作與發展組織(The Organization for Economic and Cooperation Development, OECD)」發展跨國評量學生的計畫,此計畫即稱之為「國 際性學生評量計畫,PISA」(OECD,2005)。推動數年之後,藉由跨國性研究架 構的支持,在國際已具有相當的影響力(張鈿富、王世英、吳慧子、周文菁,2006)。 PISA運用了數學素養的概念來描述學生提出、解決及解釋各式各樣牽涉到數量、 空間、機率或是其他數學概念的問題情境時,能有效進行分析、推理以及溝通的 能力(林煥祥、劉聖忠、林素微、李暉,2008)。PISA之評量架構主要包含三大
圖 2-2-2 PISA 所評量之數學能力
取自:Assessing Scientific, Reading and Mathematical Literacy: A Framework for PISA 2006.(OECD,2005) 二、建構反應題題型 題目:農夫將蘋果樹種在正方形的果園。為了保護蘋果樹不怕風吹,他在蘋果樹 的周圍重針葉樹。在下圖裡,你可以看到農夫所種植蘋果樹的列數(n),和蘋果 樹數量及針葉樹數量的規律: 問題(PROBLEM) 與 解決(CONTEXT) 數學概念(Overarching ideas) 內容(CONTEXT) 情境(Situations) 脈絡(CONTEXT) 問題形式 (Problem format) 歷程(Process) 能力(Competencies) 能力群組 (COMPETENCY CLUSTER)
問題:請完成下表的空格 n 蘋果樹數 針葉樹數 1 1 8 2 4 3 4 5 三、編碼說明 (一)滿分 1. 代號 21:7 格全對 (二)部分分數 1. 代號 11:在 n=2、3、4 時均答對,但 n=5 答錯一格或未作答。 2. 代號 12:n=5 中的數量均答對,但在 n=2、3 或 4 中有一格錯或未作答。 (三)零分【表格中有兩個或以上的錯誤】 1. 代號 01:在 n=2、3、4 均答對,但 n=5 兩個空格全錯。 2. 代號 02:其它答案 (四)代號99:沒有作答
參、國際數理趨勢研究(TIMSS)
一、簡介學教育成就研究」(Third International Mathematics and Science Study, TIMSS)共 計有41個國家參與。1999年,針對八年級學生進行「第三次國際數學與科學教育 成就調查後續研究」(TIMSS-R)。TIMSS 2003定義數學科評量架構之雙向細目表 是依據內容領域(content domains)與認知領域(cognitive domains)所架構而得 (Mullis, Michael, Graham, Christine, Alka, Ebru,2007)。
TIMSS 2007數學試題評量架構的開發,是世界超過60個國家的專家團體們合 作努力的成果,在開發四年級和八年級的具體評量目標時,主要是依賴TIMSS 2003的內容架構,並予以大規模的更新,整合主要的內容領域,並分別在兩個年 級提出其新的內容領域(Mullis et al., 2007),如表2-2-1所示。 表2-2-1 TIMSS 2007 數學評量在四年級和八年級各內容領域的百分比 年級 內容領域 百分比 數(number) 50% 幾何圖形與測量(geometric shapes and measures) 35% 四 年 級 資料呈現(data display) 15% 數(number) 30% 代數(algebra) 30% 幾何(geometry) 20% 八 年
級 資料與機率(data and chance) 20%
二、建構反應題題型
題目:每一小格的面積為 1 平方公分,請依照現有的粗線條上面繼續完成使它 圍出來的圖形面積為13 平方公分。
三、編碼說明 (一)正確回答 1. 代號 10:畫出的圖形面積為 13 平方公分。 (二)不正確的回答 1. 代號 70:誤將半格計算為一格。 2. 代號 71:直接畫出一條直線使這個圖形形成一個封閉的圖形。 3. 代號 72:圖形為一個對稱的圖形。 4. 代號 73:其他不正確的類型(包括擦掉、刪掉、或留下與本題無關的 筆跡)。 (三)沒有回答 1. 代號 99:空白。
第三節 線上診斷測驗
使用電腦為媒介的測驗方式已有超過20年的歷史,這種測驗方式的優點在於 節省測驗時間與即時計算測驗成績。測驗的核心部分是試題,而試題品質的優劣 將會影響整個測驗的良窳,線上診斷測驗對教學者有下列的好處(王榕榆,2006): (1)提供回饋給學習者:透過測驗的結果去判斷學習者的學習障礙,進而調整 自己的學習方法。 (2)提供回饋給教學者:可提供教學者知道學習者的學習障礙,有助於實施團 體或個別的補救教學,或額外提供補救教材,進而改善教學的成效。 (3)提供改進課程的依據:教師可以觀察到每位學生的學習障礙,若有單元是(1)提升施測與批閱給分效率,讓教師能有較多時間在教學研究上; (2)便於教師蒐集受試反應資訊,以協助教師做測驗難度與效度分析; (3)提供具一致性的測驗準備與試題製作,使施測更趨於標準化; (4)有利於發展網路多媒體測驗之呈現型態; (5)有利於適性測驗的發展; (6)減少紙上作業,降低人工作業出錯的機率; (7)易於反覆練習,迅速提供施測結果與正確性的回饋導引資訊; (8)易於建立競爭式環境,提供學習動機與成效。 由上述,我們可得知線上診斷測驗,不僅可以給學生即時回饋,且具有計分 快速之優點。藉由電腦能儲存大量訊息之優勢,記錄學生相關作答歷程,可以獲 得更豐富之學生作答訊息以更精確的推論學生之相關能力,提昇教師的教學品質 及 學 生 的 學 習 成 效 。 以 下 將 分 為 國 外 「 網 路 實 作 技 能 系 統 」(Networking Performance Skill System,簡稱NetPASS)線上診斷測驗及本研究團隊所研發的線 上診斷測驗系統兩部分分別闡述。
壹、網路實作技能系統
NetPASS是一套由Cisco Networking Academy Program(CNAP)研發的系統, 用於電腦網路設計、結構和偵測錯誤的評量及訓練。為了評量學生是否可以在網 路運作,所以評量的設計必須在深度及廣度上都必須超越其他的線上測驗。此系 統可供學生練習電腦網路技巧並從學生作答反應得到回饋,亦可由學生作答反應 得到之證據,並可估計及儲存學生多次作答反應之技能及能力。NetPASS的模擬 環境是以完善的心理學為基礎用以支援學習,當學生第一次登入時,可於頁面上 選擇範圍(設計、結構或偵測錯誤)及不同的難度等級(簡單、中級、困難); 在學生作答完成後,NetPASS針對學生的錯誤予以回饋(Behrens, Mislevy, Bauer, Williamson, & Levy, 2004)。因此,本研究將參考NetPASS來建置電腦化測驗系統。
貳、本研究團隊所研發之線上診斷測驗系統
過去本研究團隊已研發多種測驗理論為基礎的線上診斷測驗系統,包含 「MFT數學健檢」(Mathematic for Taiwan)、「以試題反應理論為基礎之適性測驗 系統」及「以知識結構為基礎之適性化測驗系統(Knowledge Structure based Adaptive Test,簡稱KSAT)」。以下將分別闡述三個線上診斷測驗系統。
一、MFT 數學健檢
MFT(Mathematics for Taiwan)是針對台灣的文化特色與教育背景,對每 一個不同的主題做出適合的數學健檢。系統已於2007 年由本校臺中教育大學與 台電通股份有限公司簽訂產學合作計畫「國小五、六年級數學領域題庫建置」, 並技術轉移「線上診斷測驗與適性學習系統」。系統介面如圖2-3-1、2-3-2、2-3-3、 2-3-4 所示。
圖 2-3-2 MFT 數學健檢結果—學習概況分析圖
圖 2-3-4 MFT 數學健檢結果—錯誤題目列表
二、以試題反應理論為基礎之適性測驗系統
試題反應理論(item response theory,IRT)是現代測驗理論重要的基礎, 依據受試者的測驗表現結果,經數學模式的運算,評估受試者能力和測驗反應 間之關係,亦即觀察其測驗反應結果,再經數學模式的運算,即可估計受試者 的能力(ability)或心理特質(latent traits)。 (一)本團隊發展現況 1. 已發展出以試題反應理論為基礎的題庫系統、測驗系統、補救教學系 統(王淑卿,2005;鄧景麟,2005;劉泰成,2005)。 2. 以試題反應理論為基礎之適性化測驗系統圖,如圖 2-3-5、2-3-6、2-3-7 所示。
圖 2-3-5 學生進行測驗介面
圖 2-3-6 補救教學介面
三、以知識結構為基礎之適性化測驗系統 KSAT 為國科會補助研究計畫「國小數學科電腦化適性診斷測驗(I)(II) (III)(郭伯臣,2003-2005)」之技術轉移及國立臺中教育大學、亞洲大學與 階梯數位科技股份有限公司建教合作計畫「以試題結構理論為基礎之國小五、 六年級數學領域電腦適性診斷測驗與適性補救教學模式」之共同研究成果,其 中研發及技術轉移時間共計四年。 (一)KSAT 特點 KSAT 根據學生知識結構設計適性施測流程,可依不同受試者的作答情形 而給予適當的試題,藉此節省大量的試題並可對學生的剖面圖得到精確的估 計,發展具有診斷學生錯誤概念的電腦化適性測驗,透過此系統能將學生課堂 後的評量數位化及網路化,藉此達到「因材施測」及「因材施教」(郭伯臣、 謝友振、張峻豪、蔡坤穎,2005)。 KSAT 優於其它電腦測驗系統之處為: 1. 可診斷同分不同錯誤類型之學生,便於因材施教。 2. 「評量」、「診斷」與「補救教學」皆適性化、個別化,達到「因材施測」、 「因材施教」的目的。 3. 網路化,可達到隨時檢測的目的。 4. 與施測全部紙筆測驗試題情境比較,當預測精準度設定為 0.95 時,KSAT 平均可節省50%以上的施測題目。 5. 節省學生大量測驗時間,可把時間用於適性補救教學。 (二)本團隊發展現況 1. KSAT 內各單元試題(含能力指標)已經成為上萬題的題庫。
平均可節省50%以上的施測題目(黃珮璇、王暄博、郭伯臣、劉湘川,2006; 楊智為、張雅媛、郭伯臣、許天維,2006)。 4. KSAT 已經結合數位個別指導模式,進行補救教學成效良好(林立敏、白曉 珊、郭伯臣、劉育隆,2006;白曉珊、劉育隆、郭伯臣、施慶麟,2006; 許天維、楊智為、盧炎成、郭伯臣,2006;莊惠萍、劉育隆、郭伯臣、曾彥 鈞,2006;趙琬津,2006;盧炎成,2006)。 5. 本研究團隊已經將試題結構理論之電腦化適性測驗系統及動畫補救教學模 組符合SCORM2004 規格(陳建岳,2004;李淑娟,2006)。 6. 以知識結構為基礎之適性化測驗系統圖,如圖 2-3-8、2-3-9、2-3-10 所示。 圖2-3-8 進行測驗介面
圖2-3-9 學生測驗結果查詢介面
圖2-3-10 學習診斷報告
由於電腦化適性測驗足以應付大量的受試者,所以非常受到現代大型測驗 的青睞,但在大量受試者使用過後,便會產生試題安全性的問題,本團隊亦有 發展具有曝光率控制之電腦化適性測驗(錢永財, 2005;陳昇座,2007;蔡曜仲,
第四節 「分數的乘法」教材分析
「分數」是國小學童最容易產生學習困難的主題之ㄧ(呂玉琴,1991;陳 靜姿,1999)。因此,本研究選擇此題材進行研究,企圖透過建構反應題之電腦 化測驗設計,進一步了解學生完整的分數學習表現,本研究單元的範圍係指依 據教育部92 年發佈之「國民中小學九年一貫課程網要」中數學學習領域第三階 段能力指標,所選取之康軒出版社六年級第11 冊「分數的乘法」單元。此單元 需培養的能力指標整理如下表2-4-1。 本研究「分數的乘法」單元之建構反應題線上評量是採用張玲婉(2008) 自編之試題,建構反應題題型之建置流程是從選擇題型中,選出適合做成建構 反應題題型的概念,將這些概念進行分析與命題,命題時以開放式題型為主, 以引導學生產出各式各樣之解題歷程與使用工具。 表2-4-1 「分數的乘法」單元的能力指標 編 號 說 明 N-3-4 在具體情境中,解決分數乘以分數的問題,進而形成分數倍 的概念。 CN-13 補充分數乘法及除法的算則。 CN-14 加強分數的兩步驟四則混合計算。 C-R-2 能察覺數學與其他領域之間有所連結。 C-R-3 能瞭解其他領域中所用到的數學知識與方法。 C-S-4 能運用解題的各種方法:分類、歸納、演繹、推理、推論、 類比、分析、變形、一般化、特殊化、模型化、系統化、監 控等。 C-S-5 瞭解一數學問題可有不同的解法,並能嘗試不同的解法。 C-C-3 能用一般語言與數學語言說明情境與問題。 C-C-5 用數學語言呈現解題的過程。 C-C-6 用一般語言及數學語言說明解題的過程。 C-C-7 用回應情境、設想特例、估計或不同角度等方式說明或反駁 解答的合理性。 C-C-8 能尊重他人解決數學問題的多元想法。過去已有許多研究透過紙筆測驗及質性研究的方式提出學生在分數乘法之 各種解題類型,尤其是學生常見的錯誤類型或迷思概念,下表2-3-2為文獻中與本 單元相關之研究整理。 表2-4-2 文獻相關研究之學生「分數的乘法」錯誤解題類型整理 研究者 學生錯誤解題類型 Lankford(1972)、 Edwards(1983)、 Painter(1989) ¾ 先通分,再計算。 ¾ 將第二個分數顛倒後,再計算。 ¾ 交叉相乘而得到分子與分母。 ¾ 分母相乘,分子卻作加法運算。 ¾ 分數乘整數時,分數不變,只處理整數部分。 ¾ 帶分數乘整數時,分數不變,只處理分數部分。 ¾ 帶分數乘整數時,整數、分數分別自行做乘法運 算。 Ashlock(1990)、 Souviney(1989)、 Troutman & Lichtenberg
(1982) ¾ 分母相乘,分子相加。 ¾ 帶分數的整數部分相乘,分數部分,分子和分子 相乘,分母和分母相乘。 ¾ 分母相同時,分子相乘。 ¾ 反轉而後相乘。 ¾ 第一個分數的分子乘以第二個分數的分母之,當 作個位數,第二個分數的分子乘以第一個分數的 分母,當作十位數。 ¾ 分子乘以整數,分母也乘以整數。 ¾ 分子與整數相乘,遺漏了分母。 ¾ 整數與分母相除,遺漏了分子。 湯錦雲(2002) ¾ 分數減法的錯誤類型:借位的錯誤(向整數借 1 卻加10 到分子、向整數借 1 後沒有減 1、將原 整數部分加到分子) ¾ 分數的加法運算錯誤: 1直接分子加分子,分母加分母。 2求出同分母後放在分母,而分子為原分子相加。
2分母減分母,分子減分子而且是大數減小數。 3求出公分母後放在分母,而分子為原分子相減。 ¾ 整數乘分數的錯誤類型有:「乘數的整數部分用 乘法,真分數部分用加法」、「將被乘數分別成 乘上乘數的整數、分子、分母成為答案的整數、 分子、分母」、「被乘數、乘數都化成假分數後, 分子乘分子,分母則不相乘」、「只做真分數部 分的乘法,整數部分則不相乘」、「乘法用加法 算則計算」、「帶分數化成假分數的錯誤」、「假 分數化成帶分數的錯誤」、「計算錯誤」。 林榮煌(2006) ¾ 分數乘整數的概念建構能力及基本運算能力 1乘法運算,誤用約分概念。 2乘法運算,誤用擴分概念。 3兩相同數相乘,誤以為兩數相加。 ¾ 分數乘整數的概念理解能力及問題解決能力 1分數乘法用分數除法運算:乘數轉成倒數 2同分母分數相乘,分子相乘,分母保持不變(未 相乘)。 ¾ 分數乘整數的概念建構能力及基本運算能力 1乘法運算,誤用擴分概念。 2分數乘法用分數除法運算。乘數不變,被乘數轉 乘倒數後,兩分數再相乘。 3分配律和乘法結合,為以( )標示。 ¾ 分數乘分數的概念建構能力及基本運算能力 1同分母分數相乘,分子相乘,分母保持不變(未 相乘)。 2兩相同數相乘,誤以為是兩數相加。 3分數乘法用分數除法運算:乘數轉成倒數。 ¾ 分數乘分數的概念理解能力及基本運算能力 1分配率和乘法結合,未以( )標示。 2同分母分數相乘,分子相乘,分母保持不變(未 相乘)。 3乘法用除法算則。 4基本概念錯誤。 5分數相乘,整數部分相加,只有分數部分相乘。 陸雅林(2007) ¾ 分數加減法運算 1以直接法進行運算,分母加減分母,分子加減分
子,忽略是否為同分母。 2在異分母分數的加減運算中,分母通分,但分子 未處理就直接相加減。 3分數的加法與分數乘法運算混淆使用。 4未以分數運算處理,忽略分數的意義。 5分數加減運算過程中,將分數數寫成整數形式, 最後答案中再改寫成分數形式,忽略分數概念。 6異分母分數加減運算過程,在進行通分時,分母 與分子沒有同乘以一個整數。 7異分母分數比較大小,通分過程中,兩個異分母 分數誤同乘同一個倍數。 8假分數的加減,誤將假分數中分子的十位數字當 作帶分數之整數。 9帶分數的加減,忽略分數的意義,將所有分數上 數字以整數方式個別計算,最後再寫成分數形 式。 ¾ 假分數、帶分數 1忽略分子等於分母的分數 2誤認為只要是分子不等於分母的分數即是假分 數。 3假分數化成帶分數概念不清,誤將假分數中分子 的十位數字當作帶分數之整數。 4整數和分數分開運算、分配律的錯誤用。 ¾ 分數的乘法 1帶分數乘以整數,整數與分數個別分開運算,忽 略分數也要乘以整數。 2分數乘以整數,分子和分母同時乘上整數。 3乘上乘數的倒數,與分數除法混淆使用。 4先通分再相乘,與分數加法混淆使用。 5分母相乘,分子相加,與分數加法混淆使用。 圖 2-4-1 為「分數的乘法」單元之貝氏網路圖(張玲婉,2008),節點由
I01
I02
I03
I04
I05
I06
I07
I08
I09
I10
I11
I12
I15
I16
I17
I18
I13
I19
I14
I20
I21
I22
I23
I24
I25
I26
I27
I28
I29
I30
B01 沒有化成最 簡分數 B02 誤用約分概 念 B03 誤用擴分概 念 B04 用加法算則 計算 B05 分配率和乘法 結合,未以( )標示。 B06 帶分數和假分 數轉換的錯誤 B07 用分數除法 運算 B08 分 母 相 同 時,分子相乘, B9 與加法混淆 使用 B10 基本概念錯 誤 B11 以直接法進行運算,分 母加減分母,分子加減分 子,忽略是否為同分母。 B12 求出公分母後放在 分母,而分子為原分子 相加。 B13 分母相乘, 分子相加 B16 只完成一部 份的計算 B14 通分後,分子 為大數減去小數 B15 借位的錯誤 B17 無法由乘數與 1 的 大 小 關 係 推 論 被 乘 數 與積的大小關係 B18 對於題意的 理解錯誤 B19 沒有先乘除 後加減 B20 忘記使用括號認 識 最 簡
分數
理 解 分 數
乘 法 的 算
則
理 解 分 數
乘 法 的 意
義
根據乘數與
1 的大小關
係,判斷被
乘數與積的
大小關係。
S01 認識最簡分數 S02 用約分的方法找 出最簡分數 S03 單位分數×整數計 算題 S04 整數×單位分數計 算題 S05 整數×真分數計算 題 S06 整數×帶分數計算 題 S07 單位分數×單位分 數計算題 S08 單位分數×真分數 計算題 S09 真分數×真分數計 算題 S10 帶分數×帶分數計 算題 S12 分數減法與乘法 的混合計算題 S17 整數×真分數應用 題 S18 整數×帶分數應用 題 S19 單位分數×單位分 數應用題 S20 單位分數×真分數 應用題 S21 真分數×真分數應 用題 S22 分數加法與乘法 的混合應用題 S23 分數減法與乘法 的混合應用題 S24 分數的連乘應用 題 S25 帶分數×帶分數應 用題 S11 分數加法與乘法 的混合計算題 S13 分數的連乘計算題 S14 根據乘數與1 的大小關係, 判斷被乘數與積的大小關係 S15 單位分數×整數應 用題 S16 整數×單位分數應 用題 試題 錯誤類型 子技能 教學目標根據「分數的乘法」的教學目標,歸納出單元的子技能,如表2-4-3。 表2-4-3 國小六年級「分數的乘法」單元目標之子技能(部分範例) 單 元 教 學 目 標 子 技 能 L1 認識最簡分數 S01 認識最簡分數 S02 用約分的方法找出最簡分數 L2 理解分數乘法的算則 L4 理解分數乘法的意義 S03 單位分數×整數計算題 S04 整數×單位分數計算題 S05 整數×真分數計算題 S06 整數×帶分數計算題 S07 單位分數×單位分數計算題 S08 單位分數×真分數計算題 S09 真分數×真分數計算題 分析文獻中的錯誤概念,整理出學生在學習過程中出現較容易出現的錯誤 類型,作為研究中試題編製的參考依據,如表2-4-4。 表2-4-4 「分數的乘法」單元之錯誤類型分類 B01 沒有化成最簡分數。 B02 誤用約分概念。 B03 誤用擴分概念。 B04 用加法算則計算。 B05 分配率和乘法結合,未以括號標示。 B06 帶分數和假分數轉換的錯誤。 B07 用分數除法運算。 B08 分母相同時,分子相乘,分母不乘。 B09 與加法混淆使用。 B10 基本概念錯誤。 B11 以直接法進行運算。 B12 求出公分母後放在分母,而分子為原分子相加。 B13 分母相乘,分子相加 B14 通分後,分子為大數減去小數。 B15 借位的錯誤。 B16 只完成一部分的計算。 B17 無法由乘數與 1 的大小關係推論被乘數與積的大小關係。
分析文獻中的子技能及錯誤概念,依據文獻中的子技能命題,命題的方式 為選擇題形式。選擇題的形式是一般常見的,其選項經過設計,也有其對應之 錯誤類型,但學生選擇錯誤選項有兩種情況,可能是犯此種錯誤類型,也可能 是用猜的;且選擇題無法記錄學生之解答過程。因此,下面簡述使用建構反應 題題型與選擇題題型之差異。 探討學生解題歷程可能包含幾種情形: (1)列式正確,計算正確,答案正確;(2)列式正確,計算錯誤,答案錯誤; (3)列式錯誤,答案正確;(4)列式錯誤,答案錯誤。 如以選擇題型施測,(1)和(3)都是答對,但其實(3)可能是猜測而答 對,應該無法確定學生具有此能力,而(2)和(4)雖然是答案錯誤,但(2) 應該可部分給分。若能以建構反應題題型施測,則可區分此四種情形,避免學 生猜題。學生的解題過程及最後答案是否正確,皆可藉由電腦直接記錄,提供 更多訊息,作為判讀學生迷思概念的參考。以下列舉「分數的乘法」單元一例 加以說明(張玲婉,2008)。 表2-4-5 「分數的乘法」單元之試題範例 編碼 1-2,2-2,3-2 帶分數×帶分數應用題(答案化成最簡分數) 題目 ( )1.一箱木瓜重 15 8 12 公斤,一箱哈蜜瓜的重量是木瓜的 4 3 2 倍, 一箱哈蜜瓜重多少公斤?(答案需化成最簡分數) c 5 2 24 d 5 3 9 e 30 14 34 f 15 7 34 選項 選項1 選項2 選項3 選項4 反應類 型 B10 基本概念錯 誤。 15 8 12 × 4 3 2 =12×2+ 15 8 × 4 3 = 5 2 24 B06帶分數和假分 數轉換的錯誤。 15 8 12 × 4 3 2 = 15 96× 4 6 = 5 3 9 B01 沒有化成最 簡分數。 15 8 12 × 4 3 2 = 15 188× 4 11 = 30 1034 = 30 14 34 ◎
在上述試題的選項設計中,除了正確答案外,其餘選項皆包含一種錯誤類 型,同一種錯誤類型,可能有不同之解題歷程,不同解題歷程代表不同之迷思 概念。學生即使選了正確的答案,也不代表真正答對。選項1 是乘法的基本概 念錯誤,學生若選擇1,則表示學生可能犯了「整數乘以整數,分數乘以分數」 的錯誤類型;而學生若選擇選項2 表示學生在乘法帶分數轉換為假分數的概念 錯誤,可能犯了「忽略分母,整數乘以分子」的錯誤類型;而若學生選擇選項 3,則表示學生概念都清楚,但未化成最簡分數;而選項 4 為正確答案。此題中, 學生若選擇選項3,其實學生大致上是可以解決這個問題的,只是忽略題目應 化成最簡分數的要求,雖然答案錯誤,但應可以部分給分。 在「分數的乘法」單元中,學生可能有很多種不同的解題過程,以選項2 為例,當學生具有「帶分數和假分數轉換的錯誤」之迷思概念時,除「分母不變, 整數與分子相乘」外,還有「分子不變,分母與整數相乘」之錯誤類型。若以 建構反應題進行測驗,不僅可觀察學生的作答情形,也可以給學生一些實質上 分數的回饋,選擇選項3 的學生可得到部分分數;而題目的選項均設定為題目 中的兩個數字相乘,但在實際狀況中,也許學生會有其他不同的作答反應,若 學生在選項中未看到與自己算出來的相符答案,學生可能用猜的,這樣就不是 教師所想要的錯誤類型了,若能利用建構反應題,將可以更仔細的知道學生之 迷思概念及學習狀況。 綜觀上述,使用建構反應題題型能夠更詳盡的獲得學生之迷思概念及學習 狀況。因此,測驗之作答時間以一小時為限,並考慮學生在建構反應題需耗費 較長作答時間,且分數的乘法計算也較複雜,經評估後,挑選出學生容易具有 迷思概念且試題情境需由文字題轉為數學之 4 題試題作為建構反應題,故試題
第三章 研究方法
本研究使用張玲婉(2008)自編「分數的乘法」單元之試題,挑選適合題 目作為以建構反應題(constructed-response)為基礎之數學科診斷系統。經由學 生線上施測後,利用專家所建立之錯誤類型分析,探討學生解題歷程,並建置 自動化計分流程。本章節分為五個部分來說明整個研究方法,分別為: 一、研究流程 二、研究工具 三、研究範圍與限制 四、「分數的乘法」單元建構反應題之系統介面 五、研究設計。第一節 研究流程
本研究為建置建構反應題之數學科診斷系統,其研究流程圖如下圖3-1-1 所示。研究步驟依序為: 步驟1:確定研究主題,並蒐集研究相關文獻,使用張玲婉(2008)自編 之試題,挑選學生易具有錯誤概念且為文字題情境之試題作為建 構反應題線上評量。 步驟2:進行教學實驗,讓學生實際進行線上施測,蒐集學生建構反應題 之作答,並記錄學生所有可能的解題歷程;另一方面,設計建構 反應題之電腦介面。 步驟3:將實際施測所得到的學生解題過程進行錯誤類型分析。 步驟4:依據錯誤類型分析的結果,進行計分模式的探討;並建立錯誤類 型自動化分析模型。 步驟5:進行自動化分析之成效分析,並建置診斷系統。圖3-1-1 研究流程圖
第二節 研究工具
本節分別敘述本研究之研究工具,工具為Mathworks所出版的MATLAB 7.1 版及數學科領域「分數的乘法」單元試題之信效度分析。壹、MATLAB 7.1
「MATLAB 7.1」是一高階科學運算語言,可分析資料、進行數值計算、系統模擬 與發展演算法和應用之互動式環境。MATLAB 7.1中涵蓋了許多不同的功能,可讓更有 效率地撰寫程式、編碼及繪圖,同時在視覺化、數學運算、資料擷取與效能上都大有提 升;因此,本研究將運用MATLAB軟體撰寫自動化分析模型的程式。貳、「分數的乘法」單元之信效度分析
本研究所使用的試題為張玲婉(2008)自編之「分數的乘法」單元試題,詳表3-2-1 試題參數、答題情形及信度表 IRT 模式 古典理論模式 Cronbach'sAlpha
0.887 試題
鑑別度 難度 DELETEDIF ITEM 鑑別度(a) 難度(b) 猜測度(c)
(PROB) MATH01 0.263 97.4 .887 0.834 -3.076 0.207 0.972 MATH02 0.323 89.6 .886 0.642 -2.123 0.198 0.896 MATH03 0.418 95.4 .885 1.049 -2.366 0.187 0.954 MATH04 0.424 95.4 .885 1.103 -2.305 0.194 0.953 MATH05 0.408 93.2 .885 0.877 -2.179 0.198 0.932 MATH06 0.437 94.5 .884 1.084 -2.173 0.187 0.945 MATH07 0.342 98.4 .886 1.544 -3.169 0.209 0.991 MATH08 0.384 91.9 .885 0.884 -1.986 0.206 0.919 MATH09 0.537 91.9 .882 1.392 -1.688 0.173 0.921 MATH10 0.502 93.2 .883 1.396 -1.796 0.196 0.932 MATH11 0.622 79.5 .879 1.489 -0.875 0.128 0.811 MATH12 0.300 69.1 .888 0.595 -0.504 0.211 0.693 MATH13 0.452 86.0 .883 0.833 -1.521 0.179 0.865 MATH14 0.338 60.6 .887 0.903 0.144 0.252 0.608 MATH15 0.439 87.3 .884 0.771 -1.734 0.164 0.877 MATH16 0.550 89.3 .882 1.253 -1.524 0.162 0.898 MATH17 0.505 66.8 .882 1.084 -0.375 0.143 0.681 MATH18 0.572 71.3 .880 1.472 -0.481 0.154 0.730 MATH19 0.571 90.2 .882 1.571 -1.438 0.195 0.906 MATH20 0.508 87.3 .882 1.133 -1.401 0.176 0.879 MATH21 0.466 69.4 .883 1.352 -0.321 0.209 0.705 MATH22 0.488 66.4 .883 1.502 -0.200 0.205 0.676 MATH23 0.367 64.5 .886 0.931 -0.063 0.246 0.648 MATH24 0.459 71.7 .883 0.993 -0.516 0.195 0.726 MATH25 0.393 59.0 .885 1.287 0.144 0.230 0.595 MATH26 0.402 75.9 .885 1.137 -0.482 0.296 0.762 MATH27 0.384 88.6 .885 0.837 -1.659 0.223 0.887 MATH28 0.487 86.6 .883 1.031 -1.361 0.206 0.871 MATH29 0.483 72.3 .883 1.540 -0.312 0.269 0.730 MATH30 0.515 75.6 .882 1.195 -0.645 0.197 0.766
經預試後分析作答情形,分析測驗內部一致性的數值,Cronbach α係數值為 0.887,符合信度分析之標準。接著進行試題參數分析,古典測驗理論鑑別度大於 0.25,具有相當的鑑別度。而由「刪除後的alpha係數」可看出若刪除任一題,均 會造成總alpha係數減少,因此,不需刪除題目。而試題反應理論鑑別度皆大於 0.25,表示有相當的鑑別度;難度理想分布於-3~3之間,其中,試題1和試題7 屬於偏簡單的題目,但仍在可接受的範圍。
第三節 研究對象
壹、紙筆測驗對象
紙筆測驗的對象為九十六學年度國小六年級學生,包括台中縣大肚國小和 鹿峰國小共10 個班級,有效樣本共計 307 人。紙筆測驗之試題卷,詳見附錄 1。貳、線上測驗對象
線上測驗施測對象為九十七學年度國小六年級學生,包括台中縣大肚國 小、五光國小及海墘國小共6 個班級,有效樣本共計 158 人。第四節 「分數的乘法」單元建構反應題之系統介面
本節主要為「分數的乘法」單元建構反應題題型之介面操作說明,如圖3-4-1 所示。以下將分為三部分說明,分別為分數顯示狀態及符號區的工具說明及資 料庫記錄畫面說明。「分數的乘法」單元解題歷程之例題,如圖3-4-2 所示。圖 3-4-1 「分數的乘法」單元試題介面
壹、工具說明 I:分數顯示狀態
:點選後輸入的分數則會顯示在左側記錄欄內。 :左側記錄欄若無顯示輸入的值,可點選算式重整,可將記錄欄顯 示更新。 :將輸入的整數清除。 :將輸入的分母清除。 :將輸入的分子清除。貳、工具說明 II:符號區
:輸入後在左側記錄欄內顯示運算符號。 :輸入後在左側記錄欄內顯示左括號、右括號。:左側記錄欄若無顯示輸入的值,可點選算式重整,可將記錄 欄顯示更新。 :左側記錄欄一行算式記錄完成後,點選下一行算式可換行。 :將左側記錄欄內的紀錄全部清空。 圖 3-4-2 「分數的乘法」解題歷程例題
參、資料庫記錄畫面說明
學生使用視窗右方的工具列輸入答案,學生的作答歷程呈現在試題下方,系 統會記錄學生解題歷程於資料庫中(表3-4-1)。其中,「frac」是代表分數,「\\」 是代表前面的數字連著後面的分數,「{x}{y}」是代表分數的分子與分母,前者表3-4-1 資料庫所紀錄之學生解題歷程
姓名 編號 資料庫所紀錄之學生解題歷程
徐慧軒 06468460212 12\\frac{8}{15}* 1\\frac{1}{4}
黃薇庭 06468460213 12\\frac{8}{15}* 1\\frac{1}{4} = 19\\frac{1}{2} 林鈺傑 06468460214 12\\frac{8}{15}* 1\\frac{1}{4} = \\frac{15}{1} 陳宜卉 06468460215 12\\frac{8}{15}* 1\\frac{1}{4} = 15\\frac{}{} 易庭莉 06468460216 12\\frac{8}{15}* 1\\frac{1}{4} = 2\\frac{8}{3}
第五節 研究設計
經由專家判別學生解題歷程之錯誤類型後,利用MATLAB 撰寫程式以自動 化判別學生解題歷程,進而達到自動化計分。將學生解題歷程與資料庫形式列 舉如下, 學生解題歷程 15 3 45 4 5 15 180 4 1 1 15 8 12 × = × = =資料庫形式 12\\frac{8}{15}* 1\\frac{1}{4} = \\frac{180}{15}* \\frac{5}{4} = \\frac{45}{3} = 15\\frac{}{}
由上列學生解題過程,學生在列式過程中可能會多按到標點符號,或是數 學領域中交換律的過程,均會造成電腦判別的錯誤,故以「區塊分析」方式判 別學生錯誤類型。以下為「區塊分析」方法之設計及4 題建構反應題之解題策 略分析流程,如圖3-5-1、3-5-2、3-5-3、3-5-4。
壹、建構反應題之解題策略分析流程
當學生經由線上施測完成測驗後,我們可由資料庫中取得學生之解題歷 程,將學生解題歷程以下列流程進行分析,經由使用區塊分析的方法,自動化 判別學生錯誤類型。以下為4 題建構反應題題型之解題策略分析流程,及 4 題 建構反應題題型題目、設計決策之步驟。一、第 27 題解題策略分析流程 1、題目: 一箱木瓜重 15 8 12 公斤,一箱哈密瓜的重量是木瓜的 4 1 1 倍,一箱哈密瓜重多少 公斤?(答案需化成最簡分數) 2、設計決策之步驟: 下列判斷方法為圖3-5-1 中的判斷節點,在錯誤類型較複雜的節點,將使 用區塊分析方法做為決策。 ○1 若解題歷程為空白,編碼為99。 ○2 若解題歷程中出現「 3 2 15 」或「 3 47 」,則視為「全對」,編碼為 0。其他情形 則視為「非全對」。 ○3 於「非全對」情形下,若解題歷程中出現「 × = 4 1 1 15 8 12 」,則視為「列式正確」; 其他情形視為「列式錯誤」。 ○4 於「列式正確」情形下,除解題歷程外,未算出答案,編碼為03。其他情形 視為「有算答案」。 ○5 於「有算答案」情形下,依據錯誤類型區塊分析,給予最接近的錯誤類型。 ○6 於「列式錯誤」情形下,若解題歷程中出現「 + = 4 1 1 15 8 12 」,則視為「誤算成 加法」;其他情形視為「不解題意」,編碼為12。 ○7 於「誤算成加法」情形下,根據錯誤類型區塊分析,給予最接近的錯誤類型。
3、解題策略分析流程,如下圖 3-5-1。
二、第 28 題解題策略分析流程 1、題目: 大水管1 分鐘可注水 3 2 7 公升,小水管1 分鐘可注水 4 3 2 公升,兩根水管同時注 水6 分鐘,共可注水多少公升的水?(答案需化成最簡分數) 2、設計決策之步驟: 下列判斷方法為圖3-5-2 中的判斷節點,在錯誤類型較複雜的節點,將使 用區塊分析方法做為決策。 ○1 若解題歷程為空白,編碼為99。 ○2 若解題歷程中出現「 2 1 62 」、「 2 125 」且未出現「 + ×6= 4 3 2 3 2 7 」,則視為「全 對」,編碼為0。其他情形則視為「非全對」。 ○3 於「非全對」情形下,若解題歷程中出現「 × + ×6= 4 3 2 6 3 2 7 」或「 ⎟× = ⎠ ⎞ ⎜ ⎝ ⎛ + 6 4 3 2 3 2 7 」 則視為「列式正確」;其他情形視為「列式錯誤」。 ○4 於「列式錯誤」情形下,若解題歷程中出現「 × ×6= 4 3 2 3 2 7 」視為「誤算成乘 法」,解題歷程中出現「 + ×6= 4 3 2 3 2 7 」視為「未使用括號」,解題歷程中出 現「 4 3 2 3 2 7 × 」或「 4 3 2 3 2 7 + 」視為「忽略時間單位」;其他情形視為「不解 題意」,編碼為17。 ○5 於「誤算成乘法」情形下,根據區塊分析,給予最接近的錯誤類型。 ○6 於「未使用括號」情形下,根據區塊分析,給予最接近的錯誤類型。 ○7 於「忽略時間單位」情形下,根據區塊分析,給予最接近的錯誤類型。 ○8 於「列式正確」情形下,除解題歷程外,未算出答案,編碼為04;其他情形
3、解題策略分析流程,如下圖 3-5-2。 第28題 有作答 未作答〈99〉 1 2 全對 非全對 3 列式錯誤 列式正確 8 有算答案 04 9 01 02 05 4 誤算成乘法 17 5 06 13 忽略時間 單位 未使用括號 6 03 14 15 16 7 07 11 09 12 圖 3-5-2 第 28 題解題策略分析流程
三、第 29 題解題策略分析流程 1、題目: 姐姐有一條 9 4 5 公尺長的緞帶,包禮物用去 3 1 3 公尺,剩下的 7 6 拿來做蝴蝶結, 做蝴蝶結用掉幾公尺的緞帶?(答案需化成最簡分數) 2、設計決策之步驟: 下列判斷方法為圖3-5-3 中的判斷節點,在錯誤類型較複雜的節點,將使 用區塊分析方法做為決策。 ○1 若解題歷程為空白,編碼為99。 ○2 若解題歷程中出現「 21 17 1 」、「 21 38 」且未出現「 − × = 7 6 3 1 3 9 4 5 」,則視為「全對」, 編碼為0。其他情形則視為「非全對」。 ○3 於「非全對」情形下,若解題歷程中出現「 ⎟× = ⎠ ⎞ ⎜ ⎝ ⎛ − 7 6 3 1 3 9 4 5 」、「 × = 7 6 9 1 2 」或 「 × = 7 6 9 19 」則視為「列式正確」;其他情形視為「列式錯誤」。 ○4 於「列式錯誤」情形下,若解題歷程中出現「 − × = 7 6 3 1 3 9 4 5 」視為「未使用括 號」,解題歷程中出現「 − = 3 1 3 9 4 5 」視為「只算出用去的部分」、解題歷程中 出現「 × × = 7 6 3 1 3 9 4 5 」視為「誤算成乘法」,解題歷程中出現「 − − = 7 6 3 1 3 9 4 5 」 視為「誤算成減法」;其他情形視為「不解題意」,編碼為16。 ○5 於「未使用括號」情形下,根據錯誤類型區塊分析,給予最接近的錯誤類型。 ○6 於「只算出用去的部分」情形下,根據錯誤類型區塊分析,給予最接近的錯 誤類型。 ○7 於「誤算成乘法」情形下,根據錯誤類型區塊分析,給予最接近的錯誤類型。
則依據錯誤類型區塊分析,給予最接近的錯誤類型。
3、解題策略分析流程,如下圖 3-5-3。
四、第 30 題解題策略分析流程 1、題目: 杏仁果一包重 12 5 3 公斤,奶奶買了 10 7 2 包,把全部的 6 5 送給姑姑,也可以說送給 姑姑多少公斤的杏仁果?(答案需化簡成最簡分數) 2、設計決策之步驟: 下列判斷方法為圖 3-4-4 中的判斷節點,在錯誤類型較複雜的節點,將使 用區塊分析方法做為決策。 ○1 若解題歷程為空白,編碼為99。 ○2 若解題歷程中出現「 16 1 1 7 」、「 16 123 」後沒有其他過程,則視為「全對」,編碼 為0。其他情形則視為「非全對」。 ○3 於「非全對」情形下,若解題歷程中出現「 × × = 6 5 10 7 2 12 5 3 」,則視為「列式 正確」;其他情形視為「列式錯誤」。 ○4 於「列式正確」情形下,除解題歷程外,未算出答案,編碼為03。其他情形 視為「有算答案」。 ○5 於「有算答案」情形下,依據錯誤類型區塊分析,給予最接近的錯誤類型。 ○6 於「列式錯誤」情形下,若解題歷程中出現「 × = 10 7 2 12 5 3 」、「 × = 7 6 10 7 2 」視 為「只算出部分」,「 × = 6 5 -10 7 2 12 5 3 」、「 ⎟× = ⎠ ⎞ ⎜ ⎝ ⎛ 6 5 10 7 2 -12 5 3 」視為「誤算成減 法」,有上述情形,但不懂列式規則,則視為「不懂列式」;其他情形視為「不 解題意」,編碼為 09。 ○7 於「誤算成減法」情形下,根據錯誤類型區塊分析,給予最接近的錯誤類型。
3、解題策略分析流程,如下圖 3-5-4。 圖 3-5-4 第 30 題解題策略分析流程
貳、區塊分析法
區塊分析,係將解題歷程以符號分割為區塊,再以每區塊與錯誤類型進行 比對,稱為「區塊分析法」。 以27 題為例,將解題歷程以〝 × 〞和〝 = 〞分割成區塊,解題歷程每 個錯誤類型與區塊進行比對,最後將解題歷程判給累積次數越高的錯誤類型。以此題為例,將資料庫形式以「區塊分析法」分割成區塊,如範例〝解題歷程 區塊分割〞部分,可分割為6 個區塊。 假設有兩種錯誤類型,錯誤類型1 為「沒有化成最簡分數」,犯此錯誤類型 1 的學生解題歷程為 6 4 15 4 1 1 15 8 12 × = ,在資料庫中的形式為「12\\frac{8}{15}* 1\\frac{1}{4} = 15\\frac{4}{6}」;錯誤類型 2 為「帶分數和假分數轉換的錯誤」, 犯此錯誤類型2 的學生解題歷程為 15 2 3 4 5 15 188 4 1 1 15 8 12 × = × = ,在資料庫中的形 式為「12\\frac{8}{15}* 1\\frac{1}{4} = \\frac{188}{15}* \\frac{5}{4} =
3\\frac{2}{15}」。 將學生解題歷程所分割的六個區塊與錯誤類型比較。學生解題歷程有2 個 區塊與錯誤類型1 相同,有 3 個區塊與錯誤類型 2 相同;以此題為例,將學生 判為犯錯誤類型2。 【範例】 學生解題歷程 15 3 45 4 5 15 180 4 1 1 15 8 12 × = × = =
資料庫形式 12\\frac{8}{15}* 1\\frac{1}{4} = \\frac{180}{15}* \\frac{5}{4} = \\frac{45}{3} = 15\\frac{}{}
錯誤類型 錯誤類型 1 沒有化成最簡分數 解題歷程 6 4 15 4 1 1 15 8 12 × =
資料庫形式 12\\frac{8}{15}* 1\\frac{1}{4} = 15\\frac{4}{6} 錯誤類型 2 帶分數和假分數轉換的錯誤 解題歷程 15 2 3 4 5 15 188 4 1 1 15 8 12 × = × =
資料庫形式 12\\frac{8}{15}* 1\\frac{1}{4} = \\frac{188}{15}* \\frac{5}{4} = 3\\frac{2}{15}
1 2 3 4 5 6 15 8 2 1 4 1 1 15 0 18 4 5 3 45 15 區塊分析 錯誤類型 1:有 1、2 兩區塊。 錯誤類型 2:有 1、2、4 三區塊。 將學生判為累積最高次數的錯誤類型,以此題為例,此學生犯錯誤類型2。
第四章 研究結果
本章節依據研究目的,分別於以下各節中探討其研究結果,將研究結果分 為四個部分:第一節建構反應題題型之計分模式分析,第二節「分數的乘法」 單元建構反應題之系統介面,及第三節診斷系統成效評估。第一節 建構反應題題型之計分模式分析
「分數的乘法」單元有4 題建構反應題題型。以下以「分數的乘法」單元 其中一題為例,說明如何分析學生之解題過程並編碼,其餘題目之解題過程分 析,詳見附錄二。 (一)編碼規則說明 編碼規則:四碼(例如:0102) 1、千位及百位:得分,如 01, 02, 03, 04, …。以表 6 為例,此題滿分 5 分, 計分規則為全對5 分、列式正確 2 分、答案正確 2 分及格 式正確1 分。 2、十位及個位:為解題過程之編碼,如 01, 02, 03, 04, …。當學生全對時, 此編碼為其解題過程編碼;當學生部分答對或全錯時,此 編碼為錯誤類型編碼。 (二)範例說明 1、學生全對之編碼 根據實測資料顯示,共有4 種正確的解題過程,分別將其編碼為 0501~0504,其中 05 代表得分,01~04 代表解題過程編號。 2、學生部分答對之編碼2 種解題過程判斷為錯誤類型 02。 (2)編碼 0205,學生此題得分為 2 分,代表學生僅具有錯誤類型 05 「與加法混淆使用」。 3、學生全錯之編碼 (1)編碼 0012,學生此題得分為 0 分,代表學生僅具有錯誤類型 12 「對於題意了解錯誤」。 下表4-1-1 為「分數的乘法」單元建構反應題第 27 題學生解題過程編碼舉 例,其餘28 至 30 題學生解題歷程編碼分析,詳見附錄二。 表4-1-1 「分數的乘法」單元建構反應題解題過程編碼舉例 「分數的乘法」單元 第 27 題(5%) 一箱木瓜重 15 8 12 公斤,一箱哈密瓜的重量是木瓜的 4 1 1 倍,一箱哈密瓜重多少 公斤?(答案需化成最簡分數) 編碼 解題過程 0501 3 2 15 3 2 15 4 5 15 8 4 5 12 4 1 1 15 8 12 × = × + × = + = 0502 3 2 15 3 47 4 5 15 188 4 1 1 15 8 12 × = × = = 0503 3 2 15 0504 3 2 15 3 47 4 5 15 188× = = = 編碼 錯誤類型 解題過程 0401 沒有化成最簡分數 6 4 15 4 1 1 15 8 12 × = 15 2 3 4 5 15 188 4 1 1 15 8 12 × = × = 0202 帶分數和假分數轉換的錯誤 14 1 14 4 5 15 188 4 1 1 15 8 12 × = × = =
0203 列式正確,未算出答案 4 1 1 15 8 12 × 47 4 1 1 15 8 12 × = 3 22 15 4 5 155 188 4 1 1 15 8 12 × = × = 19 9 13 4 1 1 15 8 12 × = 3 1 12 4 1 1 15 8 12 × = 2 1 19 4 1 1 15 8 12 × = 3 8 2 4 1 1 15 8 12 × = 12 1 12 4 1 1 15 8 12 × = 24 4 5 15 218 4 1 1 15 8 12 × = × = 6 5 7 6 47 4 1 1 15 8 12 × = = 6 1 16 4 1 1 15 8 12 × = 17 4 1 1 15 8 12 × = 2 1 15 4 1 1 15 8 12 × = 15 2 3 4 1 1 15 8 12 × = 6 1 18 4 1 1 15 8 12 × = 2 7 3 4 1 1 15 8 12 × = 0204 列式正確,計算錯誤
42 4 1 1 15 8 12 × = 15 12 4 1 1 15 8 12 × = 47 3 4 1 1 15 8 12 × = 42 37 1 4 1 1 15 8 12 × = 19 9 13 4 15 1 8 1 12 4 1 1 15 8 12 = + + + + = × 19 9 13 4 1 1 15 8 12 × = 15 2 13 4 15 1 8 1 12 4 1 1 15 8 12 = × × + + = × 0205 與加法混淆使用 15 2 13 2 15 13 4 30 13 60 8 13 4 1 1 15 8 12 × = = = = 15 3 45 4 5 15 180 4 1 1 15 8 12 × = × = = 15 4 1 1 15 8 12 × = 0206 分母與整數相乘,遺漏了分子 1 15 4 1 1 15 8 12 × = 0207 以直接法進行運算,忽略是否為 同分母 15 2 12 4 15 1 8 1 12 4 1 1 15 8 12 = × × + × = × 5 2 2 60 8 12 4 1 1 15 8 12 × = = 0208 以直接法進行運算,且誤用約分 概念 15 4 12 4 1 1 15 8 12 × = 0209 以直接法進行運算,且沒有化成 最簡分數 60 8 12 4 1 1 15 8 12 × = 0010 應用乘法,誤用成加法計算 60 47 13 4 1 1 15 8 12 + = 19 9 13 4 15 1 8 1 12 4 1 1 15 8 12 = + + + + = + 0011 加法概念錯誤 31 21 4 15 12 1 8 12 4 1 1 15 8 12 = + + + + = +
31 21 4 1 1 15 8 12 + = 18 1 36 2 4 5 180 8 × = = = 3 1 14 = 2 5 4 === + 21 8 1 52 23 12 = − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ × 15 8 12 4 1 1 15 8 12 91 38 2 38777 276 243 97 2778 669 × 22 1111117 661111 7772 66666666 72 2 333882 == × 3 1 12 15 3 45 = 3 1 31 0012 對於題意了解錯誤 9 9 7 7 7 6 3 2 7 − =