國小數學電腦化建構反應題與選擇題自動命題系統建置

全文

(1)國立臺中教育大學教育測驗統計研究所碩士論文. 指導教授：郭伯臣. 博士. 國小數學電腦化建構反應題與選擇題自動命題系統建置 Elementary mathematics computerized constructed-response items with multiple choices items automatic item generation system build 研究生：李閔謙. 中. 華. 民. 國. 一. ○. 三. 撰. 年. 七. 月.

(2) II.

(3) 謝辭這篇論文能夠完成，首先感謝我的指導教授郭伯臣老師，以及兩位口試委員:施淑娟老師與吳慧珉老師，謝謝在我口試時給了我許多重要建議。感謝郭伯臣老師，謝謝您在我學習路上時時督促我，也感謝您提供學習的機會，磨練我的能力。在研究的過程中，感謝您不時的給我建議，讓整個研究更加完整，由衷謝謝老師的指導。感謝系統組的夥伴，謝謝你們在我撰寫程式遇到瓶頸時給我建議，沒有你們系統沒有辦法完成。感謝龜龜、浩瑋、宇文、愷謦、德弘學長、瑞塔正妹、小白學長、筱倩學姊、政軒老師以及學弟們，感謝你們在課業或者是八卦上都能立即給我補給打氣，謝謝你們當我的垃圾桶，包容我所有脾氣。感謝俊彥學長、智為學長，感謝你們在我研究的過程中，不吝嗇的給我建議，辛苦你們了。感謝火遁老師與莉莉老師，三不五時爲我提供生活上的歡樂笑點。感謝國科會的補助支持，計畫編號 NSC 102-2511-S-142-008-MY3。最後，感謝我的家人以及女朋友，沒有你們的支持，我沒辦法完成學業，感謝你們陪我度過了這充實的碩士生活。. 李閔謙中華民國一○三年七月.

(4)

(5)

(6)

(7) 摘要自動命題能夠減少教師的負擔以及命題的成本，故本研究以國小數學「正比」單元為研究範圍，結合選擇題與建構反應題建置自動命題系統與自動化分析機制並探討自動命題是否適合作為複本測驗與自動化分析機制的成效。根據研究結果，本研究結論如下：一、本研究建立之試題模型，在同一個試題模型下，第 1、2 題為相同題型，第 3、 4 題為相同題型，其難度相近以及在答題表現上為中度正相關。根據結果得知第 1、2 題與第 3、4 題試題模型所產生之試題適合作為複本測驗。二、本研究測驗的方式為結合選擇題與建構反應題，相較於建構反應題，因選擇題的形式具有猜測因素，故選擇題答對機率相對較高。三、本研究建構反應題自動化分析概念與錯誤類型平均辨識率均為 0.934，成效良好，故能減輕教師閱卷負擔。四、本研究結合選擇題與建構反應題建置自動命題系統與自動化分析機制，透過自動化分析機制，教師能根據診斷結果進行補救教學，達到因材施教的功效。. 關鍵詞：電腦化測驗、自動化分析、建構反應題、自動命題、複本測驗。. I.

(8) Abstract Automatic item generation reduces the burden of teachers and the cost. Due to that this research indicates that the math units of 「proportional」in elementary school for its field of research, building automatic item generation system and automatic analysis mechanism to combine multiple choices items,constructed-response items. This research figures out that does automatic item generation is suitable for being a result of parallel test and the result of automatic analysis mechanism. According to the findings, the conclusions are as follows: 1. Answer result of similar items that similar difficulty and positive correlation. So the item template suitable as a parallel test. 2. The research testing way combines multiple choices items and constructed response items. Comparing to constructed- response items, multiple choice items of form have guess factor so the multiple-choice answer rate is relatively high. 3. This research analyzes constructed-response items attributes and error patterns that the average recognition rate was 0.934,working well so it can reduce the burden of teachers. 4. This research builds automatic item generation system and automatic analysis mechanism to combine multiple choice items and constructed-response items. Because of automatic analysis mechanism can demostrate the results of diagnosis, the teachers implement the remedial teaching. Achieve the effect to teach students in accordance with their aptitude.. Keywords: Computerized tests, Automated analysis, constructed-response items,. Automatic Item Generation, parallel test. II.

(9) 目錄摘要 ................................................................................................................................. I ABSTRACT ................................................................................................................... II 目錄 ...............................................................................................................................III 表目錄 ............................................................................................................................ V 圖目錄 ......................................................................................................................... VII 第一章緒論 .................................................................................................................1 第一節研究動機 ......................................................................................................1 第二節研究目的 ......................................................................................................3 第三節名詞界定及釋義 ..........................................................................................3 第二章文獻探討 .........................................................................................................5 第一節正比教材分析與相關研究 ..........................................................................5 第二節命題規則分析 ............................................................................................12 第三節建構反應題 ................................................................................................16 第四節自動命題 ....................................................................................................18 第五節複本測驗 ....................................................................................................22 第三章研究方法 .......................................................................................................23 第一節研究流程 ....................................................................................................23 第二節研究工具 ....................................................................................................25 第三節區塊分析法 ................................................................................................29 第四節自動命題系統 ............................................................................................33 第五節研究對象 ....................................................................................................39 第六節評估指標 ....................................................................................................39 第四章研究結果 .......................................................................................................41 第一節自動命題成效分析 ....................................................................................41 第二節建構反應題自動化分析之效能 ................................................................45 第五章結論與建議 ...................................................................................................63 第一節結論 ............................................................................................................63 第二節建議 ............................................................................................................64 參考文獻 .......................................................................................................................65 中文部分....................................................................................................................65. III.

(10) 英文部分 ................................................................................................................... 68 附錄一附錄二附錄三. 試題模型 ....................................................................................................... 70 自動化分析流程圖 ....................................................................................... 74 預試試題與自動命題 ................................................................................... 82. IV.

(11) 表目錄表 2-1 表 2-2 表 2-3 表 2-4 表 2-5 表 2-6 表 2-7 表 2-8 表 2-9 表 2-10 表 2-11 表 2-12 表 2-13 表 3-2 表 3-3 表 3-4 表 3-5 表 3-8 表 3-9 表 3-14 表 3-15 表 4-1 表 4-2 表 4-3 表 4-4 表 4-5 表 4-6 表 4-7 表 4-8 表 4-9 表 4-10 表 4-11 表 4-12 表 4-13 表 4-14 表 4-15 表 4-16. 與「正比」單元內容相關之能力指標 ...........................................................5 與「正比」單元內容相關之分年細目 ...........................................................6 近年與「正比」單元內容相關的研究 ...........................................................7 與正比相關的錯誤類型整理 ...........................................................................9 命題規則：一個變數 .....................................................................................12 命題規則：二個變數 .....................................................................................13 命題規則：三個變數 .....................................................................................13 命題規則：四個變數 .....................................................................................14 命題規則：五個變數 .....................................................................................14 建構反應題電腦自動化分析的相關研究 .....................................................16 自動命題的相關研究 .....................................................................................18 題幹類型 .........................................................................................................20 選項類型 .........................................................................................................20 難度等級表 .....................................................................................................26 鑑別度評鑑標準 .............................................................................................26 本研究使用之正比單元概念 .........................................................................27 本研究使用之正比單元錯誤類型 .................................................................28 概念、錯誤類型與試題關聯表 .....................................................................33 第 1、2 題之試題模型 ...................................................................................34 概念與錯誤類型辨識率計算範例 .................................................................39 答題一致性計算範例 .....................................................................................40 自動命題之試題量 .........................................................................................41 試題難度 .........................................................................................................42 不同題型答題差異 .........................................................................................43 第 1、2 題相關 ...............................................................................................44 第 3、4 題相關 ...............................................................................................44 第 1 題學生錯誤類型數量與辨識率 .............................................................45 第 2 題學生錯誤類型數量與辨識率 .............................................................46 第 3 題學生錯誤類型數量與辨識率 .............................................................46 第 4 題學生錯誤類型數量與辨識率 .............................................................47 第 6 題學生錯誤類型數量與辨識率 .............................................................48 第 8 題學生錯誤類型數量與辨識率 .............................................................48 第 10 題學生錯誤類型數量與辨識率 ...........................................................49 第 1 題學生概念數量與辨識率 .....................................................................49 第 2 題學生概念數量與辨識率 .....................................................................50 第 3 題學生概念數量與辨識率 .....................................................................51 第 4 題學生概念數量與辨識率 .....................................................................52. V.

(12) 表 4-17 表 4-18 表 4-19 表 4-20 表 4-21 表 4-22 表 4-23 表 4-24 表 4-25 表 4-26 表 4-27 表 4-28 附表 1-1 附表 1-2 附表 1-3 附表 1-4 附表 3-1. 第 6 題學生概念數量與辨識率 .................................................................. 53 第 8 題學生概念數量與辨識率 .................................................................. 54 第 10 題學生概念數量與辨識率 ................................................................ 55 建構反應題自動化分析錯誤類型辨識率 .................................................. 56 建構反應題自動化分析概念辨識率 .......................................................... 57 在自動化分析下概念的答題一致性 .......................................................... 57 在自動化分析下使用不同概念解題之比例 .............................................. 58 在專家判讀下概念的答題一致性 .............................................................. 58 在專家判讀下使用不同概念解題之比例 .................................................. 59 在自動化分析下錯誤類型的答題一致性 .................................................. 59 在專家判讀下錯誤類型的答題一致性 ...................................................... 60 某甲生使用不同概念解題情形 .................................................................. 61 第 3、4 題之試題模型................................................................................. 70 第 5、6 題之試題模型................................................................................. 71 第 7、8 題之試題模型................................................................................. 72 第 9、10 題之試題模型............................................................................... 73 預試試題(範例試題)與自動命題 ................................................................ 82. VI.

(13) 圖目錄圖 2-14 圖 3-1 圖 3-6 圖 3-7 圖 3-10 圖 3-11 圖 3-12 圖 3-13 附圖 2-1 附圖 2-2 附圖 2-3 附圖 2-4 附圖 2-5 附圖 2-6 附圖 2-7 附圖 2-8. 試題模型範例 ...............................................................................................21 研究流程圖 ...................................................................................................23 第 1、2 題錯誤類型分析流程 .....................................................................29 第 1、2 題概念分析流程 .............................................................................30 命題系統介面 ...............................................................................................35 選擇題介面 ...................................................................................................36 建構反應題介面 ...........................................................................................37 自動化分析結果介面 ...................................................................................38 第 3、4 題錯誤類型分析流程 .....................................................................74 第 3、4 題概念分析流程 .............................................................................75 第 5、6 題錯誤類型分析流程 .....................................................................76 第 5、6 題概念分析流程 .............................................................................77 第 7、8 題錯誤類型分析流程 .....................................................................78 第 7、8 題概念分析流程 .............................................................................79 第 9、10 題錯誤類型分析流程 ...................................................................80 第 9、10 題概念分析流程 ...........................................................................81. VII.

(14) VIII.

(15) 第一章. 緒論. 本章共分為三小節，第一節說明「研究動機」；第二節說明「研究目的」；第三節說明「名詞界定及釋義」。. 第一節研究動機舉凡國語、數學、自然、社會和英文等等的這些學科，在學校裡都是學生需要學習的，在教育的環境裡，教師們傳授這些學科知識給學生時，如果不透過測驗或者是評量的方式去檢核學生的學習成果，可能會造成不了解學生學習困難的癥結點，進而沒辦法改善學生的學習情況，造成學生學習上的惡性循環；學習與評量是緊緊相依的，少了其中一個，實行另外一個就沒有意義了（黃文信，2010）；透過評量的方式，教師可以在傳授知識後了解學生的學習成效，在不足的地方，進行補救教學（莊峰魁、王文卿、劉育隆、郭伯臣，2010）。隨著科技日新月異，改變了以往的測驗以及瞭解學生學習歷程方式，現在不再是以紙筆為主要的測驗方式，取而代之的是以電腦化測驗為主要的方式（曾彥鈞，2007）；傳統的紙筆測驗，不能知道得分相同的學生，其錯誤類型是否相同，而電腦化測驗能利用學生的解題過程，瞭解學生的錯誤類型，進行補救教學（張永鑫，2010；鄭涵，2010）。在過去的測驗中，在命題的部分，不管是命題光碟亦或是線上的測驗系統，只要題庫不夠大，試題容易被重複選取，造成學生對試題的熟悉度增加，進而影響測驗的結果；為了增加更多更繁雜的試題以及減輕專家命題時的負擔，此時就需要實行自動命題(Lai, Alves, & Gierl, 2009)；考慮到自動命題的好處，舉例來說當建置試題模型時，這個試題模型能產生成千上萬的試題，以及試題的安全性跟曝光度也能夠減少，進而更精準評估學生的能力(Lai et al., 2009)；為了減少命題花費的人力與心力，本研究致力於自動命題系統的開發。. 1.

(16) 比起需要更多語言基礎的科目，如國文與社會，數學科更適合於自動命題的開發，因只需注重在計算上的變化，這原因造成以語言為基礎的試題模型數量遠低於數學科的試題模型數量，此外，專家習慣開發數學科的試題模型，雖然許多的條件限制，但產生的試題還是能維持在同一水平上(Lai et al, 2009)。在過去數學科的自動命題中，Gierl 和 Lai(2012)的研究指出，選擇題選項位置的設計上是固定的，舉例來說有一個試題模型正確答案為 D，這樣一來不管試題數字如何變化，正確答案都為 D，所以只要學生熟悉這試題模型產生的試題便能預測答案；另外，在自動命題中同一個試題模型，可能會有許多種不同情境的試題，需考慮數字與情境之間的合理性，如果與實際情況相差甚大的話，自動命題將毫無意義，以及在同一個模板中所要傳達的能力指標都是一致的，如果不同情境試題的難易度、試題結構差異過大的話，可能無法準確估計學生的程度；歐滄和（1993）指出命題經驗越豐富的教師，越能符合命題的標準以及在測驗之前需檢閱試題內容，並找出試題內容不合理之處加以修正。在本研究中試題的難易度可能會受到變數之間的關係和情境不同、數字大小等等影響，所以需要先由專家判斷來控制試題的難度，在正式施測後，評估自動命題之試題難度與鑑別度以及探討自動命題是否適合做為複本測驗。不管是紙筆測驗或者是電腦化測驗，都是以選擇題為主要的測驗題型，由於選擇題沒有辦法真正瞭解學生的想法，又可能會受到猜測的因素，影響到學生的作答結果，所以需適當的加入建構反應題型；黃文信（2010）的研究中指出為了測得學生更多的能力指標，可以使用更多的選擇題來測驗來減少猜測因素，但相同類型的題目增加，可能會讓學生反感，所以提出了另外一個方法，就是加入建構反應題，學生可以依照自己的想法作答無法猜測，教師能透過分析學生作答歷程，瞭解其錯誤類型以及缺少哪些概念，Linn 和 Gronlund(2000)指出透過建構反應題的作答歷程，可以得知學生歸納統整、表達想法等能力；為了避免過多的選擇題，會有猜測的可能，進而影響到學生分析的結果，本研究加入建構反應題來. 2.

(17) 評估學生的錯誤類型與概念以及探討同一個試題模型中不同題型的答題差異。在建構反應題分析的部分，過去都是以人工閱卷的方式處理，如果試題量增加，可能會造成閱卷教師的負擔，儘管目前能做到自動化分析的部分 (Yang, C.-W.、Kuo, B.-C.、Liao, C.-H., 2011)，但是一題就需撰寫一支相對應的程式，跟人工閱卷方式一樣只要題數一多，就會造成負擔；為了改善建構反應題在自動化分析之不足，本研究使用區塊分析方法，在同一個試題模型中所產生的試題，可以只用一支相對應的程式做自動化分析，以提高分析的效率並瞭解自動命題中自動化分析的成效。本研究期望開發自動命題系統，能讓教師命題以及設定變數範圍，在測驗系統的部份，包含選擇題與建構反應題，在測驗完畢後，會顯示錯誤類型與概念診斷結果。. 第二節研究目的基於上述之研究動機，本研究以「正比」為研究範圍，有以下四項目的：一、探討自動命題是否適合作為複本測驗二、探討同一個試題模型之選擇題與建構反應題的答題差異三、探討自動命題中自動化分析之一致性四、建置自動命題系統. 第三節名詞界定及釋義本研究提及之「自動命題」、「建構反應題」、「錯誤類型」、自動化分析錯誤類型所使用的「區塊分析」方法以及「複本測驗」，將於此小節界定及釋義：. 壹、自動命題本研究建置自動命題系統，讓使用者輸入試題情境，以及變數區間範圍，藉此產生成千上萬題試題；由於自動命題常伴隨著試題模型的設定，但在數學科的. 3.

(18) 部分，不管是國內或者是國外的文獻中自動命題的相關研究較少，期望藉由本研究的討論，開啟研究自動命題的熱潮；Gierl, Zhou and Alves(2008)提出試題模型的相關研究，建議將試題模型分為兩種：(1)題幹(2)選項，透過這兩種變化去產生試題，在文獻探討的部分再加以討論。. 貳、建構反應題本研究使用 MathJax 軟體結合其它程式語言作為建構反應題呈現的工具，學生只要使用鍵盤輸入就能依照自己的想法呈現在網頁上。本研究結合選擇題以及建構反應題的電腦化測驗，避免過多的選擇題，學生猜測答案，使用建構反應題透過電腦的特性能完整記錄學生作答歷程，藉此分析學生的錯誤類型。. 參、錯誤類型錯誤類型指的是學生的作答步驟與專家的想法不符，進而導致錯誤的結果（陳宗楹，2010，鄭俊彥，2011，Kathleen, 1987）。本研究錯誤類型指的是透過「正比」單元之紙筆測驗後所蒐集而得的資料，經由專家討論、分析學生的作答歷程，定義出「正比」單元之錯誤類型。. 肆、區塊分析「區塊分析」為本研究在自動命題時自動化分析建構反應題的方法。「區塊分析」指的是將學生的作答歷程，透過運算符號的切割，所切割的區塊在與錯誤類型、概念做比對(Yang et al, 2011)；本研究切割的符號為等號以及換行符號。. 4.

(19) 第二章. 文獻探討. 本研究以「正比」單元為研究範圍，結合自動命題建置選擇題與建構反應題的電腦化測驗系統，為了達到本研究的目的，本章將蒐集以及探討過去的相關文獻，分為以下幾節：「正比教材分析與相關研究」、「命題規則分析」、「自動命題相關研究分析」、「建構反應題」以及「複本測驗」。. 第一節正比教材分析與相關研究本節探討「正比」單元教材與相關研究的相關文獻，協助自動命題系統之開發。在日常生活中，「比」或是「比值」對我們來說並不陌生，舉例來說在地圖上我們能透過比例尺算出實際的位置以及我們可以透過比值的形式來表示兩數量之間的關係。以下列出教育部公布之五大能力指標以及分年細目，有關「正比」單元教材的部分（教育部，2008）：表 2-1 與「正比」單元內容相關之能力指標能力指標編碼. 能力指標內容. N-3-14. 能認識比率及其在生活中的應用. N-3-15. 能認識比、比值與正比的意義，並解決生活中的問題. N-4-03. 能理解比例關係、連比、正比、反比的意義，並解決生活中的問題. N-4-04. 能熟練比例式的基本運算. S-3-04. 能認識平面圖形放大、縮小對長度、角度與面積的影響，並認識比例尺. 資料來源：教育部（2008）。97 年國民中小學九年一貫課程綱要。臺北市。. 5.

(20) 從相關文獻中可以看出與「正比」內容相關的能力指標包括「數與量」以及「幾何」的部分，尤其又以能力指標「數與量」的比例最高；「數與量」在國小的數學課程中，在基礎能力以及概念的培養佔有舉足輕重的地位（教育部，2008）。表 2-2 與「正比」單元內容相關之分年細目分年細目編碼. 分年細目內容. 5-n-14. 能認識比率及其在生活中的應用(含「百分率」、「折」). 6-n-09. 能認識比和比值，並解決生活中的問題. 6-n-10. 能理解正比的意義，並解決生活中的問題. 6-s-02. 能認識平面圖形放大、縮小對長度、角度與面積的影響，並認識比例尺. 7-n-13. 能理解比、比例式、正比、反比的意義，並能解決生活中有關比例的問題. 7-n-14. 能熟練比例式的基本運算. 7-n-15. 能理解連比、連比例式的意義，並能解決生活中有關連比例的問題. 資料來源：教育部（2008）。97 年國民中小學九年一貫課程綱要。臺北市。. 從上述文獻探討中可以得知「比」在五年級到七年級中，不僅僅是在數學能力上的學習，更重要的是能夠解決生活中的問題。透過文獻的分析與資料的搜集，與專家討論並制定出本單元之概念，期許更能充分地掌握住學生在此單元之學習情況，教師能瞭解學生是否擁有本單元之概念，進行補救教學。. 6.

(21) 近年來國內已經有不少與「正比」單元內容相關的研究，依照研究者、研究主題以及研究結論，整理相關文獻如下表：表 2-3 近年與「正比」單元內容相關的研究研究者. 研究結論此研究為電腦輔助學習系統，透過察覺(awareness)、發現. 魏金財 (discover)、建構(construct)、應用(application)四個階段，讓學習者（1994）探討兩變量之間的關係以及在比與比值的概念能建構的更好。黃寶彰（2002）. 學生在解比與比例問題中主要的學習困難，分別為組合問題、濃度問題、身高問題、交換問題。 1.數字組合為非整數倍能使用的解題策略較多，學生會受到數字影響進而使用不同的解題策略。. 莊玉如 2.數字組合為整數倍的題目，對國小四年級學童較為簡單。（2005） 3.未學過比例單元內容的學生，數字一樣情境不同之題目，會影響到他們的解題策略，另外在解題時會以整數倍的計算為主。洪玉蓉（2006）. 學生在解題時，對於比的概念不熟悉，進而使用其他的概念解題且中低程度的學生對於比與比值的轉換是有困難的。透過比與比值題目的分析，瞭解兩數量之間的關係、比感的建立，. 林碧珍以及題目情境是否合理；讓學生知道使用比的合理性、比值得意（2010）義，而不只是數字上的運算。 (續下頁). 7.

(22) 1.比需要有意義才能使用，瞭解兩數量之間的意義。柳芳宛（2010）. 2.瞭解比值與比的關係。 3.須考慮到情境的部分，透過題目、題型以及數字的變化，增加學生的比感。以國小六年級「比、比值與成正比」單元為研究範圍，在不同補. 林玉華救教學下，學生數學概念達成率之平均進步率最高為「適性化電（2011）腦自學模式」，最低為「傳統教學模式」。 1.研究結果顯示二階段試題平均辨識率優於一階段試題平均辨識曹秀如率。（2011） 2.六年級學生答對率較低(小於 35%)的數學概念，共有 7 個。蔡妃妃（2012）. 將比與比例分為五個層次，研究結果發現國小六年級學童，有 77% 集中在低層次。研究結果顯示「速率問題」、「餅乾問題」、「水果問題」、「滿度問. 洪美玲題」，這四種測驗可解釋例行性比例問題 49%的變異量，其中又（2012）以「速率問題」效果最好。 1.各版本比的定義不清楚，學生容易認為任兩數皆有比例的關係。吳沁珊（2012）. 2.各版本未讓學生考慮情境的部分，一昧的數字計算，沒有訓練比感。 3.部份版本只說明比值等於前項除以後項。. 8.

(23) 由上述的內容中能瞭解本研究探討的「正比」單元相關內容裡，對學生來說題目中的情境以及數字，會影響到他們的作答情況，可以得知在題目情境以及數字的部分是值得研究的。沈明勳、劉祥通（2002）的研究中，歸納國外 Lamon(1993)以及國內的文獻，將比例的試題類型分為五類，分別為：交換問題、密度問題、母子問題、組合問題、伸縮問題；楊錦連（1999）認為交換與組合問題的試題為簡單，而伸縮與母子問題為困難。因為題目情境、數字、題目類型會影響到學生的解題情況，如果概念不熟悉或是不清楚容易使用到錯誤的解題方式，進而造成錯誤類型的產生。因此本研究以「正比」單元為範圍建置電腦化測驗系統，透過「正比」單元的紙筆測驗結合相關文獻的蒐集，期許能歸納出「正比」單元相關的錯誤類型，瞭解學生在「正比」單元中缺少的部分，整理相關文獻如下表：表 2-4 與正比相關的錯誤類型整理研究者. 錯誤類型學生遇到求未知數的比例問題時，容易遇到兩種錯誤類型：. 莊玉如. 1.情境裡有提到濃度時，學生常不懂題意，就對數字任意運算。. （2005）. 2.容易忽略兩前項之關係，也就是說列式為 A：B=C：□時，容易忽略 A 與 C 之間的關係。未進行補救教學的學生，較常犯的錯誤類型如下： 1.列出比或比值時，前項與後項產生錯置。. 陳曉琪 2.對比值的定義不清楚。（2006） 3.不清楚比與比值的差別。 4.不瞭解題意或是受題意影響，任意運算。. 9.

(24) 表 2-4 與正比相關的錯誤類型整理(續) 研究者. 錯誤類型研究中從高、中和低分組抽取 6 名代表性學童判斷其錯誤類型如下： 1.對數字任意運算。 2.不懂題意。 3.計算錯誤。. 傅宗聖 4.誤認兩後項的倍數，就是未知數。（2007） 5.非整數倍的比例問題，解題上有困難。 6.不清楚倍數關係，造成不知道使用乘法或除法解題。 7.單位錯誤。 8.未做答。 9.忽略前項關係。未進行補救教學的學生，錯誤類型發生率較高的如下： 1.列出比時，前後項錯置。 2.求比或比值時，比與比值搞混。林玉華（2011）. 3.對比值的定義不清楚，無法正確寫出比值。 4.對小數的計算不熟悉。 5.數字無法化做最簡。 6.無法判斷兩變數是否成正比。 7.無法判斷兩變數成正比的圖形。. 10.

(25) 表 2-4 與正比相關的錯誤類型整理(續) 研究者. 錯誤類型研究結果顯示較常出現的錯誤類型如下： 1.少寫一個零。 2.對於分數或小數的運算因為不熟悉常粗心犯錯。. 李凱雯 3.內項乘積等於外項乘積的觀念不清楚（2013） 4.後項列式錯置。 5.題目和單位沒看清楚或是不瞭解 6.正確列式但沒計算。從上述文獻探討中，可以看出與「正比」單元相關的錯誤類型，主要是以探討比例部分的錯誤類型最多，其中最為常見的錯誤類型為：列出比時，前項與後項錯置、對數字任意運算以及計算錯誤。學生可能因為題意、數字或者是題目的變化，無法列出正確的比例式以及粗心，導致錯誤類型產生，因此本研究以「正比」單元為研究範圍，透過紙筆測驗蒐集學生的作答過程，經由專家歸納並定義出本研究之錯誤類型。. 11.

(26) 第二節命題規則分析不同於一般四則運算的題目，在國小應用題命題的部分，涂金堂（2007）指出將日常生活中的情況、經驗，透過特定文字與數字結合的方式，加入到試題裡。在這些應用題的部分，都有其命題的規則，本研究將所有國小六年級單元的試題，加以分類並歸納整理出命題規則，期望能透過命題規則應用在自動命題的研究上。先把數字的部分取代成變數，每個命題規則僅用一題顯示，如下表：表 2-5 命題規則：一個變數命題規則. 學習單元. 單元試題李叔叔有一塊 3.2 公畝的土. 文字+變數+文字. 公秉、公噸和公畝地，是多少平方公尺? 2.703 平方公里的土地，是多. 變數+文字. 公秉、公噸和公畝少公畝?相當於多少公頃?. 資料來源：整理自張英傑(主編)（2009）。國民小學數學第 11 冊。臺南市：南一。. 12.

(27) 表 2-6 命題規則：二個變數命題規則. 學習單元. 單元試題奇奇有ㄧ條浴巾，面積是 36. 48. 平方公尺，文文有ㄧ條絲文字+變數+文字+變數+ 分數的乘法文字. 巾，面積是 27 平方公尺，浴 36. 巾和絲巾哪一條的面積比較大? 1 個直徑長 30 公分的大披變數+文字+變數+文字. 圓面積. 薩，它的圓周長大約是幾公分?. 資料來源：整理自張英傑(主編)（2009）。國民小學數學第 11 冊。臺南市：南一。表 2-7 命題規則：三個變數命題規則. 學習單元. 單元試題國旗的寬對長的比是 2 ：1， 3. 文字+變數+文字+變數+ 比與比值文字+變數+文字. 有一面國旗寬 60 公分，長是多少公分? 1 條繩子長 52 39 公尺，用去. 變數+文字+變數+文字+. 40. 四則混合運算變數+文字. 全長的 10 後，還剩下幾公尺? 13. 資料來源：整理自張英傑(主編)（2009）。國民小學數學第 11 冊。臺南市：南一。. 13.

(28) 表 2-8 命題規則：四個變數命題規則. 學習單元. 單元試題水果店老闆以每箱 2400 元買進 3 箱櫻桃，如果每箱以 3600. 文字+變數+文字+變數+ 元售出，老闆每箱櫻桃加了文字+變數+文字+變數+. 百分率幾成?如果再以 40%off 的價. 文字格賣出，老闆每箱賺或賠多少元? 1 條電線長 14.57 公尺，每 3.7 變數+文字+變數+文字+ 小數的除法. 公尺剪成 1 段，最多可剪成. 變數+文字+變數+文字幾段?剩幾公尺? 資料來源：整理自張英傑(主編)（2009）。國民小學數學第 11 冊。臺南市：南一。表 2-9 命題規則：五個變數命題規則. 學習單元. 單元試題有大、中、小 3 桶礦泉水，. 文字+變數+文字+變數+. 每桶的液量分別為 30、25、5. 文字+變數+文字+變數+. 平均數、中位數和眾數公升；若要改裝在 3 個一樣. 文字+變數+文字. 大的容器，平均每個容器要裝多少公升?. 14.

(29) 表 2-9 命題規則：五個變數(續) 命題規則. 學習單元. 單元試題 1 條緞帶長 24 公尺，小文拿. 變數+文字+變數+文字+ 變數+文字+變數+文字+. 了 18 條緞帶，小忠拿了 9 條分數的乘法. 24. 12. 緞帶，小仁拿了 3 條緞帶，誰. 變數+文字. 4. 拿的緞帶比較長? 資料來源：整理自張英傑(主編)（2009）。國民小學數學第 11 冊。臺南市：南一。. 從上述的文獻探討可以得知從不同變數的組合瞭解命題規則有其規律性，其中五個變數以內的命題最為常見，三個變數以及四個變數中，變數的變化較有多樣性，其他像是六個以及七個變數的命題方式，在課本或者是習作中僅有一或二題，屬於比較少見的情況，在命題規則的部分，不再多做討論。本研究利用文獻中較常出現的二個以及三個變數之命題方式，做為自動命題之試題模型，藉由固定的命題規則，讓教師瞭解在命題時的方向，不容易在自動命題時產生不同類型免學生因為命題規則的不同，影響到作答結果。. 15.

(30) 第三節建構反應題建構反應題指的是透過學生的想法自由作答；透過分析學生的答題過程，將不同錯誤類型卻有相同答題結果的學生做出區分，過去在判讀建構反應題的錯誤類型以及概念時，都需要以人工閱卷的方式判讀，相當耗費時間，若能建立電腦自動化分析建構反應題的錯誤類型以及概念機制，將能減少判讀時間（鄭俊彥， 2011）。近年來國內在建構反應題的判讀上已經有不少能夠做到電腦自動化分析的相關研究，整理如下表 2-10：表 2-10 建構反應題電腦自動化分析的相關研究研究者. 研究發現. 吳任婕. 使用區塊分析的方法建立自動化分析機制，其平均辨識率為. （2009）. 97.15%，在診斷學生錯誤類型的部份，已能達到良好成效。. 周麗莉（2009）鄭涵（2010）莊峰魁等人（2010）. 比起選擇題型，建構反應題能透過學生的作答歷程，分析出錯誤類型。以 Matlab 程式撰寫自動化分析錯誤類型，其平均辨識率為 97.79%，成效良好。建構反應題能完整記錄學生的作答歷程以及自動化分析建構反應題能降低教師閱卷時間。在選擇題的部份，學生遇到不會寫的題目時容易猜測，使用建. 黃文信構反應題，紀錄學生作答歷程分析出錯誤類型；在測驗信度的（2010）部份，建構反應題比選擇題還高。陳宗楹（2010）. 自動計分與分析錯誤類型，其診斷平均正確率為 95.75%，辨識效果良好，並能減輕教師閱卷負擔。. 16.

(31) 表 2-10 建構反應題電腦自動化分析的相關研究(續) 研究者. 研究發現. 張永鑫. 電腦自動化分析建構反應題，能快速判斷出學生的錯誤類型，. （2010）鄭俊彥（2011）. 瞭解學生學習成效，在不足之處，進行補救教學。建構反應題平均辨識率為 0.9445，將此系統應用在測驗上便能降低教師閱卷時間。. 從上述文獻探討中發現電腦自動化分析建構反應題錯誤類型以及概念的優點，如下列：一、比起過去需要耗費時間人力閱卷，電腦自動化分析建構反應題能夠在學生作答完畢時，立即給予回饋，節省教師閱卷時間（吳任婕，2009；黃文信，2010；鄭涵，2010；陳宗楹，2010；張永鑫，2010；莊峰魁等人，2010；鄭俊彥， 2011）。二、藉由電腦資料庫能夠儲存大量資料的優點，將學生答題過程記錄到電腦資料庫裡，再透過自動化分析機制，瞭解學生學習情況（鄭涵，2010；陳宗楹， 2010；鄭俊彥，2011）。三、電腦自動化分析建構反應題標準一致。（周麗莉，2009；莊峰魁等人，2010）。從文獻中可以發現建構反應題應用在電腦化測驗上的相關研究，已經相當豐碩。比起過去人工閱卷耗費時間，在自動化分析建構反應題的部分，已經能精準判斷學生的答題過程，但在建立自動化分析建構反應題機制時，需要每一題都建立相對應的程式，來判斷每一位學生的答題過程。因此，本研究利用上述電腦分析建構反應題的優點，透過「正比」單元的試題以及學生的作答歷程，建立自動命題之自動化分析建構反應題的程式，相關類型的題目使用一支相對應的程式即可。. 17.

(32) 第四節自動命題過去的紙筆測驗，需要由教師花時間以及心力命題，儘管各版本提供教師命題光碟，來減輕教師負擔，但試題容易重複以及學生對試題的熟悉度容易提高，這樣一來就失去測驗的目的，造成不容易評估學生的學習情況，無法提供更有效的補救教學；儘管近年來電腦化測驗的蓬勃發展，電腦化測驗的試題也需要由教師命題再上傳到系統中，無法解決教師在命題上的困難。在數學科自動命題的部分，屬於較新的研究議題，整理如下表 2-11：表 2-11 自動命題的相關研究研究者. 研究結果利用 34 種不同類型之試題模型，透過題. Lai et al.(2009). 幹以及選項之間的關係，建立出 64280 題試題。自動命題牽涉到試題模型以及電腦科技. Gierl et al.(2012). 的部分，透過這兩部份的結合產生新的試題，本研究建立出 1248 題試題。選擇題之試題模型開發，需要考慮題幹以及選項兩大變數，透過特定的關係，產生. Gierl and Lai(2012). 試題；不同題幹以及選項種類的搭配，只有 10 種的情況，適合應用在自動命題上。在代數推理測驗中提出三種認知成分，包括欲推論的未知項個數、待解未知變數個. 蘇義翔、洪碧霞（2012）數和輸入項數量變化，其中前兩項認知成分，可解釋 67%的試題難度變異。. 18.

(33) 從上述相關文獻中得知自動命題的優點，如下列：一、測驗試題的開發，不僅昂貴且耗時，然而自動命題能夠結合試題模型與電腦. 演算法，教師只需開發試題模型，便能產生大量的試題 (Lai et al., 2009；Gierl et al., 2012)。二、在相同難度下的試題，為了避免學生考到相同的題目，教師需要撰寫不同的題目，使用自動命題能夠減低考到相同題目的風險 (Gierl and Lai, 2012)。三、自動命題中只有特定的變數被操縱(Gierl and Lai, 2012)；因此，只要決定好試題的情境，以及變數的範圍，便能產生試題。四、可利用認知成分來控制試題難度，進行自動命題的研發（蘇義翔、洪碧霞， 2012）。從自動命題的相關研究中得知試題模型的重要性；試題模型主要由題幹、選項以及輔助訊息組成(Gierl et al., 2008)；題幹是試題中的一部分，主要是以制定內容或題目要求受試者回答(Gierl et al.,2008；Gierl and Lai, 2012)；選項的部分包括一個正確答案的選項以及多個不正確或粗心的選項 (Gierl and Lai, 2012) 。. 19.

(34) (Gierl et al., 2008)將題幹分為四種類型，選項分為三種類型，分類如下表 2-12、2-13：表 2-12 題幹類型題幹類型獨立. 說明題幹中的變數一個或大於一個並且和其他變數沒關係。題幹中的變數大於二個，變數之間會有依賴或者是直接的關. 依賴係。包括獨立以及依賴這兩種類型的變數，題幹中的變數存在著這混合兩種的關係。固定. 題幹中的變數等於零，題幹毫無變化。. 資料來源：修改自“Developing a Taxonomy of Item Model Types to Promote Assessment Engineering,” by M. J.Gierl, J.Zhou, & C.Alves, 2008. Journal of Technology, Learning, and Assessment, 7(2). 表 2-13 選項類型選項類型. 說明從相對應的資料庫中，選擇正確選項以及隨機選擇錯誤的選. 隨機選擇項。約束. 透過公式的計算，產生正確以及錯誤的選項. 固定. 正確及錯誤選項都是固定不變的. 資料來源：修改自“Developing a Taxonomy of Item Model Types to Promote Assessment Engineering,” by M. J.Gierl, J.Zhou, & C.Alves, 2008. Journal of Technology, Learning, and Assessment, 7(2).. 20.

(35) 並進一步將題幹以及選項做搭配，固定的題幹和約束的選項、固定的題幹和固定的選項，因為沒有變數可以操縱，故不適合拿來做自動命題(Gierl and Lai, 2012)。. 圖 2-14 試題模型範例資料來源：“Using automatic item generation to address item demands for CAT,” by H.Lai, M. J. Gierl, 2009. In Proceedings of the 2009 GMAC Conference on Computerized Adaptive Testing. 試題模型範例的題幹類型為獨立，選項類型為約束，沒有輔助訊息且正確答案為固定的，本研究利用的題幹類型為依賴，選項類型為約束。本研究利用自動命題相關研究的優點，大量產生試題減輕教師命題時的負擔，在試題選項的部份，各選項位置不為固定，並結合試題模型的特性，瞭解題幹與選項之間的變化以及題幹中變數之間的關係，建立本研究「正比」單元之試題模型。. 21.

(36) 第五節複本測驗為了增加可用的試題，通常會使用複本測驗的概念來產生試題，設計相同能力指標的複本試題時，試題相似的機率很高，為了避免類似的問題產生，通常在設計題目時，會更改題目的描述方式、情境......等方式（考選部，2012）。（陳怡靜、劉祥通，2012）研究中指出解題歷程對評量的重要性，透過學生的解題歷程，才能真正瞭解學生的迷失概念，而在編製試題上主要是以能看出學生有解題想法的非例行試題為主，此外，複本試題的編製上以同構試題為主。所謂的等價試題是兩試題的情境差異不大，解題方法也相同；同構試題則是兩試題情境不一樣，但解題方法相同（陳怡靜、劉祥通，2012；Reed, 1987）。同構與等價試題如下（引自陳怡靜、劉祥通，2012）： A 題：一個小型管子可在 12 小時內注滿油罐，一個大型的管子可以 8 個小時注滿，如果同時使用兩個管子加滿油箱，需要多久的時間？ B 題為：一個小型水管可以 6 個小時內注滿游泳池，一個大型的水管可以 3 個小時注滿，如果同時使用兩個水管注水，需要多久時間？ C 題為：湯姆開車至比爾家需 4 小時，而比爾開車至湯姆家需 3 個小時，若他們同一時間離開自己家，開往對方家，則他們需要多久時間才能相會？（陳怡靜、劉祥通，2012）最後在研究中指出情境類似的複本試題容易讓學生覺得在做相同的題目。故本研究利用同構試題的概念，期許能達到複本測驗的成效。. 22.

(37) 第三章. 研究方法. 本研究主要目的為探討自動命題自動化分析建構反應題之錯誤類型與概念成效評估、自動命題成效評估與建置自動命題系統。本章分為下列六節：「研究流程」、「研究工具」、「區塊分析法」、「自動命題系統」及「研究對象」、「評估指標」。. 第一節研究流程本研究流程，如圖 3-1：訂定研究主題蒐集相關文獻專家編製試題進行預試建立錯誤類型與概念資料挑選試題建立自動分析機制. 建立命題系統. 估算產生的試題量. 專家命題. 建立試題模型. 設計防止試題重複機制. 產生試題. 建置測驗系統. 進行施測蒐集學生資料自動化分析建構反應題錯誤類型與概念成效評估圖 3-1 研究流程圖. 23. 自動命題成效評估.

(38) 本研究的研究流程為：步驟 1：訂定研究主題，蒐集國內外相關文獻。步驟 2：根據「正比」單元相關內容由專家編製預試試題，並進行預試，依據學生的作答歷程，與專家討論歸納出本研究「正比」單元之錯誤類型與概念。步驟 3：選取適合的題目做為自動命題之範例試題，依範例試題設計命題系統讓專家在同類型的試題中輸入不同情境與建立試題模型並依據預試學生的作答歷程建立自動化分析機制。步驟 4：藉由專家在命題系統中命題的情況去估算每個試題模型所產生的試題數藉此設計防止試題重複機制。步驟 5：透過試題模型產生之試題建置測驗系統並加入防止試題重複機制與自動化分析機制。步驟 6：進行施測並收集學生作答歷程。步驟 7：自動化分析之錯誤類型與概念成效評估與自動命題成效評估。步驟 8：結論與建議。. 24.

(39) 第二節研究工具壹、PHP 及 MySQL PHP 為撰寫網頁系統時，最常見的程式之一，通常結合 HTML 與 CSS 的排版，讓網頁看起來更美觀，而為了讓系統功能更加完整會加入 Javascript 或者是 Javascript 的套件；MySQL 是免費的資料庫系統，能夠大量的儲存資料以及透過資料庫的分類，能夠快速的搜尋到學生的作答歷程。本研究利用 PHP 的特性，結合 HTML 與 Javascript 撰寫命題系統與測驗系統，並使用 Javascript 的套件：MaxJax，做為建構反應題輸入時的方法；利用 MySQL 儲存學生的作答歷程、自動命題之試題以及自動化分析結果。. 貳、SPSS 為 IBM 公司所推出的產品，主要應用於統計學的分析運算上，為了衡量試題模型所產生之試題是否適合作為複本試題，本研究利用 SPSS 去估算相同題型下同一個試題模型的試題答題表現相關程度。. 参、試題難度等級表與鑑別度評鑑標準表為了挑選適合的試題，Ebel 和 Frisbie(1991)將試題難度分級，在鑑別度的部份，Ebel(1979)也提出了試題評鑑標準，如表 3-2、3-3。. 25.

(40) 表 3-2 難度等級表試題難度(P). 試題難度說明. 0.80≦P. 較易. 0.60≦P<0.80. 易. 0.40≦P<0.60. 難易適中. 0.20≦P<0.40. 難. P<0.20. 較難. 資料來源：Essentials of educational measurement(5th ed.), by R. L. Ebel, D. A. Frisbie, 1991. Englewood Cliffs, NJ: Prentice-Hall.. 表 3-3 鑑別度評鑑標準表試題鑑別度指數. 試題評鑑. 0.40 以上. 非常優良. 0.30 ~ 0.4. 優良，少部分試題需要修改. 0.20 ~ 0.3. 尚可，部分試題需要修改. 0.19 以下. 劣，需要大量修改或淘汰試題. 資料來源：Essentials of educational measurement(3th ed.), by R. L. Ebel, 1979. Englewood Cliffs, NJ: Prentice-Hall.. 本研究利用試題難度等級表與鑑別度評鑑標準表的特性，評估自動命題的品質。. 26.

(41) 肆、「正比」單元預試試卷本研究使用呂家慧（2014）所編製的試卷、錯誤類型與概念作為本研究工具，其概念、錯誤類型，如表 3-4、3-5。本研究使用之正比單元概念，如表 3-4：表 3-4 本研究使用之正比單元概念代號. 概念透過兩數量的比值為一固定數，了解成正比與比值相同為等價. S1. 關係. S2. 能將比利用前項除以後項的方式轉換成比值. S3. 能依據兩數量成正比，寫成相等的比. S4. 運用相等的比其固定的變化關係，解出未知數. S5. 運用兩數量比值為固定數，來求出未知數. S6. 運用內項乘積等於外項乘積，來求出未知數. S7. 求出單位量，再乘以單位數. 資料來源：呂家慧（2014）。國小學童正比單元不同解題策略與數學表現之探討（未出版之碩士論文）。國立臺中教育大學，臺中市。. 27.

(42) 本研究使用之正比單元錯誤類型，如表 3-5：表 3-5 本研究使用之正比單元錯誤類型代號. 錯誤類型. B1. 加法策略，兩數量同時增減固定數值即為正比. B2. 認為兩數量有倍數變化關係(非固定倍數)即為正比. B3. 認為兩數量相乘為一固定數值即成正比. B4. 無法依照題意列出正確算式. B5. 列出相等的比時，前後項錯置. B6. 相等的比，前後項未等量乘除能算出兩前(後)項的倍數，但無法判斷該以乘法或除法來求未知. B7. 數. B8. 誤認比例式之前項相乘等於後項相乘. B9. 誤認兩前(後)項的倍數，即為未知數. 資料來源：呂家慧（2014）。國小學童正比單元不同解題策略與數學表現之探討（未出版之碩士論文）。國立臺中教育大學，臺中市。. 28.

(43) 第三節區塊分析法本研究使用區塊分析方法分析建構反應題，其分析流程圖，如圖 3-6、3-7，其它試題自動化分析流程如附錄二。 (一)第 1、2 題預試試題(範例試題) 百貨公司舉辦點數換現金活動，100 個點數可折抵現金 3 元，沛璇折抵現金 72 元，請問她用了多少點數去折抵呢？ (二)自動化分析流程圖 (1)錯誤類型分析流程，如圖 3-6：. 圖 3-6 第 1、2 題錯誤類型分析流程. 29.

(44) (2)概念分析流程，如圖 3-7：. 圖 3-7 第 1、2 題概念分析流程. 30.

(45) (三)自動化分析流程之步驟將數字部分轉換成變數，如 100 等於 I1、3 等於 I2 以及 72 等於 I3。 (1)錯誤類型 1.判斷○ 1 ：判斷學生是否有作答。 (a)若資料庫中，學生作答資料為空白，認定「未作答」。 (b)若學生作答資料中不為空白，則認定「有作答」，進入判斷○ 2。 2.判斷○ 2 ：判斷是否全對，否則判斷 BUG。 (a)若學生的作答歷程中出現「I3*I1÷I2」計算結果的值、「I1*I3divI2」、「I3*I1divI2」、「frac{I3*I1 計算結果的值}{I2} 」、「frac{ I3*I1 計算結果的值}{I2} 」之最簡分數、「I2*square=I3*I1」、「I2*x=I3*I1」、「I2*square=I1*I3」以及「I2*x=I1*I3」，則認為「正確答案」。 (b)若無法判斷全對，則進入判斷○ 3。 3.判斷○ 3 ：列出相等的比時，前項、後項錯置、能算出兩前(後)項的倍數，但無法判斷該以乘法或是除法來求未知數、誤認兩前(後)項的倍數，即為未知數、無法判斷。 (a)若學生的作答歷程中出現「I1：I2=I3：x」、「I1：I2=I3：square」、「I1：I3=I2： square」以及「I1：I3=I2：x」，則顯示「列出相等的比時，前項、後項錯置」。若學生的作答歷程中出現「frac{I2}{I1}*I3」、「I3*frac{I2}{I1}」、「I3*(frac{I2}{I1}之最簡分數)」以及「(frac{I2}{I1}之最簡分數)*I3」則顯示「能算出兩前(後)項的倍數，但無法判斷該以乘法或是除法來求未知數」。 (b)若學生的作答歷程中出現「frac{I3}{I2}與 I3÷I2 計算結果的值」，則顯示「誤認兩前(後)項的倍數，即為未知數」。. 31.

(46) 若(a)、(b)、(c)無法判斷，則顯示「無法判斷」。 (2)概念 1.判斷○ 1 ：判斷學生是否有作答。 (a)若資料庫中，學生作答資料為空白，認定「未作答」，顯示「X」。 (b)若學生作答資料中不為空白，則認定「有作答」，進入判斷○ 2。 2.判斷○ 2 ：無法判讀、能依據兩數量成正比，寫成相等的比、運用相等的比其固定的變化關係，解出未知數、運用內項乘積等於外項乘積，來求出未知數、求出單位量，再乘與單位數。 (a)若學生的作答歷程中出現「I1：I2=x：I3」、「I1：I2=square：I3」、「I1： I2=()：I3」、「I2：I1=I3：x」、「I2：I1=I3：square」、「I1：x=I2：I3」、「I1：square=I2：I3」、「I3：I2=x：I1」以及「I3：I2=square：I1」，在「能依據兩數量成正比，寫成相等的比」的欄位中，則顯示「O」。 (b)若學生的作答歷程中出現「I3divI2 與 I3÷I2 計算結果的值*I1」、「I3divI2 與 I1*I3÷I2 計算結果的值」、「I3divI2*I1」、「frac{I1}{I2}*I3」以及「I3*frac{I1}{I2}」，在「運用相等的比其固定的變化關係，解出未知數」的欄位中，則顯示「O」。 (c)若學生的作答歷程中出現「I3*I1divI2」、「I1*I3divI2」、「I1*I3*frac{1}{I2}」、「I1：I2=I3：x與I2*I3以及I2*I3計算結果的值divI1」、「I1：I2=I3：square與I2*I3以及I2*I3計算結果的值divI1」、「I1：I2=I3：square 與I2*I3divI1」、「I1：I2=I3：x與I2*I3divI1」、「I2x與I1*I3」、「I2square與I1*I3」、「I2x與I1*I3」、「I2square與I3*I1」、「I2x與I3*I1」、「I2*x與I3*I1」、「I2*x與 I1*I3」、「I2*x與I3*I1」、「I2*square與I1*I3」、「I2*square與I3*I1」、「square*I2 與I1*I3」、「square*I2與I3*I1」、「x*I2與I1*I3」、「x*I2與I3*I1」、「I2x與I1*I3 計算結果的值」、「I2square與I1*I3計算結果的值」、「I1*I3與I1*I3計算結果的值divI2」以及「I3*I1與I1*I3計算結果的值divI2」，在「運用內項乘積等於外. 32.

(47) 項乘積，來求出未知數」的欄位中，則顯示「O」。 (d)若學生的作答歷程中出現「I1divI2與I1divI2計算結果的値*I3」、「I1divI2 與I3*I1divI2計算結果的値」以及「I1divI2 *I3」，在「求出單位量，在乘以單位數」的欄位中，則顯示「O」。 (e)其它情形無法判斷的話，則顯示「X」。. 第四節自動命題系統一、試題模型本研究挑選了 5 題預試試題做為自動命題之試題模型，這 5 題為沈明勳、劉祥通（2002）所提出的五種比例問題，第 1、2 題為交換問題，第 3、4 題為組合問題，第 5、6 題為密度問題，第 7、8 題為母子問題，第 9、10 題為伸縮問題，並使用(Gierl et al., 2008)所提出的試題模型，建置這 5 題之試題模型與專家命題的部份以及本研究概念、錯誤類型與試題關聯表，如表 3-8、3-9，其他試題之試題模型附錄一。表 3-8 概念、錯誤類型與試題關聯表試題. 錯誤類型. 概念. 1、2. B5、B7、B8、B9. S3、S4、S6、S7. 3、4. B1、B2、B7、B8、B9. S1、S2、S3、S4、S5、S6、S7. 5、6. B3、B5、B6、B7、B8、B9. S2、S3、S4、S6、S7. 7、8. B4、B5、B6、B7、B8. S3、S4、S5、S6、S7. 9、10. B5、B6、B7、B8、B9. S2、S3、S4、S5、S6. 33.

(48) 表 3-9 第 1、2 題之試題模型類型. 題幹類型：依賴；選項類型：無；題型：建構反應題. 預試試題百貨公司舉辦點數換現金活動，100 個點數可折抵現金 3 元，沛璇折 (範例抵現金 72 元，請問她用了多少點數去折抵呢? 試題) 1.便利超商舉行了集點換現金活動，I1 點數可以折扣 I2 元，請問小明折扣了 I3 元，請問他用了多少點數? 2.廠商發起了發票換球票的愛心活動，小文用 I1 張發票，換了 I2 張棒球比賽的球票，請問換 I3 張的球票要用幾張發票? 情境題幹. 3.老師為了獎勵自己的學生只要表現良好就可以蓋一個章，I1 個章可. (專家. 以換 I2 次嘉獎，小文換了 I3 次嘉獎，請問他用了多少個章換取嘉獎?. 命題). 4.已知 I1 元可以買到 I2 公升的青茶，請問買了 I3 公升的青茶，要花多少元? 5.已知用 I1 元可以買到 I2 顆芭樂，請問小文買了 I3 顆，花了多少元? 6.文文發現家裡衛生紙用完了，衛生紙可以用 I1 元買到 I2 包，請問文文買了 I3 包，花了多少元?. 變數範圍. I1：10-100；I2：1-10；I3：10-100 正整數 I2*I3÷I1 不等於 I3÷I2；I1*I2÷I3 不等於 I3÷I2；I3 不等於 I2 和 I1；I1. 變數限制可被 I2*I3 整除；I1 可被 I3 和 I2 整除；I3 可被 I2 整除選項. 無. 本測驗共 5 個試題模型，每個試題模型產生 2 題，第 1 個試題模型為第 1、2 題，第 2 個試題模型為第 3、4 題，第 3 個試題模型為第 5、6 題，第 4 個試題模型為第 7、8 題，第 5 個試題模型為第 9、10 題，測驗試題數共 10 題；第 1、2、. 34.

(49) 3、4、6、8、10 題為建構反應題，第 5、7、9 題為選擇題。二、系統介面本研究結合命題系統與測驗系統兩個部分，以下介紹系統介面及操作說明，如圖 3-10、3-11、3-12、3-13。 (一)命題系統介面從專家編製的試題中，也是預試試題，挑選合適的試題當作範例題型，本研究將範例題型數字的部份改為變數的型式，如：I1、I2 與 I3，教師能在可拉式的文字框中輸入情境以及變數的範圍，按下. 按鈕動態新增輸入欄位，讓教. 師在命題時能輸入不同的情境，選項的部份是由錯誤類型所產生的，在命題系統中教師能夠在命題時，選擇錯誤類型。. 圖 3-10 命題系統介面. 35.

(50) 二、測驗系統介面本研究的電腦化測驗結合選擇題與建構反應題兩種題型，以下介紹這兩種題型介面。 (一)選擇題介面「正比」單元選擇題之題目在圖示的下方，選擇題選項透過一個正確答案及三個錯誤類型所產生的，學生算出答案後可點選. 點選後再按下一題就可以繼. 續測驗；在錯誤類型的部份， 2 2 為正確答案，364 為列出相等的比時，前項、 13. 後項錯置， 13 為誤認兩前(後)項的倍數，即為未知數， 1 6 為能算出兩前(後)項的 14. 7. 倍數，但無法判斷該以乘法或是除法來求未知數，此外，這些選項位置不為固定。. 圖 3-11 選擇題介面. 36.

(51) (二) 建構反應題介面本研究結合 javascript 的免費套件「MaxJax」來呈現學生的作答情況，在畫面的右方設有工具列，學生能夠依照自己的想法輸入分數、整數……等，另外可以透過符號表呈現特定符號；電腦化建構反應題對於學生來說比較陌生，本研究開始測驗前設有練習題，讓學生熟悉介面後再開始作答。. 圖 3-12 建構反應題介面. 37.

(52) (三)自動化分析結果介面自動化分析結果分為兩部分，分別為概念以及錯誤類型；錯誤類型的部份，依照每個學生的作答情況，作答結束後全部的試題都會列出；概念的部份，針對建構反應題，整理出每一題可能需要的概念，作答結束後，如果擁有概念則顯示 "O"，反之則顯示"X"，教師可以依據分析結果，針對學生的錯誤類型以及不足的概念做補救教學；測相同概念的試題，部份學生可能因為題型不同，造成答題差異，舉例來說選擇題可能會因為猜測因素答對。. 圖 3-13 自動化分析結果介面. 38.

(53) 第五節研究對象壹、預試對象為了歸納概念與錯誤類型以及建立自動分析機制，本研究預試對象為台中市國小六年級共計 19 個班級共 449 人。本研究的抽樣方式為「立意抽樣」，在本研究中根據研究者判斷尋找最適合的對象來組成預試的樣本。. 貳、正式施測對象正式施測對象為臺中市某國小 22 人以及彰化縣某國小 30 人，共 52 人。. 第六節評估指標本研究評估指標為概念與錯誤類型辨識率以及答題一致性。一、概念與錯誤類型辨識率「概念與錯誤類型辨識率」為本研究中檢核自動命題中建構反應題自動化分析每一個錯誤類型、概念之精準度所使用的數據。藉由電腦能儲存大量資料的特性，將學生作答歷程儲存到資料庫，透過資料庫將學生作答歷程輸入到自動命題之建構反應題自動化分析程式，將自動化分析錯誤類型與概念程式分析出來的錯誤類型與專家判讀出來的錯誤類型做比對，如表 3-14。表 3-14 概念與錯誤類型辨識率計算範例學生. 專家判讀結果. 自動化分析結果. 甲. S1. S1. 乙. S1、S2. S1. 丙. S2. S2. 由表得知 S1 的概念辨識率為 1.000，S2 的概念辨識率為 0.500。. 39.

(54) 計算公式如下：. 概念與錯誤類型辨識率 =. 專家判讀與自動化分析程式相同的人數總人數. 二、答題一致性「答題一致性」為本研究中檢核自動命題時，相同題型之題目，分析各建構反應題概念與錯誤類型一致性，如表 3-15。表 3-15 答題一致性計算範例第 a 題專家判讀結果. 第 b 題專家判讀結果. S1. S1. S3、S4. S4. S2. S2. S5. S5. 由表得知這兩題概念的答題一致性為 0.750。計算公式如下：答題一致性 =. 各建構反應題在自動化分析機制下(或專家判讀)錯誤類型與概念相同的人數總人數. 40.

(55) 第四章. 研究結果. 依據研究目的呈現研究結果，本章節分為二部分：「自動命題成效分析」與「建構反應題自動化分析之效能」。. 第一節自動命題成效分析當系統建置完成時，需估算每一個試題模型所產生的試題量，透過估算的試題量，撰寫在出題時試題不重複機制，避免學生在測驗時拿到相同的題目；為了瞭解在相同題型下同一個試題模型試題是否適合當作學生的複本試題、試題的品質是否優良以及在不同題型下同一個試題模型試題的答題情況，故必須瞭解自動命題之難度與鑑別度、答題差異以及相關，以下介紹「自動命題之試題量」、「難度與鑑別度」、「答題差異」以及「相關」，另外在附錄三的部份呈現預試試題與自動命題。. 壹、自動命題之試題量依照每個試題模型所制訂的變數，搭配不同地情境，從變數範圍中，挑選數字組合，並檢驗是否符合變數限制，依此產生新的試題，另外還需檢驗每個試題模型中數字相同但情境不同之題目，以免受試者在同一個試題模型中，只需一種解題歷程。故每個試題模型具有不同的變數、變數範圍等變因，因此每個試題模型所能產生之試題數不同，如表 4-1 所示，五個試題模型共產生 621 題。表 4-1 自動命題之試題量試題模型. 產生的試題量. 第 1、2 題. 64 題. 第 3、4 題. 181 題 (續下頁). 41.

(56) 第 5、6 題. 220 題. 第 7、8 題. 40 題. 第 9、10 題. 116 題. 總共. 621 題. 平均. 124.2 題. 貳、自動命題與預試試題之難度與鑑別度以下將試題模型所產生之試題進行正式施測的結果與預試試題(範例試題) 的結果分別計算古典測驗理論之難度與鑑別度，如表 4-2：表 4-2 試題難度題號. 難度. 鑑別度. 1(CR). 0.637. 0.714. 2(CR). 0.692. 0.571. 3(CR). 0.577. 0.786. 4(CR). 0.596. 0.712. 5(MC). 0.692. 0.714. 6(CR). 0.480. 0.783. 7(MC). 0.519. 0.786. 8(CR). 0.230. 0.571. 9(MC). 0.615. 0.857. 10(CR). 0.403. 0.715. 平均. 0.544. 0.720. 註:CR 為建構反應題、MC 為選擇題. 42. 預試試題難度. 預試試題鑑別度. 0.882. 0.380. 0.722. 0.835. 0.665. 0.868. 0.472. 0.917. 0.654. 0.793. 0.679. 0.759.

(57) 在相同題型下同一個試題模型的試題難度差異不大，如第 1 題試題難度為 0.637，第 2 題試題難度為 0.692，第 3 題試題難度為 0.577，第 4 題試題難度為 0.596；以自動命題來說，試題難度平均為 0.544 屬於難易適中，試題鑑別度為 0.720 屬於非常優良，以預試結果來說，試題難度平均為 0.679 屬於易，試題鑑別度為 0.759 屬於非常優良。. 參、不同題型答題差異以下為不同題型但測相同概念的試題，為了瞭解是否因為題型不同，導致學生的作答情況不同，造成一題是正確的另一題是不正確的，統計結果如表 4-3。表 4-3 不同題型答題差異建構反應題答對. 選擇題答對但建. 但選擇題答錯人. 構反應題答錯人. 數. 數. 5(MC)、6(CR). 2. 13. 15. 7(MC)、8(CR). 1. 16. 17. 9(MC)、10(CR). 3. 14. 17. 試題. 總共. 在第 5、6 題總共有 15 位學生答題不一致，13 位學生選擇題答對但建構反應題答錯，第 7、8 題總共有 17 位學生答題不一致，16 位學生選擇題答對但建構反應題答錯，第 9、10 題總共有 17 位學生答題不一致，14 位學生選擇題答對但建構反應題答錯。建構反應題答對但選擇題答錯的原因可能是學生粗心不小心計算錯誤，選擇題答對但建構反應題答錯，因選擇題有猜測因素可將答案反推回去，故選擇題比建構反應題容易答對。. 43.

(58) 肆、相同題型下同一個試題模型試題之相關第 1、2 題為相同題型下同一個試題模型試題，其相關如表 4-4：表 4-4 第 1、2 題相關 Phi 相關. 顯著性近似值. 人. 0.619. .000*. 52. 第 1 題與第 2 題答題表現的相關之 phi 係數為 0.619，顯著性 p 值為 0.000<0.05，表示第 1 題與第 2 題答題表現為正相關。. 第 3、4 題為相同題型下同一個試題模型試題，其相關如表 4-5：表 4-5 第 3、4 題相關 Phi 相關. 顯著性近似值. 人. 0.485. .000*. 52. 第 3 題與第 4 題答題表現的相關之 phi 係數為 0.485，顯著性 p 值為 0.000<0.05，表示第 3 題與第 4 題答題表現為正相關。. 44.

(59) 第二節建構反應題自動化分析之效能建構反應題收集而來的資料，透過學生的作答歷程，分析得到學生的概念與錯誤類型，為了評估自動命題在自動化分析上的精準度，以下統計在本系統中建構反應題錯誤類型、概念數量與概念、錯誤類型辨識率以及答題一致性。. 壹、錯誤類型數量及辨識率一、第 1 題錯誤類型分析第 1 題共有 3 個錯誤類型，其數量與辨識率如表 4-6，在本題中有 33 位學生答對，3 位學生未作答，7 位學生無法判讀，9 位學生犯有錯誤類型。表 4-6 第 1 題學生錯誤類型數量與辨識率編號 B5. 錯誤類型列出相等的時，前項、後項錯置. 人. 錯誤類型辨識率. 6. 1.000. 2. 1.000. 1. 1.000. 能算出兩前(後)的倍數，但無法判 B7. 斷該以乘法或是除法來求未知數誤認比例式之前項相乘等於後項. B8. 相乘. 以區塊分析方法分析第 1 題錯誤類型，其錯誤類型辨識率分別為，B5： 1.000、B7：1.000、B8：1.000。. 二、第 2 題錯誤類型分析第 2 題共有 3 個錯誤類型，其數量與辨識率如表 4-7，在本題中有 36 位學生答對，2 位學生未作答，7 位學生無法判讀。. 45.

(60) 表 4-7 第 2 題學生錯誤類型數量與辨識率編號 B5. 錯誤類型列出相等的時，前項、後項錯置. 人. 錯誤類型辨識率. 3. 1.000. 2. 1.000. 1. 1.000. 能算出兩前(後)的倍數，但無法判 B7. 斷該以乘法或是除法來求未知數誤認比例式之前項相乘等於後項. B8. 相乘. 以區塊分析方法分析第 2 題錯誤類型，其錯誤類型辨識率分別為，B5： 1.000、B7：1.000、B8：1.000。. 三、第 3 題錯誤類型分析第 3 題共有 2 個錯誤類型，其數量與辨識率如表 4-8，在本題中有 29 位學生答對，2 位學生未作答，10 位學生無法判讀，11 位學生犯有錯誤類型。表 4-8 第 3 題學生錯誤類型數量與辨識率編號. 錯誤類型. 人. 錯誤類型辨識率. 9. 0.778. 2. 1.000. 加法策略，兩數量同時增減固定數值 B1 B9. 即為正比誤認比例式之前項相乘等於後項相乘. 以區塊分析方法分析第 3 題錯誤類型，其錯誤類型辨識率分別為，B1： 0.778、B9：1.000。. 46.

(61) 四、第 4 題錯誤類型分析第 4 題共有 4 個錯誤類型，其數量與辨識率如表 4-9，在本題中有 31 位學生答對，2 位學生未作答，6 位學生無法判讀，13 位學生犯有錯誤類型。表 4-9 第 4 題學生錯誤類型數量與辨識率編號. 錯誤類型. 人. 錯誤類型辨識率. 10. 0.800. 1. 0.000. 1. 0.000. 1. 1.000. 加法策略，兩數量同時增減固定數 B1. 值即為正比認為兩數量有倍數變化關係(非固. B2 B6. 定倍數)即為正比相等的比，前後項未等量乘除能算出兩前(後)的倍數，但無法判. B7. 斷該以乘法或是除法來求未知數. 以區塊分析方法分析第 4 題錯誤類型，其錯誤類型辨識率分別為，B1： 0.800、B2：0.000、B6：0.000、B7：1.000。. 五、第 6 題錯誤類型分析第 6 題共有 4 個錯誤類型，其數量與辨識率如表 4-10，在本題中有 26 位學生答對，3 位學生未作答，16 位學生無法判讀，7 位學生犯有錯誤類型。. 47.

(62) 表 4-10 第 6 題學生錯誤類型數量與辨識率編號 B5. 錯誤類型列出相等的比時，前項、後項錯置. 人. 錯誤類型辨識率. 1. 1.000. 2. 1.000. 能算出兩前(後)項的倍數，但無法判斷該 B7. 以乘法或是除法來求未知數. B8. 誤認比例式之前項相乘等於後項相乘. 1. 1.000. B9. 誤認兩前(後)項的倍數，即為未知數. 3. 1.000. 以區塊分析方法分析第 6 題錯誤類型，其錯誤類型辨識率分別為，B1： 0.800、B2：0.000、B6：0.000、B7：1.000、B9：1.000。. 六、第 8 題錯誤類型分析第 8 題共有 2 個錯誤類型，其數量與辨識率如表 4-11，在本題中有 13 位學生答對，3 位學生未作答，10 位學生無法判讀，26 位學生犯有錯誤類型。表 4-11 第 8 題學生錯誤類型數量與辨識率編號 B4. 錯誤類型無法依照題意列出正確算式. 人. 錯誤類型辨識率. 25. 0.960. 1. 1.000. 誤認比例式之前項相乘等於後項 B8. 相乘. 以區塊分析方法分析第 8 題錯誤類型，其錯誤類型辨識率分別為，B4： 0.960、B8：1.000。. 48.

(63) 七、第 10 題錯誤類型分析第 10 題共有 2 個錯誤類型，其數量與辨識率如表 4-12，在本題中有 23 位學生答對，9 位學生未作答，17 位學生無法判讀，3 位學生犯有錯誤類型。表 4-12 第 10 題學生錯誤類型數量與辨識率編號 B5. 錯誤類型列出相等的時，前項、後項錯置. 人. 錯誤類型辨識率. 2. 1.000. 1. 1.000. 誤認比例式之前項相乘等於後項 B9. 相乘. 以區塊分析方法分析第 10 題錯誤類型，其錯誤類型辨識率分別為，B5： 1.000、B9：1.000。. 貳、概念數量及辨識率一、第 1 題概念分析第 1 題共有 5 個概念，其數量與辨識率如表 4-13。表 4-13 第 1 題學生概念數量與辨識率編號. 概念. 人. 概念辨識率. 1. 0.000. 能將比利用前項除以後項的方式 S2. 轉換成比值. (續下頁). 49.