電腦化選擇題與建構反應題於認知診斷成效之比較-以國小「分數加減」單元為例

(1)

國立臺中教育大學教育測驗統計研究所理學碩士論文

指導教授：郭伯臣博士

電腦化選擇題與建構反應題於認知診斷成

效之比較-以國小「分數加減」單元為例

研究生：曾保閔撰

中華民國 101 年 6 月

(2)

I

摘要

認知診斷測驗在教學現場是很必要的，而施測出來的結果是否為學生真正的能力更是重要，目前大部份的電腦診斷評量大多以選擇題為主，但選擇題常因學生可以猜測而影響施測的準確性。本研究以「分數加減」單元，設計出二份試卷，一份全部都是選擇題型和一份全部都是建構反應題型；並開發建構反應題型自動化分析機制，自動分析受測的結果，以減輕教師的閱卷負擔。以 DINA 模式及 DINO 模式進行測驗資料分析，改善選擇題題型易受猜測及粗心因素影響的缺點，提高認知概念與錯誤類型估計之精確性。研究再透過不同的組卷方式，將 5 題建構反應題分別以：上位概念、下位概念、單題最多概念、單題最少概念、單題最多錯誤類型及單題最少錯誤類型六種方式，將選擇題型置換為建構反應題，藉以提高診斷分析正確率，最後的目的是要組出一份能兼具施測精確度與時間效能的最佳組卷。本研究之研究發現：１．本研究編製之建構反應題與診斷模式測驗時，呈現樣本中具有異於選擇題之錯誤類型，顯示此診斷測驗能診斷出學生多元的能力。２．本研究研發之建構反應題自動化分析模型診斷錯誤類型正確率平均可達 92.53%，顯示本測驗診斷模式成效優異。３．本研究使用 DINA 模式與 DINO 模式進行估計，能有效提升電腦診斷的準確度。４．不同的組卷方式以組卷五的組卷效果最佳，準確率可由 77.39% 進步到 81.36%.。關鍵詞：電腦化建構反應題、認知概念、錯誤類型、DINA 模式、DINO 模式

(3)

II

Computerized multiple-choice and constructed response items the effectiveness of cognitive diagnosis- Elementary fraction addition and subtraction unit

ABSTRACT

Cognitive diagnostic testing is very important at a teaching scene. And whether testing results can represent students’ true abilities is even more important. Currently, most computer diagnostic tests are composed of mainly multiple-choice questions. However, students may guess correct answers, influencing accuracy of tests. This study designed two test papers with the “score adding and subtracting” section. One test paper contains all multiple-choice questions and the other contains

constructed-response questions. Also an automatic analysis mechanism for constructed-response questions was developed to automatically analyzing testing results to reduce teachers’ burdens of reading and correcting students’ test papers. The DINA and DINO models were applied to perform analyses on the data from testing. Some improvement was made regarding the issue of influences of guessing and carelessness of multiple-choice questions. And the accuracy of cognitive concept and error type estimations was increased. Then through different test paper

generation methods, the 5 constructed-response questions were categorized into 6 methods, including superordinate concept, subordinate concept, most single item concept, least single item concept, most wrong answers for a single item, and least wrong answers for a single item. The multiple-choice questions were transformed into constructed-response questions in order to improve analysis accuracy. The final goal was to create a best test paper with accuracy and time efficiency.

The research findings include:

1. When the study designed the constructed-response questions and the diagnostic model testing, it was found that there was a wrong answer type different from multiple-choice questions in the sample, meaning this diagnostic testing could diagnose students’ diversified abilities. 2. The accuracy of the constructed-response question automatic analysis

model developed by this study to diagnose wrong answer types was averagely 92.53%, meaning the performance of this testing diagnostic model was outstanding.

(4)

III

3. This study applied the DINA and DINO models to perform estimation and was able to efficiently increase the accuracy of computer diagnoses. 4. The test paper with the best performance was test paper #5. The accuracy

was improved from 77.39% to 81.36%.

Keywords: computer constructed-response questions, cognitive concept, wrong answer type, DINA model, DINO model

(5)

IV

誌謝

二年的碩士生涯眼看就要結束，能再次踏回校園進修重溫大學時期上課的經驗，對於已出社會多年的我，是非常幸福的。在這求學的過程中要感謝許多老師的細心指導及同學的陪伴，尤其是指導老師郭伯臣教授，常看老師日理萬機，老是忙得無暇休息，卻總是會撥空來關心我們研究的進步及協助突破艱難關卡，才讓我的論文能順利的完成。同時也要感謝口試委員蘇本春教授、施淑娟教授及吳慧珉教授，不吝指正此篇論文中的缺失，讓這篇論文更加完善。感謝智為學長、育隆學長、俊彥學長不辭辛勞提供專業技術的協助，讓我在一堆雜亂的資料中找到方向；感謝彥鈞學長協助測驗平台的架設，讓受測學生能使用到一個這麼棒的介面。感謝小白在我做到一半卡住的時候都可以與研究出一個不錯的方面，感謝大瞇有任何程式及軟體的問題都能協助我搞定，感謝芷寧在班務上都能即時給予所需的資訊，也感謝其他同學的陪伴，讓二年的碩士生涯更加多采多姿，感謝有你們的陪伴。還要感謝台中特殊教育學校邱校長能讓我有機會出來進修，也感謝訓導處同仁對我的支持，更感謝綺苹老師在我施測時，把課表調得亂七八糟都能配合我的行程，衷心感謝大家的協助與幫忙。最後要感謝我的父母從小細心的照顧，用心的栽培，才有現在的我。也要感謝我的岳父、岳母從婚後不斷的支持我們，幫忙照顧我家小孩，讓我有更多時間能心無旁物的投入研究之中。更要感謝我親愛的老婆，無怨無悔的守護著這個家，讓我在疲憊不堪時有個最舒適的避風港。你們都是我最棒的家人，我愛你們！

(6)

V

摘要 ... I ABSTRACT ... II 目錄 ... IV 表目錄 ... VII 圖目錄 ... VIII 第一章緒論 ... 1 第一節研究動機 ... 1 第二節研究目的 ... 2 第三節待答問題 ... 3 第四節名詞釋義 ... 3 第二章文獻探討 ... 5 第一節「分數加減」教材分析 ... 5 第二節國內外分數診斷與學習系統現況 ... 8 第三節電腦化診斷測驗 ... 15 第四節認知診斷模型 ... 15 第三章研究方法 ... 19 第一節研究流程 ... 19 第二節「分數加減」單元建構反應題之系統介面 ... 20 第三節資料庫記錄與說明 ... 29 第四節研究對象 ... 30 第五節研究工具 ... 30 第四章研究結果 ... 33 第一節建構題自動化分析程式機制 ... 33

(7)

VI 第二節認知診斷模式成效評估 ... 39 第五章結論與建議 ... 47 第一節結論 ... 47 第二節建議 ... 47 參考文獻 ... 49 附錄一建構反應題 1~9 題解題策略分析 ... 53 附錄二選擇題題目 1~10 題 ... 78 附錄三建構題題目 1~10 題 ... 82

(8)

VII

表目錄

表 2-1 「分數加減」單元的能力指標 ... 5 表 2-2 相關研究錯誤類型整理 ... 6 表 3-1 「分數加減」認知概念一覽表 ... 21 表 3-2 「分數加減」錯誤類型一覽表 ... 22 表 3-3 命題卡範例 ... 23 表 3-4 「分數加減」單元認知概念與選擇題試題Q 矩陣 ... 25 表 3-5 「分數加減」單元錯誤類型與選擇題試題Q 矩陣 ... 25 表 3-6 「分數加減」單元認知概念與建構反應題試題Q 矩陣 ... 26 表 3-7 「分數加減」單元錯誤類型與建構反應題試題Q 矩陣 ... 26 表 3-8 試題的通過率及鑑別度 ... 2631 表 4-1 第 10 題全部學生解題錯誤類型數量統計表 ... 36 表 4-2 「分數加減」建構反應題型錯誤類型及人數統計表... 37 表 4-3 建構反應題型錯誤類型分析診斷正確率 ... 38 表 4-4 六種不同的組卷方式 ... 41 表 4-5 認知概念診斷的分類正確率 ... 42 表 4-6 錯誤類型診斷的分類正確率 ... 44 表 4-7 不同組卷方式之認知概念與錯誤類型診斷的分類正確率 ... 45

(9)

VIII

圖目錄

圖 2-1 Illuminations 分數學習介面 ... 8 圖 2-2 Primary Games 分數學習介面 ... 9 圖 2-3 Interactivate 分數學習介面 ... 9 圖 2-4 Youtube 分數教學影片 1 ... 10 圖 2-5 Cynosure 多媒體隨選視訊系統 ... 11 圖 2-6 雲林縣國民小學線上評量自學系統 ... 11 圖 2-7 中央大學中大數學小學堂 ... 12 圖 2-8 臺中縣九德國小數學數位教學網-分數學習介面 ... 12 圖 2-9 臺中縣清水國小分數學習網站-分數學習介面 ... 13 圖 2-10 昌爸工作坊-分數學習介面 ... 13 圖 2-11 光田出版社的光田螺旋式國小數學-分數學習介面 ... 14 圖 3-1 研究流程圖 ... 19 圖 3-2 選擇題題型系統介面 ... 27 圖 3-3 建構反應題第二題系統介面 ... 28 圖 3-4 「分數加減」解題過程例題 ... 29 圖 3-5 建構反應題第三題資料庫系統畫面 ... 29 圖 4-1 建構反應題第十題解題分析流程圖 ... 35 圖 4-2 專家知識結構 ... 40

(10)

1

第一章緒論

本研究目的在建置一套選擇題與建構反應題的題數比例較適宜，且能有效提升施測準確性之電腦化診斷系統。並以國小五年級數學領域南一版第五冊「分數加減」單元為例。本章第一節說明研究動機；第二節說明研究目的；第三節為本研究重要名詞釋義；第四節為本研究論文架構。

第一節研究動機

隨著網際網路與電腦多媒體的蓬勃發展，在測驗方面，電腦化測驗已受到教學現場大量的使用；在學習方面，則使用電腦多媒體來輔助傳統教學方法；學習環境則從現實延伸到虛擬網路的學習環境。由於目前電腦化適性診斷測驗大多以選擇題為主，建構反應題比較少出現。選擇題有客觀、閱卷簡單等優點，缺點是無法測得較深入的概念及因易於猜測而產生的不確定性。建構反應題的優點是可紀錄學生的操作過程或解題歷程，發現學生更多的錯誤概念，缺點題自動化分析的難度很高。雖然建構反題可測得學生更多的錯誤概念，而且可以避免學生猜測的問題，但自動化分析有一定的難度，所以編製測驗時無法編入過多的建構反應題，需加入部份選擇題型，讓學生能在一堂課的時間內完成測驗。但選擇題又有易於猜測的問題，為降低加入選擇題施測的不確定性，運用 DINA(Deterministic Inputs, Noisy “and” Gate Model)機率模式和

DINO(Deterministic Inputs, Noisy “or” Gate Model)機率模式來降低僅用選擇題之對錯進行認知診斷的不確定性。如何組合出一份包含部份選擇題和部份建構反應題的混合試卷，使其具有較佳的診斷正確率，是值得探討的議題。因此，本研究主要目的有二︰一、開發以建構反應題為基礎之電腦診斷測驗系統，並建立自動化分析機制。二、探討何種混合題型組卷比例與策略，可以達到較佳的診斷成效。在數學教育研究領域中，分數概念向來是備受數學教育學者所重視的研究

(11)

2 主題之一（江玉玲，2010；林天麒，2009；張熙明、楊德清，2006；劉祥通、洪繼賢，2004）。日常生活的經驗中，從數學與自然科學的教材內容來看，都可以發現分數概念是很重要且頗為常用的（教育部，1993）。但在傳統的教學中，學生只學習機械式的運算規則與解題技巧，而欠缺數學性的思考，這個現象經常發生在分數的概念上。分數亦是國小學生容易產生學習困難的數學主題之一（呂玉琴，1991；陳靜姿，1999）。當學生缺乏單位形成能力（unitize ability）、組合能力（assembly ability）、彈性思考能力（flexible thinking ability）、運作思考能力（operativethinking ability）時，學生無法正確解決分數問題（林天麒， 2007）。有鑒於此，本研究以國小五年級數學「分數加減」為主題，根據相關文獻分析歸納出國小高年級學生學習分數概念時常見的錯誤概念，編製適用於國小高年級學生之建構反應題。試圖使學生可於課後隨時進行線上診斷測驗，根據診斷之錯誤類型給予補救教學，以達輔助學習之功效，讓學生的學習更完善。本研究的主要貢獻有︰ 1.建立自動化分析之建構反應題診斷系統 2.使用DINA模式和DINO模式來降低僅用選擇題之對錯進行認知診斷的不確定性 3.探討混合題型診斷測驗之組卷策略

第二節研究目的

基於上述之研究動機，本研究欲探討目的分為以下三部分：一、編製國小「分數加減」單元之選擇題及開發建構反應題。二、研發電腦化建構反應題之自動化診斷模式。三、混合題型不同組卷方式於認知診斷模式成效探討。

(12)

3

第三節待答問題

根據上述之研究目的，本研究欲探討之待答問題分為以下三部分：一、自動化分析的成效是否良好？二、全部選擇題與全部建構反應題之診斷效能是否差異？三、不同比例之混合題型電腦化診斷成效是否不同。？

第四節名詞釋義

壹、建構反應題

建構反應題（constructed-response items）是一種開放性的題目，可有效避免學生因猜測的問題，進而降低了施測的準確性。學生在解建構反應題中可呈現出學生的思考過程、解釋答案意義。多用於評量學生解釋因果、提出論證、描述原理、組織統整、陳述假設、表達想法等等能力（Linn & Gronlund, 2000），比起傳統的選擇題題型，建構反應題能有較高層次的學習能力表現，目的在評量學生說明、整合、應用、分析、評估和傳達科學資訊的能力。（National Assessment Governing Board, 2004）

施測的過程中，不同受試者就有不同的答案，答題的反應很多元，常常要利用人工的方式來閱卷並給予不同的分數，需要耗費大量的人力和時間，更無法立即給予學生回饋。

貳、混合題型測驗

一般的電腦化診斷測驗大多以選擇題型試卷為止，整份試卷都是建構反應題的情形更是少見，因為建構反應題需耗費大量施測的時間，但建構反應題可清楚記錄學生的解題歷程及操作順序。本研究試著去組合出一份包含部份選擇題及部份建構反應題且診斷成效較佳的混合題型試卷。

參、認知概念

本研究中的認知概念，是指學生在五年級數學科領域「分數加減」單元中

(13)

4 所學習的認知概念、能力。在本研究中「分數加減」的認知概念是以教育部九十二年底頒佈，九十四學年度正式實施的「國民中小學九年一貫課程綱要—數學科領域學習領域」，國小五年級「分數加減」單元能力指標為範圍。

肆、錯誤類型

本研究的錯誤類型是學生解題時，所具備的相關知識概念和專家或教學者認為的想法不同所產生的系統性錯誤行為。錯誤類型制定的過程是根據文獻、教材、教師手冊與專家學者意見之資料蒐集，定義出常見的錯誤類型，並進行分類。

(14)

5

第二章文獻探討

本篇研究是以國民小學五年級數學科領域「分數加減」單元為主題，建置ㄧ套電腦化診斷測驗來診斷學生的錯誤概念。為達到本研究之目的，在相關文獻部分，將針對「分數加減教材分析」、「國內外分數診斷與學習系統現況」、「電腦化診斷測驗」、「認知診斷模型」等方面搜集相關文獻，進行探討。

第一節「分數加減」教材分析

「分數」是國小學童最容易產生學習困難的主題之ㄧ（呂玉琴，1991；陳靜姿，1999）。因此，本研究選擇此題材進行研究，企圖透過建構反應題之電腦化測驗設計，進一步了解學生完整的分數學習表現，本研究單元的範圍係指依據教育部92 年發佈之「國民中小學九年一貫課程網要」中數學學習領域第三階段能力指標，所選取之南一出版社五年級第9 冊「分數加減」單元。此單元需培養的能力指標整理如表2-1。本研究「分數的加減」單元之建構反應題線上評量是參考南一出版社五下數學教科書自編之試題，建構反應題題型之建置流程是從選擇題型中，選出適合做成建構反應題題型的概念，將這些概念進行分析與命題，命題時以開放式題型為主，以引導學生產出各式各樣之解題歷程與使用工具，探計學生不同的錯誤類型的可能成因。表 2-1 「分數加減」單元的能力指標(教育部) 編號說明 N-2-07 能認識真分數、假分數與帶分數，作同分母分數的比較、加減與整數倍計算，並解決生活中的問題。 N-2-08 能理解等值分數、約分、擴分的意義。 N-2-09 能理解通分的意義，並用來解決異分母分數的比較與加減問題。 N-3-05 能認識最大公因數、最小公倍數與兩數互質的意義，並用來

(15)

6 將分數化成最簡分數。 N-3-06 能理解等值分數、約分、擴分的意義。 N-3-07 能理解通分的意義，並用來解決異分母分數的比較與加減問題。 N-3-13 能做分數與小數的互換，並標記在數線上。 4-n-07 能認識真分數、假分數與帶分數，熟練假分數與帶分數的互換，並進行同分母分數的比較、加、減與非帶分數的整數倍的計算。 4-n-08 能理解等值分數，進行簡單異分母分數的比較，並用來做簡單分數與小數的互換。過去已有許多研究透過紙筆測驗及質性研究的方式提出學生在「分數加減」常見的錯誤類型或迷思概念，茲將與本研究相關的研究整理如下（表2-2）。表 2-2 相關研究錯誤類型整理研究者(年代) 學生錯誤解題類型 Tatsuoka(1984) 1. 帶分數轉換假分數的錯誤 2. 整數換為等值分數的錯誤 3. 通分時轉換為等值分數的錯誤 4. 求公分母的錯誤 5. 加法程序的錯誤 6. 不會化簡或約分的錯誤 Painter(1989) 1.分數的加法運算錯誤： (1)分子加分子，分母加分母。 (2)求出公分母後放在分母，而分子為原分子相加。 (3)分母相乘，分子相加。 (4)母相乘，分子相乘。 2.分數的減法運算： (1)通分後，分子為大數減去小數。 (2)分母減分母，分子減分子而且是大數減小數。 (3)求出公分母後放在分母，而分子為原分子相減。 3. 在帶分數的運算常犯的錯誤 (1)帶分數化成假分數的錯誤。 (2)借位的錯誤：向整數借1時，卻加10到分子。

(16)

7 向整數借1時，最後計算時卻忘了減1。 (3)求同分母的錯誤。 (4)等值分數的錯誤。 (5)簡化的錯誤。 (6)加減運算的錯誤。 4.將帶分數化成假分數後，分子與分母各自分別運算。 5.通分後，分子不變並直接處理分子及整數部分的運算。 6.直接作分子及分母的運算時，若求出的值為0，則省略0值的部分。計算時，完全用大的減小的數。 7.計算時，完全用大的減小的數。 Figueras（1989） 1.忽略所有的個數才是單位量。 2.學生忽略等值分數，故不認為所有的個數是單位量，而只圈出和研究者學生錯誤解題類型分母數字相同的個數來代表單位量，再由此單位量中找出答案。 3.學生無法看出整個圖形是單位量，而將圖形分成二部分，並視分數為這二部分的比較結果。呂玉琴（1993） 1.連續量分成兩份，但兩份不一樣大小。 2.將同樣大小的離散量分成兩份，但兩份個數不一樣多。 3.將不同大小的離散量分成個數相同的兩份，但總量不一樣多。郭伯臣、施淑娟 (1995) 1. 分子加分子，分母加分母 2. 加法計算錯誤 3. 進行帶分數加法運算時省略整數 4. 異分母分數相加時，分子×分子，分母×分母 5. 異分母分數相加時，分母找大數當分母，分子相加。 6. 以最小分數當以分母，但分子相乘 7. 將全部數字相加，得到一個整數

(17)

8

第二節國內外分數診斷與學習系統現況

國外有關於國小分數學習的網站，如Illuminations（2012）是以美國數學教師協會提出的課程內涵所設計具有啟發式與探討式的網站。網站分為課程、對應的指標、以及可以應用到年段的活動，每個活動設計以數學教育的觀點為出發點，取代機械式的練習數學，有助於學生對於數學概念的理解； Primary Games （2012）以FLASH方式將數學分成五類呈現，以線上遊戲作為上課教學活動或是課後練習；Project Interactivate（2012）提供許多Java小遊戲學習；知名的 Youtube影音分享網站，雖然不是一個專門的數學學習網站，但也有許多國小分數相關的教學影片在這個平臺上作教學分享。 圖 2-1 Illuminations 分數學習介面

(18)

9

圖 2-2 Primary Games 分數學習介面

(19)

10 圖 2-4 Youtube 分數教學影片 1 國內有關於國小分數學習的網站，如國家教育研究院Cynosure多媒體隨選視訊系統（2012）提供影片教學；雲林縣國民小學線上評量自學系統（2012）以線上測驗方式幫助學生學習；中央大學中大數學小學堂（2012）提供試題下載練習；臺中縣九德國小數學數位教學網（2012）以FLASH動畫教學或遊戲學習；臺中縣清水國小分數學習網站（2012），提供小學二到六年級的分數FLASH動畫教學；昌爸工作坊（2012）提供試題練習與遊戲學習；光田出版社的光田螺旋式國小數學（2012）提供影音教學。

(20)

11

圖 2-5 Cynosure 多媒體隨選視訊系統

(21)

12

圖 2-7 中央大學中大數學小學堂

(22)

13

圖 2-9 臺中縣清水國小分數學習網站-分數學習介面

(23)

14 圖 2-11 光田出版社的光田螺旋式國小數學-分數學習介面 綜觀上述學習網站，有些提供的國小高年級分數學習單元並不完善，有些提供的分數學習單元雖然完善，但大多以影音、FLASH等多媒體方式教學，或是以試題提供練習，鮮少能以診斷學習者的學習，並針對學習問題作有效補救教學來提升學習，實為可惜。開發以建構反應題的題型為基礎之數學科診斷測驗系統，利用電腦能儲存大量訊息之優勢，記錄學生的解題歷程，不僅可獲得更多元的學生作答訊息，更可精確推論學生的錯誤類型。此系統雖可及時診斷出學生的錯誤類型，但學生診斷後仍須仰賴教師進行補救教學，無法立即或於課後自學。且因研發時間與人力之限制，範圍僅針對國小六年級「分數的乘法」單元為主，未能顧及國小高年級分數的所有單元，為即將升學的高年級學生奠定良好的基礎。因此本研究提出以電腦化診斷方式的學習系統，支援國小五年級分數加減學習單元，期望以更有效率的方式來提升學習者在國小分數的學習成效。

(24)

15

第三節電腦化診斷測驗

傳統的測驗大多是以紙筆方式進行，並需依賴人工來閱卷，所以批改試卷變成為教師們在教學上的一大負擔。近年來隨著電腦科技的蓬勃發展，許多測驗已由傳統的人工閱卷轉變成電腦化測驗，以電腦代替人工來測驗評估學生的學習歷程與學習成效（曾彥鈞，2007）。電腦化診斷測驗簡單來說，具有以下的優點（周文正，1998）：（1）能輕鬆蒐集學生作答反應，以利於測驗的分析。（2）提升測驗計分的效率。（3）降低人工閱卷出錯的機率。（4）可反覆練習，並即時給予學生回饋。（5）可給予不同能力的學生進行適性測驗。（6）試題編製具有一致性，使施測趨向標準化。（7）可利用網路進行施測。

第四節認知診斷模型

認知診斷模型是一種結合認知科學與心理計量學的方法，對於分類受試者潛在能力狀態具有很棒的成效。認知診斷模型近年來受到各方的重視，主要原因來自於「沒有落後的孩子」法案（No Child Left Behind, 2002），該法案要求美國全國 3-8 年級的學生每年必須參加各州政府的數學與閱讀測驗，而考試的目的在於能夠診斷出學生在數學與閱讀的各項認知屬性或概念是否達到精熟狀態，更重要的是也提供了學生優缺點分析的訊息（Huebner, 2010），因此，認知診斷模型可以用來協助教師進行個別化的測驗診斷，也可以提供能力較佳的學生自我學習的方向與目標。在認知診斷模型中，受試者認知屬性的分數向量通常以



{ ,1



2,...,



K}表 示在 K 個概念上的狀態，每個概念可以對應到精熟與不精熟兩種狀態，也就是 說受試者共有2K_{種認知組型。若概念數}K4_{，則受試者 lk 表示精熟第 1 個與} 第 4 個概念，而對第 2 個與第 3 個概念尚未精熟。為了達到診斷的目的，需要先清楚定義試題和概念之間的關係，絕大多數

(25)

16 的認知診斷模型需要建立一個 Q 矩陣（Tatsuoka, 1985），通常是由學科專家定 義的，Q 矩陣由是數值 0 與 1 所組成的，代表著試卷中所測量的試題特定概念 的有或沒有，如有J_個試題與K_{個概念，則 Q 矩陣的大小為}_J__K_，Q 代表要jk 解答第 j個試題是否需具備概念k_{，若需要這個概念則}Q 為 1，若不需要這個jk 概念則為 0，舉例來說，假設 Q 矩陣如下： 0 1 1 0 1 1 1 0 0 0 0 1 Q            由上圖可以發現要解答試題一需要概念 2 與 3；解答試題二需要概念 1、2 與 3，而試題三只需要具備概念 4，依此類推。

認知診斷模型已發展出相當多的模型，包括融合模型（fusion model; Hartz, 2002; Hartz, Roussos, & Stout, 2002）、統一模型（unified model）、DINA 模式、NIDA 模式（Noisy Inputs, Deterministic “and” Gate model, Junker & Sijtsma, 2001）以及 G-DINA 模式(General-DINA model)等。

一、DINA 模式

DINA 模式是許多認知診斷模型的基礎，適合用於二元計分試題來進行認知診斷評量的測驗。Junker & Sijtsma (2001)的研究將此 DINA 模式推上極致，在 DINA 模式中，根據受試者是否完全具備試題所測量的認知概念，將受試者分為兩個類別，在理想的反應模式下，若受試者完全具備所有的認知概念時，應當答對該題；若缺少任一個認知屬性則會答錯，但是在實際的作答情形中，會受到雜訊(noise)干擾，在具備應有的認知概念時，可能會因粗心(slip)而答錯；也可能會發生於缺乏某些認知概念的情況下而猜測(guessing)答對，假設Yij 代表受試者i_{在試題 j 的反應，}ij代表受試者i是否完全具備試題 j 所測量的概 念，則 DINA 模式答對試題的機率模型如公式(1)。 (1 ) ( 1| 1) (1 ) ij ij ij ij j j P Y 



  s  g  _{……… 公式(1)}

(26)

17 其中，



    1 : _jk 1 jk Q k K k Q ik ik ij    ) 1 | 0 (    ij ij j P Y s  ) 0 | 1 (    ij ij j P Y g  DINA 模式定義相當簡單，只有包含粗心和猜測兩個參數，是 CDMs 中最容易理解的模型之一，有關 DINA 模式相關的研究及應用可以參閱 Henson & Douglas (2005)、Rupp & Templin (2008)、de la Torre & Douglas (2008)、 Cheng (2009)、de la Torre & Lee (2010)、de la Torre (2009a、2009b)、 DeCarlo (2011)等文獻。

二、DINO 模式

Templin & Henson(2006)將受試者是否完全具備試題所要測量的錯誤類型分為兩個類別：在模擬的反應模式下，試題所測量的概念只要符合一個以上的認知概念則_ij=1；若缺少全部需要的認知概念_ij值就為0。但是在實際的作答情形中，仍可能受到雜訊(noise)干擾，在具備應有的認知概念時，可能會因粗心(slip)而答錯；也可能會發生於缺乏某些認知概念的情況下而猜測(guessing) 答對。假設Y_ij代表受試者i在試題 j的反應，_ij代表受試者i是否完全具備試題 j 所測量的概念，s_j為粗心的參數，g_j為猜測的參數，DINO模式的機率反應模式如公式(2) ) 1 ( ) 1 ( ) | 1 ( ij ij j j ij ij s g Y P       ………公式(2)



    K k Q ik ij jk 1 ) 1 ( 1   ) 1 | 0 (    _ij _ij j PY s  ) 0 | 1 (    ij ij j P Y g 

(27)

18

三、DINA 及 DINO 的應用

Zhang（2006）將 DINA 模式應用在試題差異（DIF）的研究上，在研究中為不同群體調整試題參數，並使用模擬數據和實徵資料完成 DIF 的分析。另一方面 de la Torre and Douglas（2004）將 DINA 模式應用在分數減法所需的技能之認知診斷上。de la Torre and Lee（2007）也根據實際數據使用 DINA 模型來探討 ICDMs、CTT 和 IRT 指數之間的關係。Templin and Henson（2006）則應用 DINO 模式來評估和診斷賭癮。

(28)

19

第三章研究方法

第一節研究流程

本研究為建置國小五年級數學科「分數加減」單元含選擇題與建構反應題的線上診斷系統，其研究流程圖如下圖 3-1 所示。 圖 3-1 研究流程圖 編製測驗試題設計建構反應題電腦操作介面歸納結論、提出建議進行 DINA、DINO 模式分撰寫自動化分析診斷模式並探討成效選擇題施測建構反應題施測探討不同組卷方法之診斷成效擬訂研究主題、收集相關文獻建立混合題型不同組卷模式

(29)

20 研究步驟依序為：步驟一：擬定研究主題，收集並分析相關文獻：選定國民小學五年級數學科領域南ㄧ版第五冊「分數加減」單元，透過文獻探討獲得相關的理論基礎及研究所需使用的方法。步驟二：編製測驗試題：依文獻整理此單元的命題概念及錯誤概念，編製兩份測驗試卷，一份為 10 題全部是選擇題，另一份為 10 題全部是建構題，並與專家討論試題之適切性並做適當修正。步驟三：將電腦自動化分析所需的資訊上傳線上施測系統，並規劃建構反應題的電腦操作介面。步驟四：第一週先線上施測全部選擇題的試卷，共有 10 題，測驗時間為 40 分鐘。步驟五：第二週接著線上施測全部建構反應題的試卷，共有 10 題，測驗時間為 40 分鐘。步驟六：撰寫自動化分析診斷模式並探討成效：進行自動化分析之成效分析，並建置自動化診斷系統。步驟七：進行 DINA、DINO 模式分析。步驟八：探討不同組卷方法之診斷成效︰根據不同考量，組合出一份國小學童在一堂課內可以做完，且施測準確率較高的試卷。步驟九：歸納統整研究成果，提出結論與建議，以作為日後研究的改進依據。

第二節「分數加減」單元建構反應題之系統介面

本試題是研究者針對「分數加減」單元進行文獻收集與教材分析後，根據專家知識結構編定命題概念及錯誤類型，再以此編製試題，試題綜合指導教授、學科專家之及四位現任國小教師意見後定稿。以下就「分數加減單元認知概念」、「分數加減單元錯誤類型」、「分數加減單元測驗試題」、「施測系統示例」這四個部份來做說明。

(30)

21

壹、「分數加減」單元認知概念

綜合文獻探討及學科專家意見，研究者整理出「分數加減」單元認知概念共 15 項(如表 3-1)：表 3-1 「分數加減」認知概念一覽表編號認知概念 S1 認識通分的方式 S2 同分母真分數的加法 S3 同分母假分數的加法 S4 同分母帶分數的加法 S5 異分母真分數的加法 S6 異分母假分數的加法 S7 異分母帶分數的加法 S8 同分母真分數的減法 S9 同分母假分數的減法 S10 同分母帶分數的減法 S11 異分母真分數的減法 S12 異分母假分數的減法 S13 異分母帶分數的減法

(31)

22 S14 整數、異分母帶分數的減法 S15 分數不夠減時，懂得借位的方式

貳、「分數加減」單元錯誤類型

綜合文獻探討及學校數學科教師等學科專家意見，整理出「分數加減」單元錯誤類型共 14 項：如(如表 3-2) 表 3-2 「分數加減」錯誤類型一覽表編號錯誤類型 B01 沒有化成最簡分數 B02 進行分數加法時，分子加分子，分母加分母 B03 分數加法通分時，錯誤使用原分子相加 B04 進行分數加法時，分母找大數當公分母，分子相加 B05 依題意列式時，將分數加法誤用為減法或乘法 B06 列出算式，答案錯誤，毫無脈絡可尋 B07 進行分數減法時，分母減分母，分子減分子而且是大數減小數 B08 不會進行帶分數與假分數的轉換 B09 進行分數減法向整數退位時，計算時卻忘了減 1 B10 依題意列式時，將分數減法誤用為加法

(32)

23 B11 通分或約分時轉換為等值分數的錯誤 B12 因粗心而運算錯誤 B13 只會列出算式，不會進行運算 B14 未作答

參、「分數加減」單元測驗試題

本研究所使用的測驗試題為自編之「分數加減」單元試題，包含一份十題選擇題的試卷及另一份十題建構反應題的試卷，詳如附錄。選擇題的編製方式是以「分數加減」單元認知概念為命題概念，每道題目均有一正確答案及二或三個學生常犯錯的錯誤選項，表 3-3 為命題卡範例。表 3-3 命題卡範例單元目標 1-1 異分母分數的加法認知概念目標 S1、S2、S5 1-1-6 異分母假分數的加法題目 _{（）} 減去某數後，可以把得到的分數約分成，某數是多少？ ○１ ○２ ○３ ○４選項選項 1 選項 2 選項 3 選項 4 錯誤類型進行分數減法時，分母減分母，分子減分子而且是大數減小數 ◎ 通分或約分時轉換為等值分數的錯誤依題意列式時，將分數加法誤用為減法或乘法編號 B07 B11 B05

(33)

24 表 3-4 與表 3-6 為認知概念與試題的對應表，表 3-5 與表 3-7 為錯誤類型與試題的對應表，「1」表示試題與概念有對應，「0」表示試題與概念無對應， MC1 就是選擇題第一題，CR1 就是建構反應題第一題，s1 表示第一個認知概念， B01 表是第一個錯誤類型。例如：建構題試題 1 所對應到的命題概念為 s1、s2、 s5，錯誤類型則有 B02、B03、B06、B11、B12、B13、B99。

(34)

25 表 3-4 「分數加減」單元認知概念與選擇題試題Q 矩陣 表 3-5 「分數加減」單元錯誤類型與選擇題試題Q 矩陣 題號 s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15 MC1 1 1 0 0 1 0 0 0 0 0 0 0 0 0 0 MC2 1 0 1 0 0 1 0 0 0 0 0 0 0 0 0 MC3 1 1 1 1 0 1 1 0 0 0 0 0 0 0 0 MC4 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 MC5 1 0 0 0 0 0 0 0 1 0 0 1 0 0 0 MC6 1 0 0 0 0 0 0 0 0 1 0 0 1 0 0 MC7 1 0 0 0 0 0 0 0 1 0 0 0 0 1 1 MC8 1 1 0 0 0 0 1 0 0 0 0 0 1 1 1 MC9 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 MC10 1 1 1 1 0 1 1 0 1 1 0 1 1 0 0 題號 B01 B02 B03 B04 B05 B06 B07 B08 B09 B10 B11 B12 B13 B99 MC1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 MC2 0 0 1 0 0 0 0 0 0 0 0 0 0 0 MC3 0 1 0 1 0 0 0 0 0 0 0 0 0 0 MC4 0 0 0 0 0 1 1 0 0 0 0 0 0 0 MC5 0 0 0 0 1 0 1 0 0 0 1 0 0 0 MC6 0 0 0 0 0 0 0 1 1 1 0 0 0 0 MC7 0 0 0 0 1 0 0 0 1 0 0 0 0 0 MC8 0 0 1 0 1 0 0 0 0 0 0 0 0 0 MC9 0 0 0 0 1 0 0 0 0 0 0 0 0 0 MC10 0 0 0 0 1 0 1 0 0 0 0 0 0 0

(35)

26 表 3-6 「分數加減」單元認知概念與建構反應題試題Q 矩陣 表 3-7 「分數加減」單元錯誤類型與建構反應題試題Q 矩陣 題號 s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15 CR1 1 1 0 0 1 0 0 0 0 0 0 0 0 0 0 CR2 1 0 1 0 0 1 0 0 0 0 0 0 0 0 0 CR3 1 1 1 1 0 1 1 0 0 0 0 0 0 0 0 CR4 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 CR5 1 0 0 0 0 0 0 0 1 0 0 1 0 0 0 CR6 1 0 0 0 0 0 0 0 0 1 0 0 1 0 0 CR7 1 0 0 0 0 0 0 1 0 0 0 0 1 1 CR8 1 1 0 0 0 0 1 0 0 0 0 0 1 1 1 CR9 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 CR10 1 1 1 1 0 1 1 0 1 1 0 1 1 0 0 題號 B01 B02 B03 B04 B05 B06 B07 B08 B09 B10 B11 B12 B13 B99 CR1 0 1 1 0 0 1 0 0 0 0 1 1 1 1 CR2 1 1 1 1 0 1 0 1 0 0 1 1 1 1 CR3 1 1 1 0 0 0 0 1 0 0 1 1 0 1 CR4 0 1 0 0 0 1 1 0 0 1 1 1 1 1 CR5 1 0 0 0 0 1 1 1 0 1 1 1 1 1 CR6 1 1 1 0 0 1 1 1 1 1 1 1 1 1 CR7 0 0 0 0 0 1 1 1 1 1 0 1 1 1 CR8 1 1 1 0 1 1 1 1 1 0 1 1 1 1 CR9 1 1 1 1 1 1 0 0 0 0 1 1 1 1 CR10 1 1 1 0 1 1 0 1 0 1 1 1 1 1

(36)

27

肆、施測系統示例

以下將就「分數加減」單元電腦化診斷測驗之施測系統分三部分說明，分別為「選擇題題型系統介面」、「建構反應題題型系統介面」及「資料庫記錄畫面」。ㄧ、選擇題題型系統介面選擇題的施測介面分為題目區及作答選項區二個部份（如圖 3-2 所示），學生必須至少選擇一個選項後，點選才可進入下一道試題進行施測，學生如果未選擇答案就點選該按鈕時，會停留在原頁面，以免學生因誤觸而跳題，發生學生漏答的情形。 圖 3-2 選擇題題型系統介面 二、建構反應題題型系統介面本研究施測試題中，建構反應題題型共有十題，操作介面分為題目區、作答區與工具區。以下分別介紹。

(37)

28 圖 3-3 建構反應題第二題系統介面 （ㄧ）題目區：位於畫面左上角題號下方，內容為試題說明，學生需詳細閱讀後再開始作答。（二）作答區：位於題目正下方，學生於需於右方的方程式編輯器輸入要作答的分數，再按下「算式輸入」鍵，所輸入的分數就會出現在作答區內。作答完畢後，按下作答區下方之「作答完畢，進入下一題」的按鍵，即會進入下一題。（三）工具區：方程式編輯器︰將欲輸入的分數輸入相對應的空白處。再按下「輸入算式」即可。上一步︰恢復上一個動作。換行︰輸入計算過程換行用。清除算式︰將左側答案區內的記錄全部清除。

(38)

29 圖 3-4 「分數加減」解題過程例題

第三節資料庫記錄與說明

學生使用視窗右方的工具列輸入答案後，學生的作答歷程就會呈現在試題下方的作答區，系統會記錄學生解題歷程於資料庫中（圖 3-5）。其中，編號為學生登入系統作答時的帳號，「frac」是代表分數，「\\」是代表前面的數字連著後面的分數，「{x}{y}」是代表分數的分子與分母，前者為分子，後者為分母；舉例來說，「1\\frac{15}{18}」代表為，「\\frac{31}{9}」代表為。 圖 3-5 建構反應題第三題資料庫系統畫面 姓名帳號 _作答反應張O銘 1936525160399 1\\frac{15}{18}+3\\frac{8}{18}=4\\frac{23}{18}=5\\frac{5}{18} 鄭O暐 1936525160499 \\frac{11}{6}+\\frac{31}{9}=\\frac{95}{18}=5\\frac{5}{18} 沈O毅 1936525160599 \\frac{11}{6}+\\frac{31}{9}=\\frac{33}{18}+\\frac{62}{18}=5\\frac{5}{18} 廖O浚 1936525160699 \\frac{11}{6}+\\frac{31}{9}=\\frac{33}{18}+\\frac{62}{18}=\\frac{95}{18}=5\\frac{5}{18} 蔡O容 1936525160799 \\frac{33}{18}+\\frac{62}{18}=\\frac{95}{18}=5\\frac{5}{18} 黃O翰 1936525160999

(39)

30

第四節研究對象

本研究的線上診斷測驗範圍，為國小五年級數學科領域南一版第第九冊「分數加減」單元相關能力指標教材內容。進行線上診斷測驗的學生為臺中市大新國小五年級共 15 個班級，有效樣本共計 422 人。

第五節研究工具

壹、Matlab 軟體

Matlab是『MATrix LABoratory』的縮寫，它是Mathworks公司所出版的軟體，這一套軟體主要是用於矩陣式的數值運算，它有特殊的演算法則使其可以做如此的運算，目前Matlab已成為系統模擬、數值訊號處理的標準配備程式。現階段大都應用在矩陣理論、數值分析等課程。本研究是利用Matlab軟體做 DINA、DINO模型的分析，分析受試者認知概念及錯誤類型的狀態。

貳、電腦測驗網路平台

本研究之電腦測驗網路平台是由郭伯臣教授(2008)所研發及架設，能將選擇題及建構反應題儲存於系統平台。本研究施測之選擇題與建構反應題是參考南一出版社數學科第五冊之自編試題。

參、自編「分數加減」測驗試題

本研究之測驗試題主要由知識結構上的認知概念、專家意見、實際教學者之經驗及參考文獻上常見的錯誤類型所編製而成，試題有一份全選擇題試卷和一份全建構反應題試卷，各題選項均符合一項以上的認知概念與錯誤類型，以判斷學生的學習成效，試題詳見附錄二及附錄三所述。

(40)

31

肆、「分數加減」單元通過率及鑑別度分析

本研究自編試題共有兩份，一份全為選擇題10題，另一份全為建構反應題；選擇題平均通過率為77.13%，平均鑑別度為0.58，建構反應題平均通過率為 62.87%，平均鑑別度為0.54，兩份試卷均有不錯的鑑別度。選擇題試題和建構反應題試題分析如表3-8。表 3-8 試題的通過率及鑑別度題號 選擇題 通過率 選擇題 鑑別度 建構題 通過率 建構題 鑑別度 1 81.99% 0.55 84.36% 0.293 2 78.91% 0.55 76.54% 0.557 3 83.41% 0.67 51.42% 0.578 4 87.91% 0.56 81.52% 0.580 5 79.38% 0.51 32.46% 0.511 6 87.44% 0.49 72.51% 0.555 7 80.33% 0.55 81.52% 0.527 8 65.17% 0.65 45.73% 0.631 9 70.85% 0.68 71.80% 0.623 10 55.92% 0.60 30.81% 0.559 平均 77.13% 0.58 62.87% 0.54

(41)

(42)

33

第四章研究結果

本章節依據研究目的，分別在各節中探討其研究結果，並將與究結果分為二部份︰第一節為建構題自動化分析程式機制，第二節為DINA、DINO模式分之成效評估。

第一節建構題自動化分析程式機制

當學生進行完線上測驗後，我們可以從資料庫中取得學生的解題歷程，再將學生的解題歷程以下面的流程進行解題策略分析，並經由「區塊分析」法自動化判出學生的錯誤類型。以第10題建構反應題之解題策略分析流程，及第10 題建構反應題型題目、設計決策之步驟為例，其餘1~9題之解題策略分析詳見附錄一。

壹、建構反應題第十題解題分析

一、題目：

(43)

34 二、設計決策之步驟下面判斷方法為圖 4-1 中的判斷節點： 若解題歷程為未作答，編碼為[B99]。 判斷有無列式有列式則進入第三個節點，若無列式則進入第四個節點。 第三個節點判斷列式是否正確，若解題歷程出「(\\frac{15}{4}+\\frac{15}{2})-(3\\frac{3}{8}+\\frac{14}{16})」則判為列式正確貼進入第五個節點，若列式不正確貼進入第二個區塊分析區。 第四個節點判斷答案是否正確，若解題歷程出現「1\\frac{1}{4}」則判斷為全對。若答案錯誤則判斷為 B16 第五個節點判斷答案是否正確，若若解題歷程出現「1\\frac{1}{4}」則判斷為全對。若答案錯誤則進入第一個區塊分析區。 ⑥進入第一個區塊分析區，根據錯誤類型區塊分析，判為最接近的錯誤類型。例 1︰若解題答案為「1\\frac{2}{8}」則判為 B01 沒有化成最簡分數；例 2︰若解題答案為「1\\frac{11}{18}」則判為 B02 進行分數加法時，分子加分子，分母加分母 …等

(44)

35 三、解題歷程分析流程圖 ①作答與否 ②有無列式 ③列式正確？否 ④答案正確？第10題資料區塊分析 bug 否否否區塊分析 bug 全對全對 B14 B01 B16 B99 ④答案正確？否 B16 B15 B11 B08 B04 B05 B02 B17 B07 圖 4-1 建構反應題第十題解題分析流程圖

(45)

36

四、第10題錯誤類型分析結果

全體學生在第10題共有12個錯誤類型，其數量統計表如表4-1，有效樣本422 人，此題題型為異分母加法和減法的混合題，運算過程較複雜、難度較高，只有130位學生答對，答題正確率只有30.81%，32位學生未作答，54位學生作答到最後卻沒有將答案化為最簡分數，而需扣些許分數。21位學生可能因粗心或觀念不清楚而運算錯誤；此題利用研究設計之自動化程式分析方法，得到電腦診斷學生之錯誤類型與專家判別之錯誤類型的正確率為90.03% (如表4-3) 。表 4-1 第 10 題全部學生解題錯誤類型數量統計表編號反應類型錯誤數量百分比 B01 沒有化成最簡分數 54 12.80% B02 進行分數加法時，分子加分子，分母加分母 12 2.84% B03 分數加法通分時，錯誤使用原分子相加 1 0.24% B05 依題意列式時，將分數加法誤用為減法或乘法 36 8.53% B06 列出算式，答案錯誤，毫無脈絡可尋 15 3.55% B08 不會進行帶分數與假分數的轉換 32 7.58% B10 依題意列式時，將分數減法誤用為加法 54 12.80% B11 通分或約分時無法正確轉換為等值分數 31 7.35% B12 因粗心而運算錯誤 21 4.98% B13 只會列出算式，不會進行運算 2 0.47% B99 未作答 32 7.58% Ｋey 完全答對 130 30.81%

(46)

37 將全部學生的有效樣本經由解題過程之錯誤類型及解題策略進行分析，可以發現學生在建構反應題作答反應，在不同的題目中產生的錯誤類型也不儘相同，不過從研究中可以發現： B01、B08、B10是在題目中最常出現的錯誤類型；參照此結果，教師於教學時，可多加強學生約分為最簡分數、假分數和帶分數之轉換及了解題意而列出正確的算式等幾個方向。其他則視不同的題目類型，而有不同的錯誤類型出現。由蒐集到的有效樣本分析後，另新增錯誤類型B99 (空白，未作答)，以下將10題建構反應題型學生產生的錯誤類型及人數分析統整於表4-2中。表 4-2 「分數加減」建構反應題型錯誤類型及人數統計表編號反應類型錯誤數量百分比 B01 沒有化成最簡分數 177 41.94% B02 進行分數加法時，分子加分子，分母加分母 46 10.90% B03 分數加法通分時，錯誤使用原分子相加 8 1.90% B04 進行分數加法時，分母找大數當公分母，分子相加 3 0.71% B05 依題意列式時，將分數加法誤用為減法或乘法 105 24.88% B06 列出算式，答案錯誤，毫無脈絡可尋 69 16.35% B07 進行分數減法時，分母減分母，分子減分子而且是大數減小數 29 6.87% B08 不會進行帶分數與假分數的轉換 152 36.02% B09 進行分數減法向整數退位時，計算時卻忘了減 1 20 4.74% B10 依題意列式時，將分數減法誤用為加法 138 32.70% B11 通分或約分時無法正確轉換為等值分數 109 25.83% B12 因粗心而運算錯誤 120 28.44%

(47)

38 B13 只會列出算式，不會進行運算 38 9.00% B99 未作答 78 18.48% Ｋey 完全答對 99 23.46%

五、建構反應題自動化分析成效評估

利用研究設計之自動化程式分析方法，針對 10 題建構反應題型分析後，可以得到電腦診斷學生之錯誤類型與專家判別之錯誤類型的正確率分別為 95.97%、 91.71%、90.76%、96.68%、92.42%、89.81%、91.47%、95.26%、91.23%、90.03%， 10 題建構反應題之診斷平均正確率為 92.53％（如表 4-3）。如表 4-3 所示題號所對應到的認知概念，為解該題所需之認知概念；題號所對應到的錯誤類型，表示該題使用建構反應題施測時會呈現出郲錯誤類型。表 4-3 建構反應題型錯誤類自動分析診斷正確率題號認知概念錯誤類型自動分析的準確率 1 S1.S2.S5 B2.B4.B6.B11.B12.B13.B99 95.97% 2 S 1.S3.S6 B1.B2.B3.B4.B6.B8.B11.B12. B13.B99 91.71% 3 S1.S2.S3.S4.S6.S7 B1.B2.B3.B4.B6.B8.B11.B12. B99. 90.76% 4 S1.S8.S11 B2.B6.B7.B10.B11.B12.B13. B99. 96.68% 5 S1.S9.S12 B1.B6.B7.B8.B10.B11.B12. B13.B99. 92.42% 6 S1.S10.S13 B1.B2.B3.B6.B7.B8.B9.B10. B11.B12.B13.B99. 89.81% 7 S2.S9.S14 B6.B7.B8.B9.B10.B12.B13. B99. 91.47% 8 S1.S2 .S7.S13.S14. S15 B1.B2.B3.B5.B6.B7.B8.B9. B11.B12.B13.B99. 95.26% 9 S1 .S5. B1.B2.B3.B4.B5.B6.B8.B10. B11.B12.B13.B99. 91.23%

(48)

39 10 S1 .S2.S3 .S4.S6. S7.S9.S10.S12.S13 B1.B2.B3.B5.B6.B8.B10.B11. B12.13B.B99 90.03% 總平均 92.53% 由上列研究結果顯示，以建構反應題為基礎之數學科診斷測驗系統成效良好，除可立即診斷出學生該單元的學習狀況，並可精準的判斷出學生在該單元學習上的錯誤類型，有效協助老師在單元的學習上，迅速掌握每一個學生的學習狀況，老師也可就診斷結果修正教學流程及方法。

第二節認知診斷模式成效評估

壹、DINA 模式概念診斷成效分析

使用DINA模式來診斷學生的認知概念，其概念診斷的分類正確率結果表4-3，建構反應題型的概念診斷的正確率為91.93%，較全部選擇題型的80.56%為佳；依據本單元專家知識結構認知概念的上下位關係(如圖4-2)，我們再嚐試以六種不同的方式：置換下位概念、置換上位概念、單題最多認知概念、單題最少認知概念、單題最多錯誤類型及單題最少錯誤類型(如表4-4)；把選擇題型的題目抽離，以建構反應題目置入替換掉原本的選擇題，觀察概念診斷的正確率的變化，由表4-5可知，六種置換方式皆會有不同程度的提昇，尤以置換成單題最多概念時的概念診斷的正確率提昇最為顯著，而這一份置換過的新試卷，選擇題型有5題、建構反應題型有5題，在國小每節課40分鐘測驗時間的運用上，一般學童都足以完成此份線上測驗，而概念診斷的正確率也由原來的73.66%最多提昇至87.43%，由此結果得知，要診斷學生的認知概念用DINA模式成效比較好。

(49)

40

組卷一︰下位試題 1.2.3.4.9 題組卷二︰上位試題 5.6.7.8.10 置換為建構反應題置換為建構反應題

(50)

41 表 4-4 六種不同選題的組卷方式組卷名稱組卷方式 _備註組卷一將原本選擇題「下位題目 1.2.3.4.9 題」，置換成建構反應題 1-5 題下位題目指該題使用專家知識結構下位認知概念的題目組卷二將原本選擇題「上位題目 5.6.7.8.10 題」，置換成建構反應題 6-10 題上位題目指該題使用專家知識結構上位認知概念的題目組卷三將選擇題型中「單題最多認知概念」的題目，3.6.7.8.10 題置換成建構反應題的題目最多認知概念指該題於題目編製時需要最多認知概念組卷四將選擇題型中「單題最少認知概念」的題目，1.2.4.5.9 題置換成建構反應題的題目最少認知概念指該題於題目編製時需要最少認知概念組卷五將選擇題型中「單題最多錯誤類型」的題目，2.6.8.9.10 題置換成建構反應題的題目最多錯誤類型指該題於建構反應題，分析出最多的錯誤類型的題目組卷六將選擇題型中「單題最少錯誤類型」的題目，1.3.4.5.7 題置換成建構反應題的題目最少錯誤類型指該題於建構反應題，分析出最少的錯誤類型的題目

(51)

42 表 4-5 認知概念診斷的分類正確率 s1 s2 s3 s4 s5 s6 s7 s8 s9 s10 s11 s12 s13 s14 s15 平均全部建構題 0.955 0.810 0.950 0.936 0.772 0.950 0.919 1.000 0.950 0.955 1.000 0.656 0.971 0.983 0.983 0.9193 全部選擇題 0.966 0.891 0.827 0.675 0.763 0.827 0.748 0.827 0.831 0.793 0.827 0.590 0.827 0.846 0.846 0.8056 組卷一 0.969 0.841 0.945 0.786 0.765 0.945 0.758 1.000 0.848 0.796 1.000 0.599 0.822 0.805 0.805 0.8456 組卷二 0.981 0.898 0.834 0.677 0.824 0.834 0.770 0.827 0.912 0.985 0.827 0.613 0.955 0.957 0.957 0.8567 組卷三 0.983 0.848 0.824 0.950 0.774 0.824 0.902 0.827 0.910 0.943 0.827 0.609 0.976 0.959 0.959 0.8743 組卷四 0.978 0.891 0.928 0.663 0.793 0.928 0.715 1.000 0.855 0.793 1.000 0.601 0.827 0.831 0.831 0.8423 組卷五 0.981 0.883 0.940 0.661 0.810 0.940 0.789 0.827 0.841 0.936 0.827 0.611 0.952 0.848 0.848 0.8463 組卷六 0.976 0.827 0.824 0.772 0.758 0.824 0.727 1.00 0.938 0.796 1.000 0.568 0.824 0.888 0.888 0.8407

(52)

43

貳、DINO 模式錯誤類型診斷成效分析

利用DINO模式”OR”的特性，再使用DINO模式來診斷學生的錯誤類型，其錯誤類型診斷的分類正確率結果表4-6，建構反應題型的錯誤類型診斷的正確率為78.41%，較全部選擇題型的74.42%為佳；其中B11、B12、B13為建構反應題才有的錯誤類型，我們將選擇題和建構反應題都有的錯誤類型，進行DINO分析比較；再嚐試以六種不同的方式：置換下位概念、置換上位概念、單題最多認知概念、單題最少認知概念、單題最多錯誤類型及單題最少錯誤類型(如表4-4)，把選擇題型的題目抽換掉，再將建構反應題型置入替換掉原本的選擇題，觀察錯誤類型診斷的正確率的變化，由表4-6可知，六種置換方式皆會有不同程度的提昇，尤以置換成單題最多錯誤類型時的錯誤類型診斷的正確率提昇最為顯著，而這一份置換過的新試卷，選擇題型有5題、建構反應題型有5題，而錯誤類型診斷的正確率也由原來的69.94%最多提昇至77.81%。由此研究結果得知，要診斷學生的錯誤類型用DINO模式成效比較好。

(53)

44 表 4-6 錯誤類型診斷的分類正確率 B2 B3 B4 B5 B6 B7 B8 B9 B10 B11 平均全部建構題 0.8649 0.9242 0.9052 0.6682 0.8128 0.8531 0.6232 0.8697 0.6043 0.7156 0.78412 全部選擇題 0.8199 0.8318 0.8318 0.6232 0.7393 0.8649 0.6019 0.8602 0.6019 0.6469 0.74218 組卷一 0.8886 0.8957 0.8886 0.6517 0.8223 0.8246 0.6043 0.8128 0.5829 0.7156 0.76871 組卷二 0.8152 0.846 0.8318 0.6517 0.7725 0.8697 0.6232 0.8507 0.6327 0.564 0.74575 組卷三 0.8199 0.8318 0.8318 0.6232 0.7393 0.8649 0.6019 0.8602 0.6019 0.6469 0.74218 組卷四 0.8649 0.9336 0.8673 0.6706 0.8246 0.8649 0.6303 0.8507 0.6114 0.7204 0.78387 組卷五 0.827 0.9242 0.8957 0.718 0.7725 0.8626 0.6351 0.8389 0.6303 0.7038 0.78081 組卷六 0.8649 0.7607 0.5806 0.5853 0.7701 0.8981 0.609 0.872 0.6114 0.6943 0.72464

(54)

45 全部建構反應題題型學生施測上需花費較多時間完成測驗，在40分鐘內要完成測驗有一定的難度，那麼在測驗分析的準確度上一定會大打折扣；因此，本研究採用將兩種題型組合變成一份新試卷，如此，即可節省全部建構反應題題型所需花費的時間，同時也能提高診斷的分類正確率，為了要組合出一份兼具時間與效能的最佳試卷，因此使用DINA模式和DINO模式參數估計，由產生的相關數據中加以歸納、分析，最後結果如表4-7。使用DINA模式診斷組卷前後的認知概念時，組卷三「將選擇題型中單題最多認知概念的題目，3.6.7.8.10題置換成建構反應題的題目」的成效最佳，診斷分析率由原本的80.56%提升到87.43%。使用DINO模式診斷組卷前後的錯誤類型時，組卷四將選擇題型中「單題最少認知概念」的題目，1.2.4.5.9 題置換成建構反應題的題目單題」的成效最佳，診斷分析率由原本的74.22% 提升到78.39%。因此透過DINA模式和DINO模式彼此交叉測試，從產生的相關數據中加以分析、整理，最後得知組卷五的效能最好，在DINA模式下可將認知概念診斷的分類正確率由80.56％提昇至84.63％，在DINO模式下則可將錯誤類型診斷的分類正確率由74.22％提昇至78.08％，平圴值81.36%，在所有不同的混合組卷方式中，擁有最佳的表現。表 4-7 不同組卷方式之認知概念與錯誤類型診斷的分類正確率試卷名稱認知概念(DINA) 錯誤類型(DINO) 全部建構題 _0.9193 0.7841 全部選擇題 _0.8056 0.7422 組卷一 _0.8456 0.7687 組卷二 _0.8567 0.7458 組卷三 _0.8743 0.7422

(55)

46 組卷四 _0.8423 0.7839 組卷五 _0.8463 0.7808 組卷六 _0.8407 0.7246 試卷名稱認知概念(DINA) 錯誤類型(DINO) 全部建構題 0.9193 0.7842 全部選擇題 0.8056 0.6994 組卷一 0.8456 0.767 組卷二 0.8567 0.7653 組卷三 0.8743 0.7307 組卷四 0.8423 0.7756 組卷五 0.8463 0.7781 組卷六 0.8407 0.7384

(56)

47

第五章結論與建議

第一節結論

依據研究目的，透過由「分數加減」單元診斷測驗的結果進行分析與比較，提出以下結論：一、本研究編製之建構反應題與診斷模式測驗時，呈現樣本中具有異於選擇題之錯誤類型，顯示此診斷測驗能診斷出學生多元的能力。二、本研究指出建構反應題的研發不但可以清楚記錄學生的解題過程，而且藉由電腦自動計分機制的幫助有效減輕教師閱卷的負擔。三、本研究研發之「自動化分析建構反應題模型」判斷錯誤類型平均正確率可達 92.53%，顯示本測驗診斷模式成效優異。四、電腦化建構反應題能夠藉由的測試介面設計，讓受試者完成施測後，完整呈現不同於選擇題的錯誤類型，給予教師和學生立即的回饋。五、學生的作答反應被詳實紀錄起來，藉由分析可歸納出學生的學習成果的優劣及錯誤類型，老師可藉由學生的錯誤類型來給予學生最適當的補救教學。六、根據本研究之分析數據得知，最佳組卷為組卷五，將選擇題單題最多錯誤類型的 5 題置換掉，準確率可由 77.39%提升至 81.36%。

第二節建議

建構反應題數學科領域診斷模式在此次研究中，已可以達到不錯的成效，茲將研究中能夠做為將來探討的參考方向和有待改進之處，詳列如下：一、此研究透過網路進行線上測驗，發現學生在測驗建構反應題型時，因系統介面不熟悉需要較長的時間去適應，而使得作答時間拉長，因此，在實施測驗前，可先給予學生操作類似的練習題去熟悉介面，以避免

(57)

48 因操作系統介面的不熟悉，而造成測驗結果之誤差。二、研究時，參與測驗的對象的有效樣本數共 422 人，可再增加施測樣本數，使受試對象來源更多且更廣泛，使 DINA 機率模式診斷樣本有更完整的學生作答反應資料，讓診斷推論更具可靠性。三、可依據研究結果來設計適合學生的補救教學教材，使學生能夠能藉由系統診斷分析出自己不會的錯誤類型後，再由系統建置的補救教材，讓學生在線上接受補救教學，即時給予線上學習的機會，以改善學生的學習效果，減輕教師教學負擔。四、組卷時所參考的是專家知識結構中的上下位關係，日後可以學生知識結構中的上下位關係來進行組卷的參考，並評估其效能。五、目前測驗僅以國小五年級數學領域「分數加減」單元為研究主題，日後學者可針對不同領域不同單元進行相關研究，以嘉惠更多的學子。

(58)

49

參考文獻

中文文獻

中央大學中大數學小學堂(民101年4月25日)。取自： http://www.ziyou.math.ncu.edu.tw/~ziyou/math/math123.cgi。台中縣九德國小數學數位教學網(民101年4月25日)。取自： http://file.jdps.tcc.edu.tw/~t91002/math/digit-math/digitalmath.htm。台中縣清水國小分數學習網站(民101年4月25日)。取自： http://www.cses.tcc.edu.tw/~flash/。光田出版社的光田螺旋式國小數學(民101年4月25日)。取自： http://sites.powercam.cc/project/emath。吳任婕（2009）。以建構反應題題型為基礎之數學科診斷測驗系統建置。 (未出版之碩士論文)。國立臺中教育大學，台中市。昌爸工作坊(民101年4月25日)。取自：http://www.mathland.idv.tw/。許天維、楊智為、盧炎成、郭伯臣（2006年10月）。以知識結構為基礎之電腦適性測驗與適性補救教學之探討。2006年第七屆海峽兩岸心理與教育測驗學術研討會，國立政治大學。 郭伯臣（民92）。國小數學科電腦化適性診斷測驗（I）。行政院國家科學 委員會專題研究計畫報告（NSC-91-2520-S-142-001），未出版。 郭伯臣（2004）。國小數學科電腦化適性診斷測驗（II）。行政院國家科 學委員會專題研究計畫成果報告（NSC-92-2521-S-142-003），未出版。 郭伯臣（2005）。電腦化適性診斷測驗之研究（III）。行政院國家科學委 員會專題研究計畫成果報告（NSC-93-2521-S-142-004），未出版。 郭伯臣(2008)。科學教育重點研究—以ECD為基礎之數學多元評量設計模 式及系統研發先期計畫。(NSC 97-2511-S-142-004-)，未出版。陳明宏、呂玉琴（2005年）。國小四年級學生分數概念之診斷教學研究。

(59)

50 國立台北教育大學學報，18(2)，1-32。 張詩亞、楊智為、郭伯臣、陳俊華（2011年10月）。應用DINO 模型於錯 誤類型診斷探究-以自然科「水的流動」單元為例，2011年會暨心理與 教育測驗學術研討會。國立台灣師範大學。雲林縣國民小學線上評量自學系統(民101年4月25日)。取自： http://59.125.86.125/lin/T_cool/index.php。湯錦雲(民91)。國小五年級學童分數概念與運算錯誤類型之研究(未出版之碩士論文)。國立屏東師範學院，屏東市。 楊智為、卓淑瑜、郭伯臣、陳亭宇（2011年）。DINA與G-DINA模式參數 不變性探討。測驗統計年刊，19，1-16。劉育隆、郭伯臣、李炯璉（2010年10月）。國小自然科「空氣與燃燒」單元建構反應題型建置與分析。第九屆海峽兩岸心理與教育測驗暨2010 NAER永續教育發展-創新與實踐國際學術研討會。國立教育研究院。鄭俊彥(民100)。大學微積分電腦化建構反應題及自動分析機制研發(未出版之碩士論文)。國立臺中教育大學，台中市。鄭涵、江啟明、施淑娟、曾筱倩（2009年10月）。數學科「容量」單元之電腦化建構反應題設計與分析。2009年中國測驗學會年會暨心理與教育測驗學術研討會。國立台灣師範大學。

(60)

51

英文文獻

Bell, A.W.,Costello, J. & Kuchemann , D. (1983). Research on Learning and Teaching. Windsor:NFER-Nelson.

Case，R.(1978). The developmentally based theory and technology of instruction. Review of Educational Research，48(3). Pp.439-463. Hart，K.M.(1984). Ratio：Children's strategies and errors. N.F.E.R.

Nelson.

Illuminations. (2012,April 25). Retrieved from http://illuminations.nctm.org/.

ImageMagick. (2012,April 25). Retrieved from http://www.imagemagick.org/script/index.php.

Kuo, B.-C.、Yang, C.-W.、Wu, H.-M.（2010）。An exploratory research of cognitive

LatexRender. (2012,April 25). Retrieved from http://www.mayer.dial.pipex.com/tex.htm. Learning Planet. (2012,April 25). Retrieved from

http://www.learningplanet.com/index.asp.

Math.com. (2012,April 25). Retrieved from http://www.math.com/. Maths Dictionary. (2012,April 25). Retrieved from

http://www.teachers.ash.org.au/jeather/maths/dictionary.html。 National Library of Virtual Manipulatives. (2012,April 25).

Retrieved from http://nlvm.usu.edu/.

OECD (2005). PISA 2003 Technical Report. OCED. Paris. Primary Games. (2012,April 25). Retrieved from

http://www.primarygames.co.uk/.

(61)

52

http://www.shodor.org/interactivate/index.html.

(62)

53

附錄一建構反應題 1~9 題解題策略分析

一、建構反應題第一題（一）題目：（二）設計決策之步驟下面判斷方法為圖 6-1 中的判斷節點： 1.若解題歷程為未作答，編碼為[B99]。 2.判斷有無列式有列式則進入第三個節點，若無列式則進入第四個節點。 3.第三個節點判斷列式是否正確，若解題歷程出「\\frac{3}{7}+\\frac{5}{9}=」則判為列式正確貼進入第五個節點，若列式不正確貼進入第二個區塊分析區。 4.第四個節點判斷答案是否正確，若解題歷程出現「\\frac{62}{63}」則判斷為全對。若答案錯誤則判斷為 B16 5.第五個節點判斷答案是否正確，若若解題歷程出現「\\frac{62}{63}」則判斷為全對。若答案錯誤則進入第一個區塊分析區。 6.進入第一個區塊分析區，根據錯誤類型區塊分析，判為最接近的錯誤類型。例 1︰若解題答案為\\frac{1}{2}或\\frac {8}{16}則判為 B02，進行分數加法時，分子加分子，分母加分母；例 2︰若解題答案為 \\frac{8}{63}則判為 B03，分數加法通分時，錯誤使用原分子相加。 (三)解題歷程分析流程圖

(63)

54 ①作答與否 ②有無列式 ③列式正確？否 ④答案正確？第1題資料區塊分析 bug 否否否區塊分析 bug 全對全對 B02 B16 B99 ④答案正確？否 B16 B15 B04 B18 B03 B17 圖 6-1 建構反應題第一題解題分析流程圖 (四)第1題錯誤類型及解題分析全體學生在第1題共有5個錯誤類型，其數量統計表如表6-1，有效樣本 422人，此題題型為異分母真分數的加法，難度較低共353位學生答對，答題正確率為83.65%。也因為是第1題，只有1位學生未作答，10位學生可能因粗心或觀念不清而運算錯誤，有22位學生在進行分數加法時，分子加分子，分母加分母。利用研究設計之自動化程式分析方法，得到電腦診斷學生之錯誤類型與專家判別之錯誤類型的正確率為95.97%。表6-1 第1題全部學生解題錯誤類型數量統計表

(64)

55 編號反應類型錯誤數量百分比編號反應類型錯誤數量百分比 B02 進行分數加法時，分子加分子，分母加分母 22 5.21% B03 分數加法通分時，錯誤使用原分子相加 1 0.24% B06 列出算式，答案錯誤，毫無脈絡可尋 7 1.66% B11 通分或約分時無法正確轉換為等值分數 21 4.98% B12 因粗心而運算錯誤 10 2.37% B13 只會列出算式，不會進行運算 4 0.95% B99 未作答 1 0.24% Ｋey 作答正確 356 84.36% 二、建構反應題第二題（一）題目：（二）設計決策之步驟下面判斷方法為圖 6-2 中的判斷節點： 1.若解題歷程為未作答，編碼為[B99]。 2.判斷有無列式有列式則進入第三個節點，若無列式則進入第四個節點。 3.第三個節點判斷列式是否正確，若解題歷程出「\\frac{13}{3}+\\frac{11}{7}=」則判為列式正確貼進入第五個節點，若列式不正確貼進入第二個區塊分析區。 4.第四個節點判斷答案是否正確，若解題歷程出現「5\\frac{19}{21}」

(65)

56 則判斷為全對。若答案錯誤則判斷為 B16 5.第五個節點判斷答案是否正確，若若解題歷程出現「5\\frac{19}{21}」則判斷為全對。若答案錯誤則進入第一個區塊分析區。 6.進入第一個區塊分析區，根據錯誤類型區塊分析，判為最接近的錯誤類型。例 1︰若解題答案為「\\frac{124}{21}」則判為 B01 沒有化成最簡分數；例 2︰若解題答案為「\\frac{24}{10}」則判為 B02 進行分數加法時，分子加分子，分母加分母 …等 (三)解題歷程分析流程圖 ①作答與否 ②有無列式 ③列式正確？否 ④答案正確？第2題資料區塊分析 bug 否否否區塊分析 bug 全對全對 B01 B16 B99 ④答案正確？否 B16 B15 B11 B08 B04 B06 B02 B17 圖 6-2 建構反應題第二題解題分析流程圖

電腦化選擇題與建構反應題於認知診斷成效之比較-以國小「分數加減」單元為例

國立臺中教育大學教育測驗統計研究所理學碩士論文

指導教授：郭伯臣 博士