不同Q矩陣設計在DINA模式估計成效探討—以國小五年級因數與倍數單元為例

(1)

國立臺中教育大學教育測驗統計研究所

國民小學教師在職進修教學碩士學位班碩士論文

指導教授：許天維博士

吳慧珉博士

不同 Q 矩陣設計在 DINA 模式估計成效探討

—以國小五年級因數與倍數單元為例

研究生：張育蓁撰

中

華

民

國

一

○ 一

年

七

月

(2)

(3)

摘要

本研究提出結合專家知識結構與學生知識結構兩種階層性 Q 矩陣設計，探討不同 Q 矩陣設計在認知診斷模式的估計成效。依據國小九年一貫數學領域課程「因數與倍數單元」編製一份診斷測驗試題，以國小五年級 322 名學生為研究對象，藉由 Pearson 積差相關分析來探討 DINA 模式和 IRT 模式試題參數的相關性，以及結合不同知識結構的 Q 矩陣設計的估計成效。

研究結果顯示：

一、DINA 模式猜測參數 g 與 IRT 模式猜測參數之間沒有顯著相關，DINA 模式 1-s-g 參數與 IRT 模式鑑別度參數之間有顯著相關。二、結合專家知識結構與結合學生知識結構的階層性 Q 矩陣，辨識率都有提升。三、在 Q 矩陣中加入階層性設計，專家知識結構辨識率較學生知識結構佳，因為在 Q 矩陣中加入專家知識結構的階層性，進行 DINA 模式分析的結果與專家判定具有一致性，所以能提升辨識率。關鍵字：知識結構、因數與倍數、認知診斷模型、DINA 模式、Q 矩陣

(4)

The Performace of Congnitive Diagnostic Model

with Different Q Matrix Designs

-Taking the Unit of Factor and Multiple for 5

th

graders as an Example-

Abstract

The purpose of this study was to explore the the performace of congnitive diagnostic model with different Q matrix designs, the expert knowledge based structure and the student knowledge based structure.The unit “Factor, Multiple, Common Divisor and Common Multiple” was used to develop a test .This test was

administratered to the fifth graders in the Taiwan elementary school. Using the Pearson

product-moment correlaction coefficient ,the relations of item parameters between DINA model and three-parameter IRT model were explored . With empirical data the performance of DINA model with different Q matrix designs was investigated. The results showed in the following：

1. There was significant relationship between 1-s-g parameter in DINA model and the

discrimination parameter in IRT model.

2. The diagnosis accuracy of DINA model increased when the Q matrixs were

designed with the expert knowledge structure and with the student knowledge structure.

3. With two types of the hierarchical Q matrix, the performance of the expert

knowledge structure was better than that of the student knowledge structure.

Keywords：：：：knowledge structure, factor and multiple, cognitive diagnosis models, DINA model, Q Matrixxxx

(5)

摘要... I Abstract ... II 目錄... III 表目錄... IV 圖目錄... V 第一章緒論 ... 1 第一節研究動機 ... 1 第二節研究目的 ... 4 第三節研究問題 ... 4 第四節名詞解釋 ... 4 第五節研究範圍與限制 ... 6 第二章文獻探討 ... 7 第一節因數與倍數教材內容分析 ... 7 第二節試題反應理論介紹... 16 第三節認知診斷模式介紹... 17 第四節以知識結構為基礎之診斷測驗 ... 22 第三章研究方法 ... 26 第一節研究流程 ... 26 第二節研究對象 ... 37 第三節評估準則 ... 37 第四節研究工具 ... 38 第四章研究結果 ... 39 第一節自編紙筆測驗試題參數分析 ... 39 第二節不同 Q 矩陣設計在 DINA 模式參數值比較 ... 44 第三節不同 Q 矩陣設計在 DINA 模式認知屬性辨識率比較... 48 第五章結論與建議 ... 50 第一節結論... 50 第二節建議... 51 參考文獻... 52 附錄一：因數與倍數單元診斷測驗命題卡... 56 附錄二：不同閾值設定之結合學生知識結構的階層性 Q 矩陣... 65

(6)

表目錄

表 2-1-1 各版本因數與倍數教學內容順序 ... 9 表 2-1-2 各版本因數與倍數教學方式 ... 10 表 2-3-1 分數的減法認知屬性... 20 表 2-3-2 分數的減法例題... 20 表 2-3-3 分數的減法例題之 Q 矩陣設計 ... 20 表 2-3-4 受試者的認知屬性... 20 表 2-4-1 試題 j 與試題 k 之聯合邊際機率... 22 表 2-4-2 專家定義之 Q 矩陣... 23 表 2-4-3 可達矩陣 R... 24 表 2-4-4 概念關聯試題矩陣... 24 表 3-1-1 因數與倍數認知屬性內容 ... 28 表 3-1-2 認知屬性對應試題的 Q 矩陣 ... 30 表 3-1-3 結合專家知識結構的階層性 Q 矩陣... 32 表 3-1-4 不同閾值設定的學生知識結構 Q 矩陣估計成效表... 34 表 3-1-5 結合學生知識結構的階層性 Q 矩陣... 35 表 4-1-1 Q 矩陣在 DINA 模式下的猜測與粗心參數值 ... 39 表 4-1-2 試題反應理論 3PLM 參數值 ... 40 表 4-1-3 DINA 模式 g 參數與 IRT 模式 c 參數相關分析表 ... 42 表 4-1-4 DINA 模式 1-s-g 值與 IRT 模式 a 參數相關分析表 ... 43 表 4-2-1 不同 Q 矩陣設計猜測參數值比較... 44 表 4-2-2 不同 Q 矩陣設計粗心參數值比較... 45 表 4-2-3 不同 Q 矩陣設計 1-s-g 參數值比較 ... 46 表 4-3-1 三種不同 Q 矩陣設計辨識率比較... 48

(7)

圖目錄

圖 2-1-1 因數與倍數教材地位圖 ... 7 圖 2-3-1 受試者對第 j 個試題的反應程序圖 ... 19 圖 2-4-1 學生試題順序結構 ... 24 圖 2-4-2 學生概念結構圖 ... 25 圖 3-1-1 研究流程圖... 27 圖 3-1-2 專家知識結構圖 ... 29 圖 3-1-3 學生知識結構圖 ... 33

(8)

(9)

第一章

第一章緒論

緒論

本研究針對國小九年一貫數學能力指標五年級的分年細目「5-n-03 能理解因數、倍數、公因數與公倍數」為研究範圍，探討不同的 Q 矩陣設計在 DINA 模式下估計之成效。本章分為四節，第一節為研究動機，第二節為研究目的，第三節為名詞解釋，第四節為研究範圍與限制。

第一節

第一節研究動機

研究動機

九年一貫課程綱要將數學分為「數與量」、「幾何」、「代數」和「統計與機率」四個主題，在「數與量」中與因數倍數相關的能力指標為「N-2-04 能理解因數、倍數、公因數與公倍數」、「N-3-01 能認識質數、合數，並做質因數分解」、「N-3-02 能理解最大公因數、最小公倍數與兩數互質的意義，並用來將分數約成最簡分數」，根據主題能力指標並依年級細分後，五年級的分年細目「5-n-03 能理解因數、倍數、公因數與公倍數」，主要內容是讓學生初步認識因數與倍數的概念，並且解決因數與倍數相關的簡單計算及應用問題。在國小數學課程中，五年級是學習內容的一大分野，特別是上學期「因數與倍數」單元，由於名詞過於抽象且容易混淆，常造成教師教學與學生學習的困擾，尤其研究者在教學現場發現，五年級學生「倍數」的學習成效比「因數」的學習成效高，原因是學生的先備經驗中已學習到「幾的幾倍」的倍數概念，所以對於倍數及公倍數的學習並沒有太大困難；然而，「因數」是一個完全陌生且抽象的概念，學生很難從除法算式中發現因數，就只能以死記死背的方式找因數，但是當學生不能完全理解因數的概念時，就很容易與倍數概念混淆，或是在進行除法找因數時，將不能整除的數也當成該數的因數之一，造成找出所有因數時有缺漏，甚至因為不能理解題意而無法解決因數及公因數相關的應用問題。當學生在

(10)

因數概念內容的理解遭遇困難，對於後續「認識與計算公因數」、「瞭解因數與倍數的關係」等學習也會造成影響。

目前因數與倍數的研究大多以成就測驗為主，較缺乏學生對概念內容理解過程與補救教學的資訊，因此本研究將編製一份診斷測驗進行 DINA 模式分析，藉以瞭解學生在因數與倍數單元的概念理解過程與學習狀況，並將學生作答資料進行試題反應理論(item response theory，IRT)中三參數分析，探究 DINA 模式與 IRT 模式參數值的相關性。

Nichols(1994)發展認知診斷評量(cognitively diagnostic assessment, CDA)主要討論受試者潛在的特質與作答反應的關係。de la Torre (2009a)研究指出，認知診斷模式(cognitive diagnosis models, CDMs)其分數型態能有效測量受試者的學習狀態。Tatsuoka(1985)提出認知診斷評量模式使用時，必須依據測驗目的建立所要評量的認知屬性，再考量屬性的難易度與相似程度組合成試題，並藉由關聯矩陣

(incidence matrix），通常以 Q 矩陣呈現每個試題對應到的認知屬性。施測者可藉

由受試者的試題反應組型與 Q 矩陣，推估受試者具備或缺乏哪些認知屬性，藉以瞭解受試者的學習狀況，並進行補救教學(de la Torre,2008)。目前認知診斷模式中，DINA 模式(deterministic inputs, noisy "and" gate model)採用較簡單的模式定義，因此常被應用在認知診斷測驗的參數估計或測驗組卷方面。

在認知診斷測驗中 Q 矩陣佔有重要地位，國內外學者對 Q 矩陣設計的研究如下：Rupp& Templin (2008)在研究中探討使用不適配的 Q 矩陣的結果；de la Torre& Douglas(2008)設計多重 Q 矩陣藉以模擬不同的解題策略；de la Torre(2009a) 開發驗證 Q 矩陣有效性的方法；王文卿（2010）藉由 Q 矩陣設計比較 DINA 與 G-DINA 模式(generalized DINA model)參數估計的準確性；陳亭宇（2010）藉由不同認知屬性分布的 Q 矩陣設計，探討 DINA 與 G-DINA 模式參數不變性；卓淑瑜（2011）設計不同 Q 矩陣的平均認知屬性數量，探討以 DINA 模式為基礎的認知診斷適性測驗的診斷辨識率。

(11)

由上述整理發現，目前的研究僅考量認知屬性的分布或平均測量數量，較少涉及認知屬性之間的關係，因此本研究將編製結合知識結構的 Q 矩陣，利用實徵資料來驗證結合知識結構的 Q 矩陣設計在 DINA 模式的估計成效。以知識結構為基礎的相關研究，目前以電腦化適性測驗為主，例如：何政翰（2004）建製國小數學「擴分約分」及「扇形」兩單元的電腦適性化測驗系統，加入專家知識結構於編製紙筆測驗及建立補救教學單元；林杰炘(2005)編製以國小五年級數學「幾何」能力指標為基礎的電腦化適性測驗，加入專家知識結構；汪端正(2008)以專家知識結構為基礎，編製國小六年級「質數與合數」單元的電腦化適性測驗；何秀芳（2009）以國小五年級「線對稱圖形」單元為內容，編製以知識結構為基礎的教學教材、媒體與補救教材教材，並建立結合貝氏網路之電腦適性診斷測驗；卓淑瑜（2011）提出結合知識結構之認知診斷適性測驗選題法，探討不同選題法的估計成效。除了電腦化測驗的研究外，Leighton, Gierl& Hunka (2004)提出在認知屬性上加上階層式的架構，在估計受試者認知屬性時就可以減少屬性組合數。

綜上所述，本研究將在認知屬性上加入專家知識結構以及學生知識結構兩種階層性架構，並且將兩種階層性架構分別與認知屬性對應試題的 Q 矩陣結合，藉以比較結合不同知識結構的 Q 矩陣設計參數估計的成效。

(12)

第二節

第二節研究目的

研究目的

基於上述研究動機，本研究的研究目的分述如下：一、比較 DINA 模式與 IRT 模式參數值的關聯性。二、比較三種不同 Q 矩陣設計之認知診斷模式估計成效。

第三節

第三節研究問題

研究問題

根據上述的研究目的，提出下列的研究問題：一、 DINA 模式的猜測參數 g 與 IRT 模式猜測參數 c 的關係為何？二、 DINA 模式的 1-s-g 參數值與 IRT 模式鑑別度參數 a 的關係為何？三、在 DINA 模式下，Q 矩陣與結合專家知識結構的階層性 Q 矩陣估計成效差異為何？四、在 DINA 模式下，Q 矩陣與結合學生知識結構的階層性 Q 矩陣估計成效差異為何？五、結合不同知識結構的階層性 Q 矩陣估計成效差異為何？

第四節

第四節名詞解釋

名詞解釋

壹

壹、

、

、認知屬性

、

認知屬性

認知屬性是學生學習「因數與倍數」單元應該學到的基本能力。本研究中以數學能力指標「5-n-03 能理解因數、倍數、公因數與公倍數」為依據，由學科專家及國小教師共同討論與分析，訂立13個「因數與倍數」單元的認知屬性。

(13)

貳

貳、

、

、專家知識結構

、

專家知識結構

由具備課程知識的專家，根據課程內容分析，細分出學生應該學習的認知屬性，並依照教學的順序及認知屬性的難易程度加以排序，編製出認知屬性間具有上下位關係的專家知識結構圖，作為編製試題的依據。

叄

叄、

、

、學生知識結構

、

學生知識結構

進行診斷測驗，收集受試者作答反應資料，利用軟體產生依照學生作答情形配合順序理論進行估計而得的知識結構，即學生實際學習的認知屬性難易程度的排序。

肆

肆、

、

、Q 矩陣

、

矩陣

根據認知屬性與試題間的關係，編製出試題對應認知屬性的 Q 矩陣，矩陣中「1」代表該題有測量到該認知屬性，「0」則代表該題沒有測量到該認知屬性，僅就試題是否有測到該認知屬性而編寫。

伍

伍、

、

、階層性

、

階層性

階層性 Q 矩陣

矩陣

本研究使用的階層性 Q 矩陣有二：一、結合專家依據教學順序編製成的知識結構，將認知屬性的上下位關係融入 Q 矩陣中，編製成結合專家知識結構的階層性 Q 矩陣。二、利用學生結構演算法（劉育隆，2012），根據學生知識結構中認知屬性的難易程度，將認知屬性的難易順序融入 Q 矩陣中，編製成結合學生知識結構的階層性 Q 矩陣。

陸

陸、

、

、辨識率

、

辨識率

辨識率是指受試者的認知屬性狀態，在認知診斷模式的估計是否與專家判定的結果一致，辨識率愈高，其估計的結果愈準確。

(14)

第

第五

五

五節

五

節

節研究範圍與限制

節

研究範圍與限制

壹

壹、

、

、研究範圍

、

研究範圍

本研究配合 92 年版數學能力指標 5-n-03，內容僅討論因數、倍數、公因數與公倍數，不考慮其他課程綱要內容，且研究對象只限於國小五年級學童且已學習完因數與倍數單元，六年級課程的最大公因數、最小公倍數、質數及合數則不在討論之列。

貳

貳、

、

、研究限制

、

研究限制

本研究受試樣本來自於臺北市、南投縣、彰化縣、高雄縣與金門縣等五個縣市，有效樣本為 322 人，由於時間與人力的限制，無法將本研究的範圍及受試人數擴大，因此研究的結果不宜推論至全國五年級的學童。

(15)

第二章

第二章文獻探討

文獻探討

本章主要分為四節，第一節分析因數與倍數教材內容；第二節介紹試題反應理論；第三節介紹認知診斷模式；第四節介紹以知識結構為基礎之診斷測驗。

第一節

第一節因數與倍數

因數與倍數

因數與倍數教材

教材

教材內容

內容

內容分析

內容

分析

國小五年級數學課程是學生學習上一大分野，尤其是五年級上學期的「因數與倍數」單元，教材內容是讓學生認識因數、倍數、公因數、公倍數，它與日後分數四則運算、比與比值等學習密切相關，在數學學習上占很重要的地位，以下就教材內容及相關研究加以討論。

壹

、

、教材重點

教材重點

教育部 2003 年九年一貫數學課程綱要中，與因數、倍數相關的能力指標 N-2-04「能理解因數、倍數、公因數與公倍數」，五年級的分年細目為 5-n-03「能理解因數、倍數、公因數與公倍數」為因數與倍數的基礎介紹，其教材地位如下圖。圖 2-1-1 因數與倍數教材地位圖（引自：南一版教學指引，2011）第八冊第 1 單元＊三、四位數乘、除以三、四位數。第九冊第 2 單元＊能理解整除的意義。＊能理解因數和公因數的意義及找法。＊能理解倍數和公倍數的意義及找法。第十一冊第 1 單元＊認識質數、合數和質因數。＊理解最大公因數和最小公倍數。第九冊第 4 單元＊運用倍數理解擴分的意義。＊運用因數理解約分的意義。＊運用擴分和約分來理解通分的意義。＊運用通分解決異分母分數的比大小問題。

(16)

由教材地位圖可發現，學習「因數與倍數」需要先具備乘除的基礎認知屬性，而且「因數與倍數」是學習「分數擴分與約分」的重要先備知識。茲就因數與倍數的概念意義分析如下：一、因數的意義因數的了解與找法，可經由小正方形排列長方形的方式，要求兒童要剛好分完而且每一排要一樣多，引導兒童應用各種排列方式，找出所有可能的長方形。方法有二：使用除法解決剛好分完的情況，知道沒有餘數來認識整除，並繼續完成所有整除的算式，從中找出所要認識的因數，意即在整除的算式「被除數÷除數＝商」中，瞭解除數和商都是被除數的因數；或用乘法探討一排幾個可排成幾排，給定的總數利用兩數相乘的方式來合成，以此建立因數的概念。二、倍數的意義在學生先備經驗中，已經學過「倍」的意義，倍數的找法就是利用乘以正整數的方式來計算，得到積為乘數和被乘數的倍數；或是由整除的算式「被除數÷ 除數＝商」中，瞭解被除數是除數和商的倍數。再經由活動瞭解，一個整數最小的倍數是該數本身，而且一個整數的倍數有無限多個。三、公因數的意義公因數是以探討一個指定整數有哪些因數為基礎，可以繼續探討 2 個或 2 個以上整數有哪些相同的因數，而這些相同的因數就叫做公因數。意即當一個整數是甲的因數，同時也是乙的因數時，這個整數就是甲數和乙數的公因數，而且 2 個或 2 個以上的整數的公因數中，必定存在且最小的是 1。四、公倍數的意義公倍數找法與公因數相似，是以探討一個指定整數有哪些倍數為基礎，可以繼續探討 2 個或 2 個以上整數有哪些相同的倍數，而這些相同的倍數就叫做公倍數。但是因為倍數有無限多個，因此在找公倍數時，會指定在某一數量範圍，由小到大列出。

(17)

貳

、

、各版本教材比較

各版本教材比較

目前各校使用的數學教材版本不同，主要有南一版（2011）、康軒版（2011）、翰林版（2011）及部編版（2011）等四個版本，針對這四個版本中關於因數與倍數單元的教學內容順序，彙整如表 2-1-1。表 2-1-1 各版本因數與倍數教學內容順序南一版五上第 2 單元因數與倍數 1.整除的意義 →→→ 2.因數的意義及找法 →→ →→ 3.公因數的意義及應用 →→ →→→ 4.倍數的意義及找法 →→→→ 5.公倍數的意義及應用 →→→→ 6.因數和倍數的關係 康軒版五上第 2 單元因數與倍數 1.認識整除 →→→→ 2.認識因數 →→→→ 3.找公因數 →→→→ 4.認識倍數 →→→ 5.判別 2、5、→ 3 及 10 的倍數 →→→ 6.找公倍數 → 翰林版五上第 3 單元公倍數與公因數 1.認識倍數 →→→→ 2.認識公倍數 →→→ 3.認識因數 →→ →→→ 4.認識公因數 →→→→ 5.因數 和倍數的關係 →→→→ 6.判別 2、5、10 的倍數 部編版五上第 3 單元倍數與因數 1.認識倍數 →→→→ 2.認識公倍數 →→→ 3.認識因數 →→ →→→ 4.認識公因數 比較各版本課程教學順序：南一版和康軒版相同處是從引發學生先備知識－整除的概念開始，再依序介紹因數、公因數，接著才介紹倍數與公倍數，兩者相異處在於南一版最後介紹因數與倍數之間的關係，而康軒版則加上判別 2、3、5 和 10 的倍數規律；翰林版和部編版則是由學生較熟悉的倍數開始，再介紹公倍數，接著才介紹因數、公因數的概念，兩者差異在於翰林版加入因數和倍數的關係，以及如何判別 2、5、10 的倍數。針對各版本因數、倍數、公因數與公倍數概念的教學方式，彙整如表 2-1-2：

(18)

表 2-1-2 各版本因數與倍數教學方式南一版南一版南一版南一版：：：以乘法的方式合成整數，認識因數：佈題佈題佈題佈題：：：：用 6 張小正方形紙卡排成長方形，可以有哪些排法？圖解，可用 2 張一行、或用 3 張一行排成長方形…。 6＝2×3＝3×2＝1×6＝6×1；所以 6 個因數有 1、2、3、6。康軒版康軒版康軒版康軒版：：：以除法方式，當餘數為 0 時，除數即為被除數的因數：佈題佈題佈題佈題：：：：10 個學生要平分成幾組，可以剛好分完？ 10÷1＝10、10÷2＝5、10÷5＝2、10÷10=1，可分成 1、2、5、10 組。 因為 10 可以被 1、2、5、10 整除，1、2、5、10 都是 10 的因數。 翰林版翰林版翰林版翰林版：：：以除法方式，當餘數為 0 時，除數即為被除數的因數：佈題佈題佈題佈題：：：：12 人要進行分組，每組分成幾人時剛好分完？ 12÷1＝12、12÷2＝6、12÷3＝4、12÷4＝3、12÷6＝2、12÷12＝1 因為 12 除以 1、2、3、4、6、12 都能整除，所以可分成 1、2、3、 4、6、12 人。則 1、2、3、4、6、12 都稱為 12 的因數。 因因因因數數數數教教教教學學學學方方方方式式式式部編版部編版部編版部編版：：：以乘法的方式合成整數，認識因數：佈題佈題佈題佈題：：：：用 12 個 1 平方公分的小方塊排成長方形，有哪些形狀？圖示， 12＝1×12＝12×1、12＝2×6＝6×2、12＝3×4＝4×3，共 6 種。所以 1、2、3、4、6、12 都是 12 的因數。南一版南一版南一版南一版：：：經由乘法的整數倍，認識倍數：佈題佈題佈題佈題：：：：每輛汽車 4 個輪子。2 輛共有幾個輪子？3 輛共有幾個輪子？ 4×2＝8 且 4×3＝12，所以 2 輛共有 8 個輪子，3 輛共有 12 個輪子。 8 和 12 都是 4 的倍數。倍倍倍倍數數數數教教教教學學學學方方方方式式式式康軒版康軒版康軒版康軒版：：：經由乘法的整數倍，認識倍數：佈題佈題佈題佈題：：：：6 元的 3 倍是多少？6 元的 4 倍是多少？

(19)

（接續上頁） 6×3＝18，6 元的 3 倍是 18 元；6×4＝24，6 元的 4 倍是 24 元。 18 和 24 是 6 的倍數。 翰林翰林翰林翰林版版版版：：：經由乘法的整數倍，認識倍數：佈題佈題佈題佈題：：：：一盒巧克力有 4 顆，2 盒巧克力有幾顆？3 盒有幾顆？ 4 的 1 倍是 4，4 的 2 倍是 8，4 的 3 倍是 12；所以 2 盒巧克力有 8 顆，3 盒巧克力有 12 顆。4、8、12 都是 4 的倍數。部編版部編版部編版部編版：：：經由乘法的整數倍，認識倍數 ：佈題佈題佈題佈題：：：：12＝12×1、12 是 12 的 1 倍；24＝12×2、24 是 12 的 2 倍； 36＝12×3、36 是 12 的 3 倍。因此 12、24、36 稱為 12 的倍數。公因數教公因數教公因數教公因數教學學學（各版本皆同）：學：：：直接列出 2 個整數的所有因數，找出數列中相同的數，即為 2 個整數共同的因數。公倍數教學公倍數教學公倍數教學公倍數教學（各版本皆同）：：：：由小到大，分別列出 2 個整數的倍數數列，找出數列中相同的數，即為 2 個整數共同的倍數。比較各版本課程內容：在介紹因數時，南一版和部編版都是以乘法的方式合成整數，來認識一個數的因數，但是南一版會先以實際操作的方式，再利用乘法算式記錄過程導出因數概念，而部編版則是直接列出所有的乘法算式，再介紹這些數稱為該整數的因數；康軒版和翰林版都是以人數分組為例題，從除法算式中發現，當餘數為 0 時，除數即為被除數的因數，並依序找出一個整數所有的因數。而倍數、公因數與公倍數的概念介紹，在各版本教材的介紹並無太大的差異。根據上述的討論與分析，本研究統整各版本的教學內容編製因數與倍數的認知屬性，並結合各版本教學順序編製成專家知識結構。

(20)

叁

、

、相關研究

第二節

第二節試題反應理論介紹

試題反應理論介紹

本研究將利用 IRT 模式分析學生作答資料，藉以比較認知診斷模式的參數值與 IRT 模式參數值之間的關係。余民寧（2009）書中指出，試題反應理論(IRT) 的基本概念為：受試者在測驗試題上的表現情形，可藉由潛在特質(latent traits) 或能力(abilities)預測或解釋。以下是三種常用的 IRT 模式（余民寧，2009）：一、1PLM：由 Rasch(1960)提出，公式如下

n

i

e

bi bi i

1 ,

2 ,...,

1 )

(

₍ ₎ ) (

=

+

=

Ρ

₋ − θ θ

θ

其中，Ρ_i

( )

θ 表示任何一位能力為θ的考生答對試題 i 或在試題 i 上正確反應的 機率；b 表示試題難度(difficulty)參數；n 是該測驗的試題總數；e 代表以底為 2.718 的指數。二、2PLM：由 Bimbaum(1968)提出，公式如下

n

i

e

bi ai bi ai i

1 ,

2 ,...,

1 )

(

₍ ₎ ) (

=

+

=

Ρ

− − θ θ

θ

其中，各符號的定義與 1PLM 相同，差別在多了試題鑑別度參數 a (item discrimination)，用以描述試題 i 所具有鑑別力大小的特性。 三、3PLM：由 Lord(1974)提出，公式如下 n i e e C C _ai _bi bi ai i i i 1,2,..., 1 ) 1 ( ) ( ₍ ₎ ) ( = + − + = Ρ ₋ − θ θ

θ

其中，各符號的定義與前二者相同，差別在 2PLM 中加入猜測度參數 c (pseudo-chance parameter)，代表低能力考生可能因為猜測而答對的機率。本研究所編製的測驗除了探究試題的難度參數及鑑別度參數外，還包含猜測參數，因此採用 IRT 模式中的三參數模式進行分析。

(25)

第三節

第三節認知診斷模式介紹

認知診斷模式介紹

認知診斷模型(CDMs)以認知屬性作為診斷目標，藉以診斷學生是否精熟該單元須具備的認知屬性，因此學生在各項技能的表現被區分為精熟(masters)與不精熟(non-masters)。CDMs 這種心理計量學模式可以用在判斷受試者的優勢與劣勢,而且作答分數的呈現可以讓施測者有效測量學生的學習狀況和進步情形(de la Torre, 2009b)。舉例說明，CDMs在評估診斷K個認知屬性的測驗，指定每個受試者一個二

元精熟分數(binary mastery scores)向量，以α＝(α1，α2，…αk)表示。例如K=4，

若某個受試者的α＝(1，1，1，0)表示他在第1、第2、第3個屬性表現是精熟的，而對第4個屬性不夠精熟。因為受試者的K個認知屬性都可能精熟與不精熟，產生2K個反應組型，例如當K=4，所有可能的反應組型共16種：（1，1，1，1）（1，1，1，0）（1，1，0，1）（1，0，1，1）（0，1，1，1）（1，1，0，0）（1，0，1，0）（1，0，0，1）（0，1，1，0）（0，1，0，1）（0，0，1，1）（1，0，0，0）（0，0，0，1）（0，1，0，0）（0，0，1，0）（0，0，0，0） CDMs 使用時先依據測驗目的建立所要測得的認知屬性，再考量認知屬性的難易度、教學順序或認知屬性相似程度組合成試題，並藉由 Q 矩陣(Q matrix)表示每個試題對應到的認知屬性(Tatsuoka, 1985)。Q 矩陣表示試卷中的試題所需要的特定認知屬性，若有 K 個認知屬性及 J 個試題，則 Q 矩陣大小為 J×K，代表要 解答第 j 個試題，是否需具備認知屬性 k ，Q 矩陣的定義為： 1 第 j 個試題需要第 k 個認知屬性 0 其他其中 j＝1…J，k＝1…K 從定義可知，每一個試題恰為 Q 矩陣中的一列，假設 Q 矩陣如下： qjk ＝

(26)

Q＝ Q矩陣說明第一題對應認知屬性1、3及4，第二題只需要認知屬性1，第三題則對應到認知屬性2及3，依此類推。 Q 矩陣由專家參考教材內容及教學需求所建立，然而專家會議除了決定每個試題所對應的認知屬性之外，也必須考量認知屬性的精熟程度對正確作答的機率的影響。為了瞭解正確回答機率與認知屬性精熟程度的關係，學者們透過不同機率的設計發展出不同的認知診斷評量模式。在認知診斷評量模式中，以 DINA 模式較為簡單且已被應用於各方面，此模式假設當受試者具備解該題目所需之認知屬性時，即能正確回答該題，但是受試者答對該試題的機率會受到粗心（slip）猜測（guess）兩個參數的影響，DINA 模式公式定義如下：

P（Yij＝1｜αi）＝（1－sj）ηij gj（1－ηij）

其中 ηij＝ αikQ jk k＝1 sj＝P（Yij＝0｜ηij＝1） gj＝P（Yij＝1｜ηij＝0） Yi j：第i個受試者在第j個試題的反應組型 sj：受試者具有回答第j個試題所需要的認知屬性，但是卻因為粗心而答錯該題的機率。 gj：受試者不具有回答第j個試題所需要的認知屬性，但是卻因會猜測而答對該題的機率。 αik：代表第i個受試者在第k個認知屬性的有無，若具備該認知屬性則其 k 1 0 1 1 1 0 0 0 0 1 1 0 ˙ ˙ ˙ ˙ ˙ ˙ ˙ ˙ ˙ ˙ ˙ ˙

(27)

值為1，無則為0。 Qjk：受試者答對第j個試題是否需要第k個認知屬性，若需要該認知屬性則其值為1，無則為0。 ηij：代表受試者是否具有答對第j個試題所需要的所有認知屬性，若全部具備則其值為1，反之，受試者若缺少1個或1個以上答對第j個試題所需的認知屬性則其值為0。從上式可知，在DINA模式下，受試者如果擁有作答所需具備的全部認知屬性，就有很高的機會答對該試題，但是機率還可能受到粗心參數的影響而減低；反之，如果受試者缺乏一個或一個以上的認知屬性，正確答對的機率將大幅降低，即使答對也會歸因於猜測參數。DINA模式的圖形表示如下圖，若受試者能力反應組型ηij＝1，則受試者答對第j個試題的機率就是1- sj，如果ηij＝0，則受試者答對的機率就是gj。 αi＝（α_i1，α_i2，…α_ik ） qj＝（qj1，qj2…qjk） ηij 0 1 gj 1- sj Yij

圖 2-3-1 受試者對第 j 個試題的反應程序圖(引自：de la Torre ,2009a) de la Torre(2009a)以分數的減法為例，說明DINA模式的計算方法。首先，設定本單元「分數的減法」所需要的5個認知屬性，如表2-2-1；其次，依照測驗目的與認知屬性設計的題目，即表2-3-2 ；表2-3-3則為本例題需要認知屬性的Q矩陣，因此可知解此題目需具備認知屬性1~3。

(28)

表 2-3-1 分數的減法認知屬性(引自：de la Torre,2009a) 認知屬性敘述 1 從整數部分借1 2 基本分數減法 3 分數化簡 4 將分數中整數與分數部分分開 5 將整數變成分數表 2-3-2 分數的減法例題(引自：de la Torre,2009a) 4 3 1 : D 12 9 1 : C 4 1 2 : B 12 3 2 : A 12 7 -12 4 2 = 表 2-3-3 分數的減法例題之 Q 矩陣設計(引自：de la Torre,2009a) 屬性試題 K1 K2 K3 K4 K5 Item 1 1 1 0 0 因為DINA模式考慮粗心及猜測兩個參數，因此 de la Torre 給定試題參數 s1=0.2、g1=0.2，並假設3名受試者所具備的認知屬性如表2-3-4，即受試者1完全具備本試題所需要的認知屬性1~3，因此η11＝1，受試者2及受試者3至少缺乏1個本試題所需的認知屬性，因此η21=0且η31＝0。表 2-3-4 受試者的認知屬性(引自：de la Torre,2009a) 屬性試題 K1 K2 K3 K4 K5 受試者1 1 1 1 1 0 受試者2 0 1 0 0 1 受試者3 0 1 1 1 1

(29)

計算受試者在本試題的答對機率如下： P（Y11＝1｜α1，s1，g₁）＝（1－s₁）η11 g₁ （1－η11）＝（1－0.2）1_（0.2）1-1_＝0.8 P（Y21＝1｜α2，s1，g₁）＝（1－s₁）η21 g₁（1－η21）＝（1－0.2）0（0.2）1-0＝0.2 P（Y31＝1｜α3，s1，g₁）＝（1－s₁）η31 g₁（1－η31）＝（1－0.2）0（0.2）1-0＝0.2 受試者1因為完全具備解題所需的三個認知屬性，因此答對機率最高，受試者2及3至少缺少一個以上的認知屬性，在DINA模式下認為受試者答對的機率為猜測的機率。綜上所述，在 CDMs 判斷認知屬性的方法中，DINA 模式只考慮粗心及猜測兩個參數，可說是簡單且容易解釋的模式（de la Torre & Douglas，2004），國內

學者王文卿（2010）、陳亭宇（2010）、卓淑瑜（2011）在研究中使用 DINA 模式

進行認知診斷測驗分析，本研究亦使用認知診斷模式中的 DINA 模式，作為評估受試者認知屬性的工具。

(30)

第四節

第四節以知識結構為基礎之診斷測驗

以知識結構為基礎之診斷測驗

壹

壹、

、

、順序理論

、

順序理論

Airasian & Bart (1973)提出順序理論(ordering theory, OT)，用以表示試題間的順序性，理論介紹如下： 令 X＝(X1,X2,…,X3)表示一個向量包含 n 個二元試題成績變數，每一個受試者 作答 n 題得到一個 0 與 1 的向量 X＝(X₁,X2,…,Xn)之後，兩試題 j 和 k 的聯合邊際機率，如表 2-4-1： 表 2-4-1 試題 j 與試題 k 之聯合邊際機率 試題 k 1 = k X X_k =0 _總和 1 = j X P(X_j =1,X_k =1) P(X_j =1,X_k =0) P(X_j =1) 0 = j X P(X_j =0,X_k =1) P(X_j =0,X_k =0) P(X_j =0) 試題 j 總和 P(X_k =1) P(X_k =0) ₁ 假設 * ₌ ( ₌0, ₌1) k j jk P X X

ε

為試題 j 做錯而試題 k 做對的機率，當ε* <ε jk 時（ε 為一閾值，設定0.02≤ε ≤0.04），即表示試題 j 和試題 k 則有順序關係，兩個試題 的關係可標記為X →_j X_k，也就是試題 j 是試題 k 的下位試題。 何政翰（2004）針對三種不同的知識結構（Diagnosys、OT、IRS）與專家結構比較估計成效，其研究結果發現：在OT結構中，樣本數大小對於預測精確性的影響較小，且OT結構比專家結構的預測精準度好；利用具有階層性的知識結構，可以快速有效的評量學生的學習成效，以OT結構為基礎的電腦化適性測驗是有效的評量模式。運用OT演算法的相關研究，如：林杰炘（2005）、曾彥鈞（2006）、莊惠萍

(31)

（2007）、林立敏（2007）、劉育隆（2007）、林婉星（2008）、白曉珊（2008）、汪端正（2008）、莊銘豪（2008）、許曜瀚（2008）、何秀芳（2009）、卓淑瑜（2011）等，都是將OT演算法運用在建立學生試題結構，因此本研究採用OT演算法分析學生試題結構，並結合詮釋結構模式建立學生知識結構。

貳

貳、

、

、學生認知屬性結構的演算法

、

學生認知屬性結構的演算法

學者佐藤隆博（1979）提出詮釋結構模式，劉育隆（2012）將認知屬性對應試題的 Q 矩陣以及 OT 分析得到的學生試題結構互相結合，建立學生知識結構演算法，其研究結果顯示：學生認知屬性結構能夠比專家依照教學順序編製的專家知識結構，更明確的呈現學生學習認知屬性的過程，可做為補救教學路徑。本研究參考劉育隆（2012）提出建立學生概念結構演算法，範例如下：（一）專家定義的 Q 矩陣包含四個概念、五個試題，矩陣中呈現專家認為要答對 I1 試題必須具備 C1，要答對 I2 試題必須具備 C1 與 C3 兩個概念，以此類推，如表 2-4-2 所示：表 2-4-2 專家定義之 Q 矩陣（引自：劉育隆，2012）試題認知屬性 I1 I2 I3 I4 I5 C 1 1 1 0 0 0 C 2 ₀ ₀ ₁ ₀ ₀ C 3 0 1 0 1 0 C 4 0 0 0 1 1 （二）利用 OT 軟體建立學生的試題知識結構 QSm×_n 假設利用順序理論建立之學生試題結構，得到圖 2-4-1 學生試題順序結構及表 2-4-3 可達矩陣 R。

(32)

圖 2-4-1 學生試題順序結構（引自：劉育隆，2012）表 2-4-3 可達矩陣 R（劉育隆；2012）（三）利用公式 CI＝Q*（R＋I）矩陣運算（布林加法代數），建立概念關聯試題矩陣 CI。表 2-4-4 概念關聯試題矩陣（引自：劉育隆，2012）試題認知屬性 I 1 I 2 I 3 I4 I 5 C 1 1 1 0 0 0 C 2 1 1 1 0 0 C 3 1 1 0 1 0 C 4 1 1 0 1 1 I 1 I 2 I 3 I 4 I 5 I 1 0 0 0 0 0 I 2 1 0 0 0 0 I 3 1 1 0 0 0 I 4 1 1 0 0 0 I 5 1 1 0 1 0 I 1 I 2 I 3 I 4 I 5

(33)

（四）由概念關聯試題矩陣建立學生概念結構 C ，其中，m 為認知屬性數，n 為試題數。若某概念相關聯的試題皆包含在另一概念中，稱此概念為另一概念之下位概念，如圖 2-4-2 所示。圖 2-4-2 學生概念結構圖（引自：劉育隆，2012）根據所得到的概念關聯試題矩陣，其中 C4 被最多試題所包含，代表其為最基礎的概念，C1、C3 為 C4 的上位概念，其中 C1 又為 C2、C3 得上為概念， C2 與 C3 並無上下位關係。本研究利用學生認知屬性結構演算法得到學生認知屬性的知識結構，並融入 Q 矩陣中產生結合學生知識結構的階層性 Q 矩陣，再與結合專家知識結構的階層性 Q 矩陣相互比較，藉以瞭解加上不同的知識結構的階層性 Q 矩陣的成效。 S1 S3 S2 S4

C＝ Cij＝1, if CIik≦ CIjk, for all k, i＝1,2,…,m; j＝1,2,…,m

(34)

第三章

第三章研究方法

研究方法

本研究針對「因數與倍數」單元的認知屬性，編製一份診斷測驗，進行施測獲得實徵資料，進行DINA模式與IRT模式分析，藉以比較兩種模式參數值之間的相關性；並編製結合專家知識結構的階層性Q矩陣及結合學生知識結構的階層性 Q矩陣，藉以比較三種不同Q矩陣設計在DINA模式下估計的成效。本章主分為四節：第一節為研究流程；第二節為研究對象；第三節為研究工具；第四節為資料處理與統計分析。

第一節

第一節研究流程

研究流程

本研究依據九年一貫數學能力指標「5-n-03 能理解因數、倍數、公因數與公倍數」，分析將五年級因數與倍數單元所包含的認知屬性，依照認知屬性編製ㄧ份診斷測驗，經專家會議討論與修正後，進行施測；專家由受試者在建構反應題的作答資料獲得部分認知屬性的判斷資訊，其餘的認知屬性則藉由選擇題的作答情形加上個別訪談，藉以獲得專家判定受試者是否具備該試題所對應的認知屬性的實徵資料；將受試者作答資料進行 DINA 模式與 IRT 模式分析，藉以比較兩種模式參數值之間的相關性；接著分別將專家知識結構與學生知識結構融入 Q 矩陣中，形成結合專家知識結構的階層性 Q 矩陣及結合學生知識結構的階層性 Q 矩陣；將三種不同的 Q 矩陣設計利用 DINA 模式評估，藉以比較受試者作答反應的辨識率成效；最後，將比較分析的資料撰寫為研究結果。研究流程圖如 3-1-1 所示。

(35)

圖 3-1-1 研究流程圖因數與倍數單元教材內容分析認知屬性內容編寫命題卡格式編製試題專家會議修正及討論預試及修正試題正式施測以 IRT 模式進行估計編製結合專家與學生知識結構階層性 Q 矩陣以 DINA 模式進行估計編製 Q 矩陣不同 Q 矩陣設計在 DINA 模式辨識率比較專家知識結構 DINA 模式參數值與 IRT 模式參數值比較撰寫研究報告分析建構反應題及個別晤談

(36)

本研究依據上述的研究流程，將研究的順序及重點分述如下：

壹

壹、

、

、教材內容分析

、

教材內容分析

根據分析各版本教材內容及參考文獻資料，將五年級因數與倍數單元所包含的認知屬性整理如下表：表 3-1-1 因數與倍數認知屬性內容認知屬性敘述對應題號 A1 從除法的結果中認識「因數」。 1、5、9、10、15、22 A2 以幾的幾倍，認識「倍數」。 2、3、7、8、10、19 A3 以除法或乘法找出所有的因數。 5、6、14、15、22、23 A4 以乘法或除法，判別兩數的倍數關係。 3、4、7、16、20 A5 認識 2 、5 及 10 的倍數判別方法。 8、9 A6 能利用因數解決生活情境中的問題。 14、22 A7 列出兩數所有的因數，兩數共同的因數稱為「公因數」。 6、11、13、18、23 A8 能利用倍數解決生活情境中的問題。 16、20 A9 列出兩數的倍數數列認識「公倍數」，利用數列找出兩數的公倍數。 4、8、12、17、19、21 A10 利用甲的因數做為除數，找出甲乙兩數的公因數。 11、13 A11 能利用公因數解決生活情境中的問題。 18、23 A12 能利用公倍數解決生活情境中的問題。 12、17、21 A13 認識因數和倍數的關係。 10、19

(37)

貳

貳、

、

、編製專家知識結構圖

、

編製專家知識結構圖

依照課程順序及認知屬性的階層性繪製知識結構圖，再由專家會議討論結果如圖 3-1-2：圖 3-1-2 專家知識結構圖【A13】認識因數和倍數的關係。【A6】能利用因數解決生活情境中的問題。【A7】列出兩數所有的因數，兩數共同的因數稱為「公因數」。【A10】利用甲的因數做為除數，找出甲乙兩數的公因數。【A11】能利用公因數解決生活情境中的問題。【A3】以除法或乘法找出所有的因數。【A1】從除法的結果中認識「因數」。【A4】以乘法或除法，判別兩數的倍數關係。【A9】列出某數的倍數數列，利用數列找出兩數的公倍數。【A8】能利用倍數解決生活情境中的問題。【A5】認識 2、5 及 10 的倍數判別方法。【A12】能利用公倍數解決生活情境中的問題。【A2】以幾的幾倍，認識「倍數」。

(38)

叄

叄、

、

、編製

、

編製

編製 Q 矩陣

編製

矩陣

本研究的測驗試題包含選擇題 20 題、建構反應題 3 題，認知屬性數共 13 個， Q 矩陣的設計中「1」代表該題有測量到該認知屬性，「0」則代表該題沒有測量到該認知屬性。本研究設計的認知屬性對應試題的 Q 矩陣，如表 3-1-2：表 3-1-2 認知屬性對應試題的 Q 矩陣

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11 A12 A13 合計

Item1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 Item2 0 1 0 0 0 0 0 0 0 0 0 0 0 1 Item3 0 1 0 1 0 0 0 0 0 0 0 0 0 2 Item4 0 0 0 1 0 0 0 0 1 0 0 0 0 2 Item5 1 0 1 0 0 0 0 0 0 0 0 0 0 2 Item6 0 0 1 0 0 0 1 0 0 0 0 0 0 2 Item7 0 1 0 1 0 0 0 0 0 0 0 0 0 2 Item8 0 1 0 0 1 0 0 0 1 0 0 0 0 3 Item9 1 0 0 0 1 0 0 0 0 0 0 0 0 2 Item10 1 1 0 0 0 0 0 0 0 0 0 0 1 3 Item11 0 0 0 0 0 0 1 0 0 1 0 0 0 2 Item12 0 0 0 0 0 0 0 0 1 0 0 1 0 2 Item13 0 0 0 0 0 0 1 0 0 1 0 0 0 2 Item14 0 0 1 0 0 1 0 0 0 0 0 0 0 2 Item15 1 0 1 0 0 0 0 0 0 0 0 0 0 2 Item16 0 0 0 1 0 0 0 1 0 0 0 0 0 2 Item17 0 0 0 0 0 0 0 0 1 0 0 1 0 2 Item18 0 0 0 0 0 0 1 0 0 0 1 0 0 2 Item19 0 1 0 0 0 0 0 0 1 0 0 0 1 3 Item20 0 0 0 1 0 0 0 1 0 0 0 0 0 2 Item21 0 0 0 0 0 0 0 0 1 0 0 1 0 2 Item22 1 0 1 0 0 1 0 0 0 0 0 0 0 3 Item23 0 0 1 0 0 0 1 0 0 0 1 0 0 3 合計 6 6 6 5 2 2 5 2 6 2 2 3 2

(39)

本研究的 Q 矩陣設計屬於不平衡設計，意即在測驗中每個認知屬性對應到的試題數總和不相同，設計方式參考王文卿（2010）研究結果：不平衡的 Q 矩陣設計估計準確性較平衡的 Q 矩陣為佳，當單一認知屬性對應到的題數較多時，可以提升該認知屬性的辨識率成效，並且影響到之後的認知屬性辨識率。

肆

肆、

、

、編製試題命題卡

、

編製試題命題卡

本研究試題為自編試卷，分析教材內容，根據專家知識結構編寫命題卡，命題範例如下，完整試題詳見附錄一。選擇題例題建構反應題例題題目（）1.請問 25 的全部因數有幾個？（1 3 5 無限多）個選項選項 1 選項 2 選項 3 選項 4 反應類型【B9】認為任何數的因數只有 1。 ◎ 【B2】沒有完全看清題目就作答。認為題目在問因數有哪些。【B4】不理解因數或公因數的認知屬性。缺乏的認知屬性【A3】以除法或乘法找出所有的因數。【A3】以除法或乘法找出所有的因數。【A1】從除法的結果中認識「因數」。題目 21.糖果一大包不超過 50 顆，4 顆裝一盒或 6 顆裝一盒，都可以全部 裝完，這一包糖果可能有幾顆？請列出所有可能的答案。正確答案（（（（12、、、24、、 、36、、、、、、48）））顆）顆顆顆反應類型【B05】不理解倍數或公倍數的認知屬性。【B06】找所有因數或倍數時無法完整列出而有缺漏。【B10】使用錯誤的運算策略。【B11】認為公倍數只有兩數相乘的積。只寫出 24 顆【B15】忽略題目中數字範圍限制。缺乏的認知屬性【A9】列出兩數的倍數數列認識「公倍數」，利用數列找出兩數的公倍數。【A12】解決公倍數的應用問題。

(40)

伍

伍、

、

、建立結合專家知識結構的階層性

、

建立結合專家知識結構的階層性

建立結合專家知識結構的階層性 Q 矩陣

矩陣

參考專家知識結構圖，將該認知屬性的下位認知屬性也納入試題中，意即將認知屬性的上下位關係與 Q 矩陣結合，編製結合專家知識結構的階層性 Q 矩陣，如表 3-1-3 所示：表 3-1-3 結合專家知識結構的階層性 Q 矩陣

Item1 1 0 0 0 0 0 0 0 0 0 0 0 0 1 Item2 0 1 0 0 0 0 0 0 0 0 0 0 0 1 Item3 0 1 0 1 0 0 0 0 0 0 0 0 0 2 Item4 0 1 0 1 0 0 0 0 1 0 0 0 0 3 Item5 1 0 1 0 0 0 0 0 0 0 0 0 0 2 Item6 1 0 1 0 0 0 1 0 0 0 0 0 0 3 Item7 0 1 0 1 0 0 0 0 0 0 0 0 0 2 Item8 0 1 0 0 1 0 0 0 1 0 0 0 0 3 Item9 1 1 0 0 1 0 0 0 0 0 0 0 0 3 Item10 1 1 0 0 0 0 0 0 0 0 0 0 1 3 Item11 0 0 0 0 0 0 1 0 0 1 0 0 0 2 Item12 0 0 0 0 0 0 0 0 1 0 0 1 0 2 Item13 1 0 1 0 0 0 1 0 0 1 0 0 0 4 Item14 1 0 1 0 0 1 0 0 0 0 0 0 0 3 Item15 1 0 1 0 0 0 0 0 0 0 0 0 0 2 Item16 0 1 0 1 0 0 0 1 0 0 0 0 0 3 Item17 0 1 0 1 0 0 0 0 1 0 0 1 0 4 Item18 1 0 1 0 0 0 1 0 0 0 1 0 0 4 Item19 1 1 0 1 0 0 0 0 1 0 0 0 1 5 Item20 0 1 0 1 0 0 0 1 0 0 0 0 0 3 Item21 0 1 0 1 0 0 0 0 1 0 0 1 0 4 Item22 1 0 1 0 0 1 0 0 0 0 0 0 0 3 Item23 1 0 1 0 0 0 1 0 0 0 1 0 0 4 合計 12 12 8 8 2 2 5 2 6 2 2 3 2

(41)

陸

陸、

、

、建立結合

、

建立結合

建立結合學生

學生

學生知識結構的階層性

學生

知識結構的階層性

知識結構的階層性 Q 矩陣

知識結構的階層性

矩陣

收集學生作答資料，採用OT演算法、不同閾值設定，估計並建立學生試題結構。在學生知識結構圖中可發現，與因數相關的認知屬性(A1、A3、A6)成為倍數（A2、A4、A9）的上位認知屬性，表示學生普遍認為因數比倍數困難，與先前的研究結果符合；同時發現學生知識結構圖中出現與專家知識結構的順序不同之處，學生知識結構圖中公倍數（A12）成為倍數（A8）的下位認知屬性，公因數（A7、A10）也成為因數(A1、A3、A6)的下位認知屬性，如圖3-1-3所示：圖3-1-3 學生知識結構圖 A5 認識 2 、5 及 10 的倍數判別方法 A2以幾的幾倍，認識「倍數」 A4以乘法或除法，判別兩數的倍數關係 A9 列出兩數的倍數數列認識「公倍數」，利用數列找出兩數的公倍數 A10利用甲的因數做為除數，找出甲乙兩數的公因數 A12能利用公倍數解決生活情境中的問題 A1從除法的結果中認識「因數」 A3以除法或乘法找出所有的因數 A6能利用因數解決生活情境中的問題 A8能利用倍數解決生活情境中的問題 A11能利用公因數解決生活情境中的問題 A13認識因數和倍數的關係 A7列出兩數所有的因數，兩數共同的因數稱為「公因數」

(42)

本研究使用不同閾值設定的OT演算法，得到結合學生知識結構的階層性Q矩陣（附錄二附錄二附錄二）附錄二，進行DINA模式分析估計成效，如表3-1-4：表 3-1-4 不同閾值設定的學生知識結構 Q 矩陣估計成效表（%）由上表可得，使用不同閾值設定的OT演算法，得到結合學生知識結構的階層性Q矩陣，在DINA模式分析的估計成效並不穩定，認知屬性的辨識率並沒有隨著閾值設定越嚴格而越高，因此本研究僅以平均辨識率的高低作為選擇的標準，使用閾值設定0.04所得結合學生知識結構與Q矩陣結合，成為結合學生知識結構的階層性Q矩陣，如表3-1-5：閾值設定 0.05 0.04 0.03 0.02 0.01 0.001 A1 67 81 80 83 84 84 A2 80 82 83 82 84 83 A3 80 84 86 85 86 86 A4 80 82 83 83 81 80 A5 83 87 87 84 92 91 A6 57 76 78 81 80 79 A7 79 82 82 80 80 80 A8 76 92 81 97 86 79 A9 75 80 80 80 80 81 A10 89 96 95 94 91 91 A11 53 85 85 83 83 82 A12 64 73 73 71 74 74 A13 58 88 82 84 87 86 平均平均平均 平均 72 84 83 83 83 83

(43)

表 3-1-5 結合學生知識結構的階層性 Q 矩陣（閾值設定 0.04）

Item1 1 1 0 1 1 0 1 0 1 1 0 0 0 7 Item2 0 1 0 1 1 0 1 0 1 1 0 0 0 6 Item3 0 1 0 1 0 0 0 0 0 0 0 0 0 2 Item4 0 1 0 1 0 0 0 0 1 0 0 0 0 3 Item5 1 1 1 1 1 0 1 0 1 1 0 0 0 8 Item6 0 1 1 1 1 0 1 0 1 1 0 0 0 7 Item7 0 1 0 1 1 0 1 0 1 1 0 0 0 6 Item8 0 1 0 1 1 0 1 0 1 1 0 0 0 6 Item9 1 1 0 1 1 0 1 0 1 1 0 0 0 7 Item10 1 1 0 1 1 0 1 0 1 1 0 0 1 8 Item11 0 1 0 1 1 0 1 0 1 1 0 0 0 6 Item12 0 1 0 1 1 0 1 0 1 1 0 1 0 7 Item13 0 1 0 1 1 0 1 0 1 1 0 0 0 6 Item14 0 1 1 1 1 1 1 0 1 1 0 0 0 8 Item15 1 1 1 1 1 0 1 0 1 1 0 0 0 8 Item16 0 1 0 1 1 0 1 1 1 1 0 0 0 7 Item17 0 1 0 1 1 0 1 0 1 1 0 1 0 7 Item18 0 1 0 1 1 0 1 1 1 1 1 1 0 9 Item19 0 1 0 1 1 0 1 0 1 1 0 1 1 8 Item20 0 1 0 1 1 0 1 1 1 1 0 1 0 8 Item21 1 1 0 1 1 0 1 1 1 1 0 1 0 9 Item22 1 1 1 1 1 1 1 1 1 1 0 1 0 11 Item23 0 1 1 1 1 0 1 0 1 1 1 1 0 9 合計 7 23 6 23 21 2 21 5 22 21 2 8 2

(44)

柒

柒、

、

、施測結果分析

、

施測結果分析

回收試卷收集學生的作答反應，以成就測驗的觀點，分析整份測驗的信度，及每一個試題的難度、鑑別度、猜測度，作為審題及修題的參考。

捌

捌、

、

、專家效標之建立

、

專家效標之建立

根據分析建構反應題學生之解題歷程及個別訪談，在本研究中建構反應題分別為第 21、22、23 題，測驗內容包含找出所有的因數、所有的公因數及限定範圍內的公倍數，共包含 7 個認知屬性（A1、A3、A6、A7、A9、A11、A12），提供更多資訊作為專家判定學生是否擁有該認知屬性的效標，並減少判讀認知屬性的時間；其餘在建構反應題中未測得的認知屬性，則依照選擇題的作答情形進行判斷，若有學生在同一個認知屬性出現反應不一致的情形，則進一步做個別晤談，瞭解學生解題的過程與方法，藉以判斷學生是否具備該認知屬性。

(45)

第二節

第二節研究對象

研究對象

本研究旨在探討國小五年級學生因數與倍數單元的認知屬性，因此配合教師授課進度，選取全台北、中、南及金門地區共十一個班級，五年級學生共 322 名進行施測。

第三節

第三節評估準則

評估準則

本研究使用辨識率作為評估準則。辨識率是指受試者的認知屬性狀態在認知診斷模式的估計是否與專家判定的結果一致，辨識率愈高，其估計的結果愈準確。專家在判定學生是否具有該試題所必須的認知屬性時，首先根據建構反應題的作答反應，判定部分認知屬性的有無，再根據個別晤談及選擇題作答情形，判定受試者認知屬性的有無。辨識率計算公式如下：診斷結果 Yes(1) No(0) Yes(1) n11 n10 專家判斷 No(0) n01 n00 N n n₁₁ ₀₀ accuracy= + 其中 N 為樣本數，nij代表專家判斷為 i 且估計結果為 j 的事件總數。

(46)

第四節

第四節研究工具

研究工具

本研究所使用的研究工具包括自編「國小五年級因數與倍數認知診斷測驗」，以及相關的軟體，茲說明如下：

壹

壹、

、

、自編

、

自編

自編「

「

「國小五年級

國小五年級因數與倍數認知診斷

國小五年級

因數與倍數認知診斷

因數與倍數認知診斷測驗

因數與倍數認知診斷

測驗

測驗」

」

本研究依據能力指標分析出 13 個認知屬性，編製診斷測驗試題共有 20 題選擇題，3 題建構反應題。以成就測驗的分析，內部一致性 α 值為 0.82，內容效度經過專家會議討論。

貳

貳、

、

、 BILOG-MG 軟體

、

軟體

BILOG-MG 由 Zimowski, Muraki, Mislevy & Bock(1996)所發展。本研究使用 BILOG-MG 的三參數對數模式，進行試題參數估計。

參

參、

、

、 Matlab 軟體

、

軟體

利用 OT 演算法，配合詮釋結構模式，建立適當的學生知識結構。

肆

肆、

、

、 Ox 軟體

、

軟體

Ox 是一個目標指向的統計系統，此軟體的表示及運算方式是一個有效率的矩陣語言，例如：矩陣相乘、計算反矩陣等。本研究利用 Ox 軟體，並且以 de la Torre(2010)所編寫的 DINA 模式程式，用來估計受試者作答反應組型。

(47)

第四章

第四章研究結果

研究結果

本章將施測後所得學生作答資料，進行資料分析及認知診斷模式估計成效的探討，共分為三節，第一節為自編紙筆測驗試題參數分析，第二節為三種不同 Q 矩陣設計在 DINA 模式下參數值比較，第三節為三種不同 Q 矩陣設計在 DINA 模式下估計成效比較。

第一節

第一節自編

自編

自編紙筆測驗

自編

紙筆測驗

紙筆測驗試題

試題

試題參數

參數

參數分析

分析

研究者編製「因數和倍數」單元紙筆測驗，整份測驗包含 20 題選擇題及 3 題建構反應題，以古典測驗理論(CTT)進行分析，得到內部一致性信度 Cronbach α 係數為 0.82，試題難度值在 0.60～0.93 之間，鑑別度落在 0.2~0.5 之間，屬於難度中等偏易的測驗，由於本測驗目的是診斷學生是否具備該試題所需的認知屬性，因此題目難度值較低是合理的。本研究利用認知診斷 DINA 模式進行試題參數分析，同時使用試題反應理論 3PL 模式進行參數值分析，並比較兩種模式試題參數值的相關性，以下分述之。

壹

壹、

、

、DINA 模式試題參數值

、

模式試題參數值

彙整受試者施測的資料後，使用試題對應認知屬性的 Q 矩陣，在 DINA 模式下進行分析，分別得到猜測參數(g)及粗心參數(s），參數值如表 4-1-1 所示：表 4-1-1 Q 矩陣在 DINA 模式下的猜測與粗心參數值 g 值值值值 s 值值值值 Item1 0.18 0.12 Item2 0 0.25 Item3 0.78 0.01

不同Q矩陣設計在DINA模式估計成效探討—以國小五年級因數與倍數單元為例

國立臺中教育大學教育測驗統計研究所

國民小學教師在職進修教學碩士學位班碩士論文

指導教授：許天維 博士

吳慧珉 博士

不同 Q 矩陣設計在 DINA 模式估計成效探討

—以國小五年級因數與倍數單元為例

研究生：張育蓁 撰

中

華

民

國

一

○

一

年

七

月

摘要

摘要

摘要

摘要

The Performace of Congnitive Diagnostic Model

with Different Q Matrix Designs

-Taking the Unit of Factor and Multiple for 5

graders as an Example-

Abstract

目錄

目錄

目錄

目錄

表目錄

表目錄

表目錄

表目錄

圖目錄

圖目錄

圖目錄

圖目錄

第一章

第一章

第一章

第一章 緒論

緒論

緒論

緒論

第一節

第一節

第一節

第一節 研究動機

研究動機

研究動機

研究動機

第二節

第二節

第二節

第二節 研究目的

研究目的

研究目的

研究目的

第三節

第三節

第三節

第三節 研究問題

研究問題

研究問題

研究問題

第四節

第四節

第四節

第四節 名詞解釋

名詞解釋

名詞解釋

名詞解釋

壹

壹

壹

壹、

、

、認知屬性

指導教授：許天維博士

吳慧珉博士

研究生：張育蓁撰

第一章緒論

第一節研究動機

第二節研究目的

第三節研究問題

第四節名詞解釋

節研究範圍與限制