DINA模式與G-DINA模式參數估計比較

(1)

國立台中教育大學教育測驗統計研究所理學碩士論文

指導教授：郭伯臣博士

DINA 模式與 G-DINA 模式參數估計比較

研究生：王文卿撰

(2)

謝辭

二年研究所求學的日子就在忙碌的課業中消逝了。這段時間很辛苦，不過結果卻是甜美的。不但在測驗統計的領域內獲得不少的知識，也減少了一點點的體重，只不過不夠多。而這一切首先要感謝的是指導教授郭伯臣博士，在他細心的指導下，讓我學會了如何找尋問題，解決問題，而討論時教授常「一語中的」的發現我的錯誤及缺失，並指導我正確的方向。使我在這些年中獲益匪淺。另外亦得感謝智為學長、筱倩、佳樺學姐不厭其煩的教導我，不論是在程式的撰寫上或是執行及並在在我有疑問時為我解答、也感謝革為、文信、永鑫、俊賢的幫忙，課堂上在你們的火力掩護下，讓我的負擔頓時輕鬆了不少。除了師長與同學外也要感謝我的父母及校長王淑暖，沒有你們的鼓勵，我是不會來唸研究所的。最後，感謝我的太太，這二年二個小孩都靠妳來照顧了，因為有妳的支持，讓我可以逃避一些做老公及父親應盡職責，專注於課業研究中，願以此文與妳共享。王文卿中華民國九十八年六月

(3)

摘要

現今教改訴求的是─「把每一位學生帶上來」。但先決條件，就是要知道每個學生的長處與短處，才可以設計策略，實施補救教學。而一般傳統測驗，僅提供學生在團體中的量尺分數，並無法顯現出學生是否精熟某種技能的訊息，進而幫助學生或老師更加瞭解分數所代表的涵意，進行更有效率的學習。認知診斷模型可以提供解決的方案，而認知診斷模型中以 DINA 模式最簡單也最容易解釋，並已有許多學者投入模式開發、實際應用的研究。本研究透過模擬研究方式探討 Q 矩陣設計在不同試題參數、不同概念數、不同樣本數下，分別以 DINA 模型及 G-DINA 模型估計的成效差異。研究結果顯示：一、不平衡的 Q 矩陣設計估計準確性較平衡的 Q 矩陣為佳。二、較大的樣本數能提高 DINA、G-DINA 模式估計的準確性。三、試題參數值設定較小時，估計準確性高。四、題數相同時，概念數較少時估計的準確性佳於概念數多。五、在概念數相同時，測驗長度較長時的估計準確性較好。六、模擬資料以 DINA 模式估計較以 G-DINA 模式估計準確。七、以 DINA 模式及 G-DINA 模式分析實徵資料，結果與本研究相符。關鍵字：認知診斷模型、DINA 模式、G-DINA 模式、Q 矩陣。

(4)

Abstract

Demands of today's education reform is ─ "No Child Left Behind." But the prerequisite is to know the strengths and weaknesses of each student. Then we can design the remedial program. The traditional test only shows the students’ scale score in the groups, but can’t show the message of whether a student mastery a skill, and can’t help the students or the teachers a better understanding of the meaning

represented by scores, and make more efficient learning. The cognitive diagnosis models can provide a solution. In the cognitive diagnostic models, DINA model is the simplest and easiest to explain. Many scholars have been involved in the application of research, model development, etc.

This study simulate the Q matrix with different design on variety parameters in items, amounts of attributes , sample sizes, respectively. And uses DINA and G-DINA model to estimate the effectiveness of the differences.

The results showed:

1. When Q matrix is unbalance, the accuracy of estimation is better.

2. When sample’s size increased, it may improve the accuracy of estimation.

3. When the item’s parameter value is smaller, the accuracy of estimation is higher. 4. When amount of items is the same, the amount of attributes is larger, the accuracy of estimation is better.

5. When the amount of attributes is the same, the test’s length is larger, the accuracy of estimation is better.

6. Simulated data estimated by DINA model is better than G-DINA model.

7. The empirical data estimated by DINA model and G-DINA model has the same results with this study.

(5)

摘要 ………I. 目錄……….III 表目錄………IV 圖目錄………VI 第一章研究動機與目的 ………1 第一節研究動機 ………1 第二節研究目的 ………4 第三節名詞解釋 ………5 第二章文獻探討………6 第一節認知診斷評量模型………6 第二節估計方法………15 第三章研究方法………20 第一節研究設計………20 第二節評估指標………33 第三節研究工具………32 第四章研究結果………35 第一節實驗結果………35 第二節綜合比較………47 第三節實徵資料驗證………51 第五章結論與建議………54 第一節結論………54 第二節建議………57 參考文獻………58

(6)

表目錄

表 2-1 分數的減法認知屬性………10 表 2-2 「分數的減法」選擇題型………10 表 2-3 例題之 Q 矩陣………10 表 2-4 受試者的認知屬性狀態………11 表 3-1 資料變項與估計方式彙整表………22 表 3-2 實驗設計表………22 表 3-3 實驗一之 Q 矩陣………23 表 3-4 實驗二之 Q 矩陣………24 表 3-5 實驗三之 Q 矩陣………25 表 3-6 實驗四之 Q 矩陣………26 表 3-7 實驗五之 Q 矩陣………27 表 3-8 實驗六之 Q 矩陣………28 表 3-9 平均概念精熟比率………29 表 3-10 實徵資料技能代號對應表……….………31 表 3-11 實徵資料之 Q 矩陣………32 表 3-12 辨識率計算方法……….………33 表 4-1-1 實驗一參數估計結果-1 ………36 表 4-1-2 實驗一參數估計結果-2……….………36 表 4-2-1 實驗二參數估計結果-1……….………37 表 4-2-2 實驗二參數估計結果-2 ………38 表 4-3-1 實驗三參數估計結果-1……….………39 表 4-3-2 實驗三參數估計結果-2……….………39 表 4-4-1 實驗四參數估計結果-1……….………40

(7)

表 4-4-2 實驗四參數估計結果-2………..………41 表 4-5-1 實驗五參數估計結果-1……….….………42 表 4-5-2 實驗五參數估計結果-2…………..………43 表 4-6-1 實驗六參數估計結果-1………..………45 表 4-6-2 實驗六參數估計結果-2…..………46 表 4-7 Q 矩陣平衡與不平衡設計對試題參數估計的影響………47 表 4-8 試題長度對試題參數估計的影響………48 表 4-9 試題參數設定對試題參數估計的影響……..………49 表 4-10 不同認知屬性分佈對參數估計的影響比較………….………51 表 4-11 實徵資料以 DINA 模式估計之辨識率結果…..………51 表 4-12 實徵資料以 DINA 模式估計之試題參數 g………51 表 4-13 實徵資料以 DINA 模式估計之試題參數 s………52 表 4-14 實徵資料以 G-DINA 模式估計之結果……..………52 表 4-15 與實徵資料相近之實驗結果……….………53 表 4-16 實徵資料由貝氏網路估計之結果……….………53 表 5-1 平衡設計與不平衡設計辨識率的比較(認知屬性難度相反) ………54 表 5-2 平衡設計與不平衡設計在個別概念辨識率的比較………54 表 5-3 平衡設計與不平衡設計 kappa 值的比較………55

(8)

圖目錄

圖 2-1 受試者對試題 j 的反應程序圖………9 圖 2-2 higher-order DINA 模式反應程序圖………13 圖 2-3 G-DINA 參數估計執行畫面………14 圖 3-1 研究流程圖………21 圖 4-1 Q 矩陣在平衡與不平衡設計辨識率估計效果比較圖………47 圖 4-2 測驗長度對辨識率估計效果比較圖………48 圖 4-3 試題參數設定對辨識率估計效果比較圖………49 圖 4-4 以 DINA 與 G-DINA 模式估計的辨識率比較圖………50 圖 4-5 不同認知屬性分佈對辨識率的影響比較圖………50

(9)

第一章研究動機與目的

第一節研究動機

一個好的評量方法，除了要能測量出學習者的學習現況外，同時也應該能夠提供受試者學習缺失的診斷訊息，以利教學者進行有效的補救教學。如此，評量方法與教學歷程的結合，才能讓教學活動更完善。而傳統測驗的結果常是一些測驗分數的集合，這些測驗分數反映了學生答對與答錯的題數，這分數可以提供一種可靠且穩定的訊息來將學生按一定的順序排列在某個潛在變量的連續量尺上。在古典測量理論(classical test theory, CTT)下，這種潛在變量是真分數。而在試題反應理論(item response theory, IRT)中，這種潛在變量是潛在特質。透過訊息函數可以將學生的能力在團體中所佔的相關位置明確的表示出來，但這傳統測驗的評量設計卻無法從受試者的作答反應組型中，顯現出學生是否精熟某種技能的訊息，進而幫助學生或老師更加瞭解分數所代表的涵意，並進行更有效率的學習(Sheehan, 1997)。近幾年來，國內對於學習成效的評量，已從單一的紙筆測驗，轉變為多樣化的評量方式。雖然多元評量的實施，提供了較廣域的評量內容，較多樣的評量方法，並且創造了較真實與公平的評量情境。然而檢視國內當前所推行的多元評量，卻未能透過這評量歷程，提供老師足夠訊息，來診斷受試者的學習成效。 Nichols(1994)即主張傳統評量理論並無法提供有效的訊息，讓教師對學生的錯誤學習進行診斷的評量，因此，他提倡將認知科學(cognitive science)與心理計量學(psychometrics)結合，發展新的診斷評量方法，以幫助教學目標的達成。 Nichols 將這種新的診斷評量方法，稱為認知診斷評量(cognitively diagnostic assessment, CDA)。

認知診斷評量著眼於探討學生的潛在知識結構與其作答反應過程的關係。所以只有建構出能夠融合不同認知變量的模型並且模型中的參數能夠被很準確的

(10)

估計出來，才能對各個認知變量進行量化的分析，進而了解受試者的認知結構。因此開發認知診斷模型(cognitive diagnostic models, CDMs)與測驗分析就顯得相當重要。因為只有建構出能夠融合不同認知變量的模型並且模型中的參數能夠被很準確的估計出來，才能對各個認知變量進行量化的分析，進而了解受試者的認知結構。

CDMs 是可以使用在判斷受試者優勢與劣勢的心理計量學模式,並提供給施測者的分數形態是可以有效測量學生的學習和進步的(de la Torre, 2009b)。因此在過去幾年中許多的認知診斷模型(cognitive diagnostic models, CDMs) 迅速發展與開發，並應用於認知診斷上。認知診斷模型可分為潛在特質模型(latent trait model) 和潛在分類模型(latent class model)兩大類。其中，比較具有代表性的是以

Fischer(1973)的線性邏輯潛在特質模型(linear logistic trait model, LLTM)為基礎的潛在特質模型和以 Tatsuoka (1983)的規則空間模型(rule space model, RSM)為基礎的潛在分類模型。而潛在分類模型主要用于分析受試者的作答過程，從而探討受試者的潛在知識結構。在實際測驗時，有時候測驗所注重的不是受試者的測驗總分或分數，而是對受試者具有何種的潛在能力缺陷或其在測驗中的典型錯誤分類感到興趣，而潛在分類模型正好提供了這類訊息。近年來，潛在分類模型早已發展出了相當多的模型，包括規則空間模型、統一模型(Unified Model)、融合模型(Fusion Model)、DINA模型(Deterministic Inputs, Noisy “and” Gate Model, DINA；Junker & Sijtsma，2001)、NIDA模型(Noisy Inputs, Deterministic “and” Gate model, NIDA)……等。

其中DINA模型採用了較簡單的模型定義，僅涉及「粗心」和「猜測」兩參數，且近年來，又有許多學者，投入此模型的探索與應用。因此本研究主要以DINA 模型為基礎，探討測驗設計時採取不同的Q矩陣設計、不同試題數、不同的學生

(11)

認知屬性及使用不同的測量模式，對參數估計準確性及受試者的認知屬性辨識率是否會造成影響。在認知診斷評量模式中，以 DINA 模式較為簡單且已被應用於各方面，例如 Templin 與 Henson(2006)將這個模型用於病理性賭博的研究，研究得出美國精神病學聯合會頒布的病理性賭博診斷規則中病理性賭博的判斷最相關和最無關的診斷項目，還得到了被試患者病理性賭博的機率和易於達到的診斷規則，通過給予被試者的診斷訊息，可以降低其成為癮君子的可能性。此外，Haertel, Doignon, 與 Falmagne 也在他們的診斷模型中應用了該模型。同時，一些學者對該模型也進行了理論的探討，例如：de la Torre 與 Douglas (2004)認為受試者的能力是多元的，應與試題難度、鑑別度相對應，並以此為基礎建立了 Higher-order DINA 模型，並採用了 MCMC 方法對其模型來進行參數估計。Rupp 與 Templin (2008) 研究了 Q 矩陣的不完整性對 DINA 模型診斷結果的影響。因此 DINA 模型在國外已被熱烈的討論與應用，但國內卻少有相關的文獻或探討，實為可惜。且認知診斷測驗逐漸結合認知科學、教學研究、及心理計量學而成為一門新科學；有些學者甚至認為診斷測驗與教學是一體的，不可單獨分開處理(Embretson, 1990; Marshall, 1990)。由此可見，未來的認知診斷測驗的新走向也許是：根據某種認知科學的理論為基礎，依據該理論設計新型的診斷測驗試題，再提出可能評量該理論模式的 IRT 測量模式，以驗證該理論下的評量是否成立，並予以認知、測量、或教育領域中有意義的結果解釋。

(12)

第二節研究目的

使用認知診斷評量模式時，首先就是界定所要評量的概念，依據測驗的目的選擇符合該知識領域的重要成分，作為試題的概念。確定好欲評量的概念後，接著就是將概念組合成試題，每道試題至少必須包含一個概念。試題的編製過程中，並非任意的將概念組合成試題，必須考量認知屬性的相似程度與難易程度。試題與概念的關係，大多數的認知診斷模型，則藉由關聯矩陣(incidence matrix，通常以Q矩陣表示，Tatsuoka, 1985），表明每個試題所需要具備的概念。測驗結果藉由受試者的試題反應組型及Q矩陣施測者即可推估受試者具有或缺乏哪些認知屬性的知識，進而據此瞭解受試者的學習狀況，並針對受試者的學習盲點，進行補救教學。因此Q矩陣在認知診斷評量的測驗設計上實在具有相當重要地位。例如， Rupp與Templin (2008) 探究不正確使用或不適合的Q矩陣的結果，de la Torre (2009a) 開發在DINA模式下，經驗地驗證Q矩陣有效性的方法，de la Torre與 Douglas (2008) 設計出使用多重Q矩陣來模擬不同的解題策略。探討Q矩陣設計，對於判斷受試者認知屬性精熟的影響，在目前研究中是較為缺乏的。本研究即針對此點，探討測驗設計時，不同Q矩陣的設定，是否會影響對試題參數的估計及受試者知識狀態的診斷辨識率，以期對未來在測驗編製時，能做為設計者參考的依據。根據上述，本研究的研究目的如下：一、探討 Q 矩陣平衡設計(balance)與不平衡(unbalance)設計對參數估計的影響。二、探討測驗長度對不同測量模式參數估計精準度的影響。三、探討試題參數對不同測量模式參數估計精準度的影響。四、探討認知屬性數量對不同測量模式參數估計精準度的影響。五、探討受試者認知屬性的分佈對不同測量模式參數估計精準度的影響。

(13)

第三節名詞解釋

針對本研究常用的名詞，釋義如下：

壹、 Q 矩陣平衡設計：

Q 矩陣平衡設計是指在整份測驗中每個認知屬性對應到的試題數總和相同。

貳、 Q 矩陣不平衡設計：

Q 矩陣不平衡設計是指在整份測驗中每個認知屬性對應到的試題數總和相同。

參、參數估計精準度：

參數估計精準度是指誤差的大小，亦即估計誤差愈小，則代表估計結果愈準確，本研究使用平均絕對誤差(mean absolute bias, MAB)作為評估指標。

肆、辨識率：

辨識率的概念即是估計出來的受試者認知屬性狀態應該和模擬資料的受試者認知屬性狀態是一樣的，在這樣的概念下，辨識率是指判斷正確的百分比，百分比愈高，則代表估計結果愈準確。

(14)

第二章文獻探討

第一節認知診斷模式

認知診斷模型在心理學上的研究是一個很熱門的新領域。在國外過去幾年，認知診斷評量模型發展得非常迅速，很大的原因是來自於美國在2002年1月8日簽署的一項美國聯邦法律有教無類法案（No Child Left Behind Act of 2001, Public

Law 107-110），簡稱為NCLB，因為它要求美國全國所有3－8年級學生每年必須接受各州政府的閱讀和數學統考。而統考的目的在診斷學生在閱讀和數學的各項技能或屬性的精熟狀態，並提供學生關於他們強項或弱點的詳細訊息(Hubebner, 2010)。認知診斷評量模型以概念作為診斷的目標，診斷學生是否精熟了某些概念，學生在各項技能被分類成精熟(masters)與不精熟(non-masters)，也就是認知診斷評量通常是二元的。舉例來說，分數的減法所需的技能可能包含了（1）把整數轉換成分數，（2）從假分數分離出整數成帶分數，（3）減法前先約分……等(de la Torre & Douglas, 2004)，而閱讀測驗所需的技能有(1)內容的記憶，(2)從陳述了解事實， (3)從上下文的線索猜測……等(McGlohen & Chang, 2008)。因此認知診斷評量模型可以協助教師對學生有個別化的診斷和提供能力較佳的學生自學的方向與目標。

更詳細的說，CDMs對一個評估診斷K個技能的測驗，給了每個受試者一個二元精熟分數(binary mastery scores)向量以α = (α, α, … α)表示。例如K=3，則一

個受試者其α = (1,0,1) 表示他精熟第1跟第3個技能，而對第2個技能不夠精熟。

既然K個技能都可以對應到精熟與不精熟，則會有2 個可能的反應組型。下列為

當K=3時，所有可能的8種反應組型。

(15)

因此，為了清楚表示試題與技能的關係，大多數的CDMs，使用Q矩陣(Q matrix)當作技能影響試題的對照表( Tatsuoka, 1985)。 Q矩陣表示每一個題庫中的試題所需要的特定的技能，若有K個技能及J個試題，則Q矩陣大小為J× K，代 表要解答第j個試題，是否需具備概念k ，Q矩陣內元素的定義如下： = _{0 其他}1 第j個試題需要第k個技能 (2-1) 其中，  = 1 ⋯   = 1 ⋯  從上可知，每一個試題恰為Q矩陣中的一列，舉例來說，我們假設Q矩陣如下： Q = 1 1 10 0 ⋮ 0⋮ 0 1 01 1 ⋮ 0⋮ 可以發現第一題需要技能1及2，而第二題需要技能1、3及4，第三題只需要技能3，依此類推。Q矩陣通常是由學科專家(subject matter experts, SMEs)建立。

除了決定每個試題所需求的技能之外，SMEs也必須決定技能的精熟如何影響作答的機率。例如，一個高的答對機率代表受試者必須精熟所有需求的試題，或是至少一個技能是精熟的？答對的機率逐漸增加，是否代表需要更多的技能被精熟？透過不同機率的設計就衍生出不同的認知診斷評量模式了。以下僅介紹本研究使用的三種模式：DINA模式、higher-order DINA模式、 G-DINA模式。

(16)

壹、 DINA 模式

一、模式介紹

DINA 模式是許多認知診斷與評估方法的基礎( Doignon & Falmagne, 1999; Tatsuoka, 1995) 。DINA 模式適用於對二元計分項目測驗進行認知診斷，該模式的創建和流行始於 Junker 和 Sijtsma(2001)的研究。模式假設具備解該題目所需之認知屬性時，即能答對該題，但是試題答對的機率，會受到粗心（slip）及猜測（guess）兩個參數的影響，DINA 的模式表示如下其模式定義如下： !"#$ = 1%&$ = 1' = (1 − ))*+, -(.*+,) (2-2) 其中 &$ = / 0$ :2,345 = / 0$2,3 6 7 ) = !("#$ = 0%&$ = 1' - = !("#$ = 1%&$ = 0' 其中#_$ ：第 i 個受試者在第 j 個試題的反應組型。 ) ：受試者具有回答第 j 個試題所需的認知屬性，但卻因粗心大意答錯該題的機率。 - ：受試者不具有回答第 j 個試題所需的認知屬性，但卻因猜對該題的機率。 0_$ ：代表第 i 個受試者在第 k 個認知屬性的有無，具備該屬性其值為 1，無則為 0， 8：受試者答對第 j 個試題是否需要第 k 個認知屬性，如需要該屬性其值為 1，無則為 0。 &$：代表受試者是否具有答對第 j 個試題所需的所有技能，若全部具備則其值為 1，反之，受試者至少缺少 1 個答對第 j 個試題所需的技能，其值為 0。從上式中可知 DINA 模式將學生分為兩類，一種為掌握了作答所需具備的全

(17)

部認知屬性，另一類受試者至少缺乏一個必須的認知屬性，也就是說只要少了一個解題所需的認知屬性，正答的機率將大大的降低，即使答對也歸納於猜測的機率。 DINA 模式的圖形表示如下圖，就像圖中表示的能力反應組型&_$9是受試者技能{0_$}和試題{8}的方程式，如果&_$9 = 1，則受試者答對第 j 題的機率就是1 − )，如果&_$9 = 0，則答對機率為 -。 0_$ = (0_$, 0_$, … 0_$) = ", , … ' 0 1 圖圖圖

圖 2-1 受試者對試題 j 的反應程序圖(de la Torre, 2009a)

以 de la Torre(2009a)中的範例說明 DINA 模式的計算方法：表 2-1 為分數的減法的認知屬性，表 2-2 為測驗學生是否具備這些認知屬性而設計的題目，表 2-3 為例題之 Q 矩陣，由表 2-3 可知，解此題目需具備認知屬性 1~3。 &$9 - 1 − )

#

$

(18)

表 2-1 分數的減法認知屬性分數的減法認知屬性分數的減法認知屬性分數的減法認知屬性認知屬性敘述 1 從整數部分借 1 2 基本分數減法 3 化簡 4 將整數與分數部分分開 5 將整數變成分數表 2-2 「分數的減法分數的減法分數的減法分數的減法」」」選擇題型」選擇題型選擇題型選擇題型 = − 12 7 12 4 2 A: 12 3 2 B: 4 1 2 C: 12 9 1 D: 4 3 1 表 2-3 例題之例題之例題之 Q 矩陣例題之矩陣矩陣矩陣屬性試題 K1 K2 K3 K4 K5 Item1 1 1 1 0 0 假設給定試題參數s₁=0.2、g₁=0.2，今有三名受試者，其所具備的認知屬性如表 2-4 所示，可知學生 1 具備解題所需的三個認知屬性，因此其& = 1，學生 2 及學生 3 都有缺少一個以上的認知屬性，因此其& = &_< = 0，則三位受試者的答對機率分別計算如下：

(19)

表 2-4 受試者的認知屬性狀態受試者的認知屬性狀態受試者的認知屬性狀態受試者的認知屬性狀態屬性受試者 K1 K2 K3 K4 K5 學生 1 1 1 1 1 0 學生 2 0 1 0 0 1 學生 3 0 1 1 1 1 P(Y = 1|α, s, g) = (1 − s)*55g .*55 = (1 − 0.2)(0.2). = 1 − 0.2 = 0.8 P(Y = 1|α, s, g) = (1 − s)*D5g.*D5 = (1 − 0.2)E(0.2).E = 0.2 P(Y< = 1|α<, s, g) = (1 − s)*F5g.*F5 = (1 − 0.2)E(0.2).E = 0.2 學生 1 具備解題所需的三個認知屬性，因此答對機率最高，學生 2 及學生 3 都有缺少一個以上的認知屬性，因此在 DINA 模式下認為若答對，是屬於猜測的機率。綜合上述，DINA 模式是一個非常簡單且很好解釋的模式，因為它每個試題

只需要二個參數(), g)，儘管它很簡單，但它有非常好的模式適配(de la Torre &

Douglas, 2004, 2005) ，也因此被應用在測驗的許多方面。

二、DINA 模式近年的相關研究

DINA 模式定義簡單，僅包含粗心及猜測兩參數，且具有良好的模式適配度 (de la Torre & Douglas, 2004)，相關的研究近年來也與日俱增。茲介紹如下：

(一) 在電腦適性化測驗上：Xu, Chang 與 Douglas (2003) 比較認知診斷架構下電

腦適性化測驗策略的模擬研究。McGlohen 與 Chang (2008)也提出了結合認知診斷測驗的電腦化適性測驗技術。

(二) 在測驗編制上：Henson 與 Douglas (2005)提出利用 Kullback-Leibler

(20)

利用基因演算法進行自動編制認知診斷模型測驗。

(三) 在等化與信度上：Gierl, Cui 與 Zhou (2009)探討了在認知診斷評量下基於認

知屬性的分數與信度（reliability）的研究。 Xu 與 Davier (2008)一般化診斷模式間的等化與連結。

另外，有更多的學者探討了不同的議題，如de la Torre 與 Douglas(2004) 探討了DINA 與Linear logistic model(LLM)模式的比較，利用Markov chain Monte Carlo(MCMC)法來進行參數估計，研究結果顯示DINA的參數估計精準度相較之下比較穩定； de la Torre(2009a)更詳述了DINA參數估計的方法，如joint maximum likelihood estimation及marginalized maximum likelihood estimation等，降低MCMC參數估計的時間；de la Torre(2009b)針對選擇題型，提出multiple-choice DINA的模式，試圖從選項中獲得更多的診斷訊息，達到更精準的估計。

貳、Higher-Order DINA 模式

Leighton, Gierl 與 Hunka(2004)發現在一些應用上，在認知屬性上加上高階層的架構是合理的。這麼做的話，估計時就可以降低技能組合的數量。在高層次的表示式中，給定高階的潛在能力θ_$下，假定元素0_$條件獨立，其關係式可用下列式子表示：

(

)

[

]

(

)

[

]

∏

=       − + − = K k i k k i i i P 1 1 0 0 1 7 . 1 exp 1 7 . 1 exp ) | ( λ θ λ λ θ λ θ α (2-3) 上式與試題反應理論(IRT)中的單參數對數模型相似，主要的差異在資料矩陣是被設定為包含不可觀察的“反應”(也就是α_G)、能力鑑別度λ及難度參數λ_E這三

項的模組。技能的λ_E愈高代表愈難精熟。de la Torre 與 Douglus(2004)定義如果

DINA 模式包含了θ_G就稱為 higher-order DINA 模式(HO-DINA)。其圖形表示如圖 2-2：

(21)

圖圖圖

圖 2-2 higher-order DINA 模式反應程序圖(de la Torre, 2008)

參、G-DINA 模式

DINA 模式的一般化模型(Generalized DINA Model, G-DINA )由 de la Torre (2008)提出，可以下列方程式表示： !"0_H∗_{' = J} E+ ∑6, J0H ∗ 7 + ∑ ∑ J′0H 6_,∗. 6_,∗ ′_M 0H′ + J⋯6_,∗∏ 0H 6_,∗ 7 (2-4) 其中 J_E：試題 j 的截距。 J：對0的主要影響。 J′：0和0′交互的影響。 J_⋯6_,∗：0，⋯ ，0′的交互影響。當只有J_E及J_⋯6 ,∗不為 0 時，其他J、J′均為 0 時，就是 DINA 模式了，所以 DINA 模式是 G-DINA 的特例。 θG λ αG &_$9 g₉ 1 − s₉ Y_G9

(22)

de la Torre 對 G-DINA 的估計是採用 EM 演算法，程式碼是使用 Ox (Doornik, 2003)程式編寫的，該程式 5.1 之後的版本提供了可以編寫程式碼及執行環境的 OxEdit 編輯器，使用上更為便利。程式執行後提供了 G-DINA 的參數估計與標準誤還有認知屬性的後驗分配及受試者的分類情形。相關細節可以查閱 de la Torre (2009a)。其執行畫面，如圖 3。圖圖圖 圖 2-3 G-DINA 參數估計執行畫面

(23)

第二節估計方法

在認知診斷模式下試題參數的估計經常使用最大期望值演算法

(expectation-maximization, EM algorithm; Dempster , Laird, & Rubin, 1977)逼近或 MCMC技術(Markov Chain Monte Carlo techniques; Tierney, 1994)。但這二個方法不僅只能使用於參數估計，也能用來估計模式的適配，利用EM法來估計模式的適配，包含DINA(de la Torre, 2008)、NIDA(Maris, 1999)及general diagnostic model (GDM) (von Davier, 2005)，使用MCMC技術估計模式適配上則有DINA及NIDA(de la Torre & Douglas, 2008)，及fusion model (Hartz, 2002)。

上述這些論文概述出了演算法，有些並被撰寫成程式，或能利用現有的軟體呈現出來，這些軟體包含了Arpeggio (Educational Testing Service, 2004)，一個可估計fusion模式的商業軟體及一個常用的商業軟體M-Plus (Muthén & Muthén, 1998-2006)，可基於log linear models上來估計CDMs家族(Henson, Templin, & Willse, 2009)。茲分別介紹二種估計方法：

壹、EM 參數估計法

因最大期望值演算法(Expectation-Maximization Algorithm)可以應用到各種領域，在此僅介紹在 DINA 模式下使用 EM 演算法來估計參數的方法。首先，定義 DINA 模式中正確答對機率之方程式， !(0H) = - QR 0H ′ < ′ 1 − ) QR 0H′ = ′  (2-5) 其中，′ 是Q矩陣轉置後的第j 行。所以，當0_$H′ < ′時&_$ = 0；當0_H′ = ′ 時&_H = 1。

(24)

定義#的邊際概似區間為下式：

( )

∏

∑

= = = = = l i l i L l l l i i L Y p Y L Y L 1 1 1 ) | ( ) ( ) ( α α (2-6) 其中!(0_H|#_$)是第 i 個受試者擁有0_H這作答反應組型的後驗機率, T = 26 。

為取得當U_E = -及U = s時，U_*的最大概似估計(maximum likelihood estimate)，

對個別的U_*，需最大化下式：

∏

∑

= = = = l i l i i i LY Y L Y l 1 1 ) ( log ) ( log ) ( (2-7) 經由最大化的過程可得 -W = XV $ (E) Y_9H(E) Z (2-8) )W = [ Y_V H() − X$()\ Y9H() Z (2-9) 其中Y_H(E)是代表至少缺少一個答對第j 題需有的技能的受試者期望人數。 X$(E)代表在YH(E)中的受試者正確答對第j 題的期望人數。X$()和YH()也是相同的定義只是他們屬於具有答對第 j 題所有技能，對所有j ，Y_9H(E)+ Y_H() = Y_H. 演算法的估計流程：步驟一：是取g和s的起始值。步驟二：則是使用g 和s的當前值去計算Y_H() 、X_$()、 X_$(E)、Y_9H(E)。步驟三：則是從式子(2-8)、(2-9)取得g 和s的估計值。步驟四：最後，重複迭代步驟2、步驟3直到其收斂為止。詳細的公式推導，請參閱 de la Torre (2009a)。

(25)

壹、 MCMC 參數估計法

現今IRT模式的發展愈來愈複雜，其估計模式相當受重視，若使用傳統測驗理論（如古典測驗理論或單參數試題反應理論）進行分析，可能會造成測量結果客觀性及可比較性不足。一般較複雜的IRT模式之參數估計是MMLE/EM（Bock &Aitkin, 1981），但當模式愈來愈複雜時，EM演算法將難以直接應用。MCMC 法是在多變量模式中模擬隨機抽樣之方法，不同於EM演算法，因MCMC之計算過程不會牽涉積分或微分，故可簡單地被應用（Patz & Junker, 1999）。

MCMC是透過多次的重複遞迴抽樣，建構出馬可夫鏈（Markov chain），進而求得一平穩分配，即是貝氏架構下的後驗（posterior）分配，藉由馬可夫鏈中的隨機變數可了解變數的特質。MCMC在統計上應用的範圍非常廣泛，建構馬可夫鏈的方法亦有很多，以下僅針對 MCMC所使用的Gibbs sampler法及 Metropolis-Hastings algorithm 做介紹。一、Gibbs sampler 假設隨機變數]_^,n ≥ 0 為一馬可夫鏈，通常]_^ 的可能集合S 稱為]_^的狀態空間（state space），其中每一個隨機變數所發生的機率都只和前一個隨機變數有關，也就是 ]_^` 是從條件機率分配P ( ]_^|]_^`)中產生，其中P (.|.) 稱為馬可夫 鏈的轉置核（transition kernel）。而所謂平穩的馬可夫鏈就是P(]_^|]_^`) 中的轉 換機率和狀態有關，但和時間 t 無關。 在IRT模式中，假設需要推論θ 、b 兩參數，則馬可夫鏈的轉置核為： ab(cE_{, d}E_{), ((c}_{, d}_{)e = !b ]} ^` = (c, d)|]^ = (cE, dE) e (2-10) 隨著n 增加，P(]_^|]_^`) 會收斂到平穩分配 f(c, d)，在貝氏架構中，期望透過馬可夫鏈來定義後驗分配 !(c, d|]) 為 f(c, d)，而平穩分配為： g ab(cE_{, d}E_{), ((c}_{, d}_)ef(cE_{, d}E_)h(cE_{, d}E₎ i,j = f(c, d) (2-11) 其中， f(c_{, d}_{) 為後驗分配。由此可知，只要找到馬可夫鏈的建構方法，即可}

(26)

推算出期望求得的後驗分配。Gibbs sampling即是建構馬可夫鏈的方法之ㄧ。

假設f(c, d) = !(c, d|])，且參數 θ 、b 完全條件獨立，由式子（2-10），

可將轉置核公式定義如下（Geman & Geman, 1984）：

ab(cE_{, d}E_{), (c}_{, d}_{)e = !(c}_|dE_{, ])!(d}_|c_{, ]) (2-12)}

其中，!(c |d, ])!(d|c, ])稱為完全條件分配（full conditional distribution）。 Gibbs sampling的演算步驟如下：（一）給定所有參數起始值：(cE, dE) （二）透過完全條件分配反覆抽取M+N組參數估計值，其迭代過程如下： 1. 由!(c |dE, ])中抽取出c，由!(d|c, ])中抽取出d。 2. 由!(c |d, ])中抽取出c，由!(d|c, ])中抽取出d。 3. 由!(c< |d, ])中抽取出c<，由!(d<|c<, ])中抽取出d<。重複以上迭代過程，即可得到M+N組參數估計值。（三）最後刪去前面的M組（即為burn-in），保留後面的N組（即為sampling）用來分析。當樣本數N夠大時，參數估計值將會趨近於平穩分配（Tierney, 1994）二、 Metropolis-Hastings algorithm

Gibbs sampler 是 Metropolis-Hastings algorithm 的一個特例，所有的 MCMC 演算法都是以 Metropolis-Hastings algorithm 為基礎的，且在比較複雜的情形下 Gibbs sampler 取樣時比較困難的，這時就必需使用 Metropolis-Hastings algorithm。 (B. Walsh, 2004)。 Metropolis-Hastings algorithm 演算步驟如下：假設平穩分配 R(k)，依其特性給定一個轉換函數(. |. )，則（一）給定所有參數起始值：X0 =(X₁0,_L,X_p0) t=1,2,3,_L （二）透過轉換分配產生參數估計值， ~ (⋅| t−1) X q X

(27)

（三）計算       ⋅ ⋅ = ₋ − ₋ − ) 1 1 1 1 | ( ) ( ) | ( ) ( , 1 min ) | ( _t _t t t X X q X f X X q X f X X α (2-13) 如果上式成立，則Xt =X 不成立，則 t = t−1 X X 重複以上迭代過程，即可得到M+N組參數估計值。（四）最後刪去前面的M組，保留後面的N組用來分析。當樣本數N夠大時，參數估計值將會趨近於平穩分配。

de la Torre (2004)使用 MCMC 法的 Metropolis-Hastings algorithm 來估計 HO-DINA 模式的試題參數及高層能力。估計結果與模擬資料真值的誤差不超過 0.02。25 次的模擬結果也只有微小的不同。故使用 MCMC 法是可以正確估計 HO-DINA 模式的。

de la Torre(2009a)使用同一筆資料分別使用 DINA 模式以 EM 法估計及使用 HO-DINA 模式以 MCMC 法估計，得到的估計結果相當一致。de la Torre(2010) 即以 HO-DINA 模式產生模擬資料，並以 EM 法估計來探討在 DINA 模式下不同的認知屬性分佈，參數估計的不變性。然而，採用何種演算法其中一個重要的影響因素是運算的時間，一般來說， EM 法比 MCMC 法收斂的更快速(特別是技能數較小時)，而收斂的時間可能會花去數個小時，甚至可能是數天。因為這個理由，如同經由 MCMC 方法的參數估計極度重視收斂的需求，研究者可能推論在操作診斷評量軟體上，EM 逼近法是較佳的估計方法(Alan Huebner, 2010)。因此，基於上述理由，本研究於估計時採用 HO-DINA 模式產生模擬資料，並使用 EM 法估計參數，在設定的變數項下比較其估計的結果。

(28)

第三章研究方法

本研究著重於探討 Q 矩陣設計在不同參數設計下對 DINA 模式估計準確性的影響。本章分為三節，分別介紹研究設計、評估指標、研究工具。

第一節研究設計

本節分為三部份，首先介紹研究步驟、其次介紹本研究之變項設計，最後介紹研究程序。

壹、研究步驟

本研究目的在探討測驗設計時，不同 Q 矩陣的設定在不同的變項設計下，是否會影響對試題參數的估計及受試者知識狀態的診斷辨識率，透過 MATLAB 軟體進行模擬資料的產生及計算誤差，使用 DINA 模式及 G-DINA 模式進行參數估計，並以平均絕對誤差(mean absolute bias, MAB)及辨識率作為評估指標。其中的 Q 矩陣設計、變項設計、程式所需工具及辨識率的計算方法，將於以下各節作詳細的介紹。

(29)

圖圖圖 圖 3-1 研究流程圖 擬定研究主題文獻蒐集產生模擬作答反應 (含高階層能力、試題參數) 以 G-DINA 模式進行參數估計以 DINA 模式 _{進行參數估計} 參數估計效果評估撰寫研究報告實徵資料驗證

(30)

貳、變項設計

本研究模擬資料變項與估計方式，設計如表 3-1 表 3-1 資料變資料變資料變資料變項與估計方式彙整表項與估計方式彙整表項與估計方式彙整表項與估計方式彙整表變數設定值 Q 矩陣 K=5, n=20(平衡、不平衡) K=5, n=30(平衡、不平衡) K=10, n=30(平衡、不平衡) 試題參數(s, g) 0.1 , 0.25 樣本數 100 人、500 人、1000 人 Alpha 產生方式 HO-DINA：theta~N(0,1) alpha~Uniform 收斂標準 0.0001 模擬次數 25 次估計模式 DINA G-DINA 實徵資料洪祥堯(2009) 依上表本研究針對 Q 矩陣的設計不同，共區分成六個實驗，每個實驗依認知屬性分佈分為兩部分，每個部分中呈現兩種的試題參數設定、兩種估計模式及三種人數分佈之估計結果。實驗設計如表 3-2，矩陣設計如表 3-3~表 3-8。表 3-2 實驗設計表實驗設計表實驗設計表實驗設計表概念數題數 Q 矩陣設計實驗一 5 20 平衡實驗二 5 20 不平衡實驗三 5 30 平衡實驗四 5 30 不平衡實驗五 10 30 平衡實驗六 10 30 不平衡

(31)

表 3-3 實驗一實驗一實驗一之實驗一之之 Q 矩陣之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 1 1 1 0 0 0 2 1 0 1 0 0 3 1 0 0 1 0 4 1 0 0 0 1 5 0 1 1 0 0 6 0 1 0 1 0 7 0 1 0 0 1 8 0 0 1 1 0 9 0 0 1 0 1 10 0 0 0 1 1 11 1 1 1 0 0 12 1 1 0 1 0 13 1 1 0 0 1 14 1 0 1 1 0 15 1 0 1 0 1 16 1 0 0 1 1 17 0 1 1 1 0 18 0 1 1 0 1 19 0 1 0 1 1 20 0 0 1 1 1 概念數統計 10 10 10 10 10

(32)

表 3-4 實驗二之實驗二之實驗二之 Q 矩陣實驗二之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 1 1 0 0 0 0 2 0 1 0 0 0 3 0 0 1 0 0 4 0 0 0 1 0 5 0 0 0 0 1 6 1 1 0 0 0 7 1 0 1 0 0 8 1 0 0 1 0 9 0 1 1 0 0 10 0 1 0 1 0 11 1 1 1 0 0 12 1 1 0 1 0 13 1 1 0 0 1 14 1 0 1 1 0 15 1 0 1 0 1 16 1 1 1 1 0 17 1 1 0 1 1 18 0 1 1 1 1 19 1 0 1 1 1 20 1 1 1 0 1 概念數統計 13 11 10 9 7

(33)

表 3-5 實驗三之實驗三之實驗三之 Q 矩陣實驗三之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 1 1 0 0 0 0 2 0 1 0 0 0 3 0 0 1 0 0 4 0 0 0 1 0 5 0 0 0 0 1 6 1 0 0 0 0 7 0 1 0 0 0 8 0 0 1 0 0 9 0 0 0 1 0 10 0 0 0 0 1 11 1 1 0 0 0 12 1 0 1 0 0 13 1 0 0 1 0 14 1 0 0 0 1 15 0 1 1 0 0 16 0 1 0 1 0 17 0 1 0 0 1 18 0 0 1 1 0 19 0 0 1 0 1 20 0 0 0 1 1 21 1 1 1 0 0 22 1 1 0 1 0 23 1 1 0 0 1 24 1 0 1 1 0 25 1 0 1 0 1 26 1 0 0 1 1 27 0 1 1 1 0 28 0 1 1 0 1 29 0 1 0 1 1 30 0 0 1 1 1 概念數統計 12 12 12 12 12

(34)

表 3-6 實驗四之實驗四之實驗四之 Q 矩陣實驗四之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 1 1 0 0 0 0 2 0 1 0 0 0 3 0 0 1 0 0 4 0 0 0 1 0 5 0 0 0 0 1 6 1 0 0 0 0 7 0 1 0 0 0 8 0 0 1 0 0 9 0 0 0 1 0 10 0 0 0 0 1 11 1 1 0 0 0 12 1 0 1 0 0 13 1 0 0 1 0 14 1 0 0 0 1 15 0 1 1 0 0 16 0 1 0 1 0 17 0 1 0 0 1 18 1 0 1 0 0 19 1 0 0 1 0 20 0 0 0 1 1 21 1 1 1 0 0 22 1 1 0 1 0 23 0 1 0 0 1 24 1 0 1 1 0 25 1 0 1 0 1 26 0 1 1 0 1 27 0 1 1 1 0 28 0 1 0 1 1 29 1 1 1 1 0 30 1 0 1 0 1 概念數統計 14 13 12 11 10

(35)

表 3-7 實驗五之實驗五之實驗五之 Q 矩陣實驗五之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 6 7 8 9 10 1 1 1 0 0 0 0 0 0 0 0 2 0 1 1 0 0 0 0 0 0 0 3 0 0 1 1 0 0 0 0 0 0 4 0 0 0 1 1 0 0 0 0 0 5 0 0 0 0 1 1 0 0 0 0 6 0 0 0 0 0 1 1 0 0 0 7 0 0 0 0 0 0 1 1 0 0 8 0 0 0 0 0 0 0 1 1 0 9 0 0 0 0 0 0 0 0 1 1 10 1 0 0 0 0 0 0 0 0 1 11 1 1 1 0 0 0 0 0 0 0 12 0 1 1 1 0 0 0 0 0 0 13 0 0 1 1 1 0 0 0 0 0 14 0 0 0 1 1 1 0 0 0 0 15 0 0 0 0 1 1 1 0 0 0 16 0 0 0 0 0 1 1 1 0 0 17 0 0 0 0 0 0 1 1 1 0 18 0 0 0 0 0 0 0 1 1 1 19 1 0 0 0 0 0 0 0 1 1 20 1 1 0 0 0 0 0 0 0 1 21 1 1 1 1 0 0 0 0 0 0 22 0 1 1 1 1 0 0 0 0 0 23 0 0 1 1 1 1 0 0 0 0 24 0 0 0 1 1 1 1 0 0 0 25 0 0 0 0 1 1 1 1 0 0 26 0 0 0 0 0 1 1 1 1 0 27 0 0 0 0 0 0 1 1 1 1 28 1 0 0 0 0 0 0 1 1 1 29 1 1 0 0 0 0 0 0 1 1 30 1 1 1 0 0 0 0 0 0 1 概念數統計 9 9 9 9 9 9 9 9 9 9

(36)

表 3-8 實驗六之實驗六之實驗六之 Q 矩陣實驗六之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 6 7 8 9 10 1 1 1 0 0 0 0 0 0 0 0 2 0 1 1 0 0 0 0 0 0 0 3 0 0 1 1 0 0 0 0 0 0 4 0 0 0 1 1 0 0 0 0 0 5 1 0 0 0 1 1 0 0 0 0 6 0 1 0 0 0 1 1 0 0 0 7 0 0 0 1 0 0 1 0 0 0 8 1 0 0 0 0 0 0 1 0 0 9 0 0 0 0 0 0 0 0 1 0 10 1 0 0 0 0 0 0 0 0 1 11 1 1 1 0 0 0 0 0 0 0 12 0 1 1 1 0 0 0 0 0 0 13 0 0 1 1 1 0 0 0 0 0 14 0 0 0 1 1 1 0 0 0 0 15 0 0 0 0 1 1 1 0 0 0 16 0 0 0 0 0 1 1 1 0 0 17 0 0 0 0 0 0 1 1 1 0 18 0 0 0 0 0 0 0 1 0 1 19 1 0 0 0 0 0 0 0 1 1 20 1 1 0 0 0 0 0 0 0 1 21 1 1 1 1 0 0 0 0 0 0 22 0 1 1 1 1 0 0 0 0 0 23 0 0 1 1 1 1 0 0 0 0 24 0 0 0 1 1 1 1 0 0 0 25 0 0 0 0 1 1 1 1 0 0 26 0 0 1 0 0 1 0 1 1 0 27 0 1 0 0 0 0 1 1 1 1 28 1 0 0 0 0 0 0 1 1 1 29 1 1 0 0 0 0 0 0 1 0 30 1 1 1 0 0 0 0 0 0 1 概念數統計 11 11 10 10 9 9 8 8 7 7

(37)

參、研究程序

一、模擬資料研究： (一)、模擬資料產生： 1、產生作答反應矩陣：第一步是產生受試者的概念分佈，分為兩種方式，第一種為從 HO-DINA 模式產生，第二種方法是直接從均勻分配中產生。 HO-DINA 模式產生：設定概念數 K=5 時，高階層試題迴歸參數λ_E及λ設定為（-1, -.5, 0, 0.5, 1）， λ=1，受試者的能力θ 服從標準常態分佈θ ~ N(0,1)，以下列式子產生。依下列式子產生受試者α的狀態。 !(0 = 1|c) = _{1 + nkob1.7q}nkob1.7q(c − qE)e (c − qE)e 利用 DINA 模式計算出受試者在每題的答對機率，再透過隨機產生之均勻分配 U(0,1)判定受試者於該題之答對與否、來產生作答反應矩陣。當設定概念數 K=10 時，高階層試題迴歸參數λ_E及λ設定為（-1, -1, -.5, -.5, 0, 0, 0.5, 0.5, 1, 1），λ=1，受試者的能力θ 服從標準常態分佈θ ~ N(0,1)，其後流程與 K=5 時相同。以均勻分配產生：由均勻分配中產生受試者擁有各概念的機率，如該機率>=0.5，則令受試者具有該概念，反則不具有該概念。再利用 DINA 模式產生受試者在每題的答對機率，再透過隨機產生之均勻分配 U(0,1)判定受試者於該題之答對與否、來產生作 (3-1)

(38)

答反應矩陣。而產生之模擬資料平均每個概念所精熟的人數比率，如表 3-9 所示。表 3-9 平均概念精熟比率平均概念精熟比率平均概念精熟比率平均概念精熟比率概念產生分佈 K1 K2 K3 K4 K5 K6 K7 K8 K9 K10 HO-DINA K=5 0.76 0.64 0.5 0.36 0.24 HO-DINA K=10 0.76 0.76 0.64 0.64 0.5 0.5 0.36 0.36 0.24 0.24 Uniform K=5 0.5 0.5 0.5 0.5 0.5 Uniform K=10 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 0.5 2、估計： (1)以 DINA 模式估計試題參數及受試者概念型態。 (2)以 G-DINA 模式估計受試者概念型態。 3、評估效益：以模擬資料的受試者概念型態及設定的試題參數為真值，與估計出來的受試者概念型態及試題參數比較，利用評估指標 MAB、辨識率判斷其精準度。二、實徵資料驗證：本研究使用洪祥堯(2009)研究資料作為實徵資料驗證，洪祥堯以國小六年級數學「圓形圖」單元對台中縣某國小四個班級為教學實驗對象，研發編製以知識結構為基礎的教學教材及補救教材，並探討教材應用後的成效。並探討以貝氏網路為推論工具，應用於診斷學生子技能與錯誤類型有無之預測精準度。因其貝氏網路研究需專家對受試者判斷具備之認知屬性，可視為受試者的知識型態的真值，故以該研究的資料，做為本研究之實徵資料。將此實徵資料以DINA及G-DINA模式估計並與真值比較，探討DINA及G-DINA模式在實際運用上之效果。其研究之概念數及對應之試題表3-10：

(39)

表3-10 實徵資料實徵資料實徵資料實徵資料技能代號對應表技能代號對應表技能代號對應表技能代號對應表概念內容對應之試題 S1 能判斷出正確的次數分配表 1、14、26 S2 能將分數化成小數 1、15、27 S3 能把分數擴分為分母是 100 的分數 3、16 S4 能把分母是 100 的分數記成百分率 4 S5 能把分數換算為百分率 5、17 S6 能用四捨五入法求取百分率的近似值 6、18、28 S7 各分量百分率總和不是 100％時，能調整分量的 7、19 百分率，使其總和剛好為 100％ S8 能將各個統計資料換算成所占的百分率 8、20、29、31 S9 能報讀長條百分圖 9、21 S10 能報讀圓形圖 10、22 S11 能依據統計資料判斷出正確的圓形圖 11、23 S12 能從圓形圖判斷出正確的統計資料 12、24 S13 能解決圓形圖的各種應用問題 13、25、30、32、33 依表 3-10 可以產生 DINA 模式中所需的 Q 矩陣如表 3-11，其中每個概念數對應到的題數不盡相同，因此屬於本研究所定義之不平衡設計，再依其施測之受試者反應組型，即可提供 DINA 及 G-DINA 模式下所需各項資料進行估計與判斷。

(40)

表 3-11 實徵資料之實徵資料之實徵資料之 Q 矩陣實徵資料之矩陣矩陣矩陣概念試題編號 1 2 3 4 5 6 7 8 9 10 11 12 13 1 1 0 0 0 0 0 0 0 0 0 0 0 0 2 0 1 0 0 0 0 0 0 0 0 0 0 0 3 0 0 1 0 0 0 0 0 0 0 0 0 0 4 0 0 0 1 0 0 0 0 0 0 0 0 0 5 0 0 0 0 1 0 0 0 0 0 0 0 0 6 0 0 0 0 0 1 0 0 0 0 0 0 0 7 0 0 0 0 0 0 1 0 0 0 0 0 0 8 0 0 0 0 0 0 0 1 0 0 0 0 0 9 0 0 0 0 0 0 0 0 1 0 0 0 0 10 0 0 0 0 0 0 0 0 0 1 0 0 0 11 0 0 0 0 0 0 0 0 0 0 1 0 0 12 0 0 0 0 0 0 0 0 0 0 0 1 0 13 0 0 0 0 0 0 0 0 0 0 0 0 1 14 1 0 0 0 0 0 0 0 0 0 0 0 0 15 0 1 0 0 0 0 0 0 0 0 0 0 0 16 0 0 1 0 0 0 0 0 0 0 0 0 0 17 0 0 0 0 1 0 0 0 0 0 0 0 0 18 0 0 0 0 0 1 0 0 0 0 0 0 0 19 0 0 0 0 0 0 1 0 0 0 0 0 0 20 0 0 0 0 0 0 0 1 0 0 0 0 0 21 0 0 0 0 0 0 0 0 1 0 0 0 0 22 0 0 0 0 0 0 0 0 0 1 0 0 0 23 0 0 0 0 0 0 0 0 0 0 1 0 0 24 0 0 0 0 0 0 0 0 0 0 0 1 0 25 0 0 0 0 0 0 0 0 0 0 0 0 1 26 1 0 0 0 0 0 0 0 0 0 0 0 0 27 0 1 0 0 0 0 0 0 0 0 0 0 0 28 0 0 0 0 0 1 0 0 0 0 0 0 0 29 0 0 0 0 0 0 0 1 0 0 0 0 0 30 0 0 0 0 0 0 0 0 0 0 0 0 1 31 0 0 0 0 0 0 0 1 0 0 0 0 0 32 0 0 0 0 0 0 0 0 0 0 0 0 1 33 0 0 0 0 0 0 0 0 0 0 0 0 1 概念數統計 3 3 2 1 2 3 2 4 2 2 2 2 5

(41)

第二節評估指標

本研究以模擬研究產生資料，並使用 MAB 及辨識率(accuracy)作為評估指標，藉以獲得模式估計之精準度。MAB 及辨識率之計算方法如下：

壹、試題參數 s

rst()) =∑ %)^7 W − )_uV % 其中 s₉：第 j 題試題參數 s 的真值 sW：第 j 題試題參數 s 的估計值 _v n：總試題數

貳、試題參數 g

rst(-) =∑ %-^7 W − -_uV % 其中 g₉：第 j 題試題參數 g 的真值 gW：第 j 題試題參數 g 的估計值 _v n：總試題數

參、辨識率(accuracy)

表 3-12 辨識率計算方法辨識率計算方法辨識率計算方法辨識率計算方法診斷結果真值 (專家判斷) Yes(1) No(0) Yes(1) n 11 n 10 No(0) n 01 n 00 其中 N 為測試資料數目，n_ij 代表真值(專家判斷)為 i 且診斷結果為 j 的事件數目， 則辨識率計算為：辨識率=

N

n

11

+

00 (3-4) (3-2) (3-3)

(42)

第三節研究工具

本研究使用的工具有 MATLAB 軟體及 OX 軟體，茲分述如下。

壹、MATLAB

本研究使用 MATLAB2008a 程式產生受試者之高層能力，配合不同參數設定，產生答對機率值，進而模擬作答反應。並用來計算估計誤差。

貳、Ox

Ox 是一個目標指向的統計系統。它的核心是一個有效率的矩陣語言，矩陣可以直接表示及運算，例如：矩陣相乘、計算反矩陣。這是一個相輔相成的綜合統計資料庫。它的特色是運算速度快、可延伸的資料庫及設計良好的語法與編輯器，使得程式很容易撰寫、維護及圖形繪製。Ox 可以讀寫相當多不同的資料格式，包含了電子表格(EXCEL)和 OXMETRIC 檔。Ox 也可以執行大部份的計量經濟學的高斯方程式(Doornik, J. A.., 2003)。

Ox 分為二個版本：專業版和簡易版。簡易版以命令行執行程式，Ox 程式使用編輯器(例如：OXEDIT)撰寫程式碼，然後在 MS-DOS 下執行或直接在編輯器下執行。相對於專業版，簡易版無法顯示圖形及使用圖形使用者介面(graphical user interface, GUI)。

本研究利用此軟體，並以 de la Torre (2008, 2010)撰寫之 DINA 模式程式及 G-DINA 模式程式，估計作答反應組型內之各項試題參數及受試者的知識狀態。

(43)

第四章研究結果

本章共分成三節，第一節為各情境下參數估計誤差結果之比較，第二節為綜合比較，第三節為實徵資料驗證的結果。

第一節實驗結果

本節分六個實驗結果呈現，每個實驗中，以認知屬性分佈分為兩部分，每個部分中呈現兩種的試題參數設定、兩種估計模式及三種人數分佈之估計結果。其中認知屬性分佈以 higher-order DINA 模式產生的以代號 HO 表示，以均勻分配方式產生的代號為 U，試題參數設定 s=g=0.1 以代號 S01、s=g=0.25 則以 S25 為代號，茲分述如下：

壹、實驗一(5 個概念數、20 題、Q 矩陣平衡)

此實驗之 Q 矩陣設計為試題數 20 題、概念數 5，矩陣設計為平衡設計。實驗結果分成二部份，第一部份為資料產生方式為 higher-order DINA 模式在不同變數設定下，以不同模式估計後之結果，如表 4-1-1，第二部份則為資料產生方式為均勻分佈產生在不同變數設定下，以不同模式估計後之結果，詳如表 4-1-2。

(44)

表 4-1-1 實驗一參數估計結果實驗一參數估計結果實驗一參數估計結果實驗一參數估計結果-1 模擬資料產生為 HO-DINA，5 個概念數、20 題、Q 矩陣平衡 分佈分佈分佈 分佈_試題試題試題試題參數參數參數 參數_人人人人估計模式辨識率各概念辨識率試題參數估計

acc Skill-1 Skill-2 Skill-3 Skill-4 Skill-5 MAB_g MAB_s HO_S01_100 DINA 0.8593 0.7936 0.8220 0.8844 0.8884 0.9080 0.0401 0.0563 G-DINA 0.8216 0.7444 0.7936 0.8460 0.8536 0.8704 HO_S01_500 DINA 0.8958 0.8275 0.8754 0.8960 0.9303 0.9498 0.0157 0.0253 G-DINA 0.8389 0.7604 0.8086 0.8460 0.8782 0.9012 HO_S01_1000 DINA 0.9015 0.8314 0.8747 0.9047 0.9308 0.9661 0.0126 0.0172 G-DINA 0.8445 0.7594 0.8208 0.8628 0.8818 0.8975 HO_S25_100 DINA 0.7232 0.7116 0.7112 0.7200 0.7204 0.7528 0.0633 0.1088 G-DINA 0.6875 0.6420 0.6632 0.7080 0.7016 0.7228 HO_S25_500 DINA 0.7741 0.7362 0.7357 0.7423 0.8028 0.8533 0.0329 0.0420 G-DINA 0.7352 0.6803 0.6971 0.7323 0.7635 0.8025 HO_S25_1000 DINA 0.8010 0.7511 0.7509 0.7866 0.8297 0.8868 0.0231 0.0291 G-DINA 0.7586 0.6827 0.7194 0.7541 0.7967 0.8398 表 4-1-2 實驗一參數估計結果實驗一參數估計結果實驗一參數估計結果實驗一參數估計結果-2 模擬資料產生為 Uniform，5 個概念數、20 題、Q 矩陣平衡 模式模式模式 模式_試題參試題參試題參試題參數數數 數_人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

acc Skill-1 Skill-2 Skill-3 Skill-4 Skill-5 MAB_g MAB_s

U_S01_100 DINA 0.8470 0.8464 0.8516 0.8496 0.8412 0.8460 0.0352 0.0689 G-DINA 0.8160 0.8300 0.8136 0.8200 0.7952 0.8212 U_S01_500 DINA 0.8572 0.8580 0.8578 0.8555 0.8570 0.8575 0.0154 0.0297 G-DINA 0.8292 0.8271 0.8322 0.8270 0.8304 0.8293 U_S01_1000 DINA 0.8633 0.8628 0.8664 0.8626 0.8623 0.8626 0.0116 0.0203 G-DINA 0.8484 0.8468 0.8513 0.8508 0.8488 0.8445 U_S25_100 DINA 0.6664 0.6668 0.6504 0.6704 0.6728 0.6716 0.0609 0.1655 G-DINA 0.6507 0.6612 0.6460 0.6624 0.6404 0.6436 U_S25_500 DINA 0.7104 0.7144 0.7089 0.7127 0.7071 0.7090 0.0275 0.0668 G-DINA 0.6604 0.6724 0.6533 0.6596 0.6552 0.6613 U_S25_1000 DINA 0.7191 0.7193 0.7174 0.7198 0.7190 0.7198 0.0204 0.0437 G-DINA 0.6828 0.6849 0.6812 0.6848 0.6792 0.6841

(45)

在試題參數設定比較上，試題參數估計的誤差範圍在 S01 的設定下大約在 0.01~0.06，而在 S25 的設定下，大約在 0.02~0.16 之間，估計的效果較 S01 的設定差；在不同的人數分佈上，其估計誤差隨者人數增加而降低；其中 HO_S01_1000 估計結果與 de la Torre(2010)的研究結果一致。在概念的辨識率比較上，可以得到相同的結果，在 S01 的情況下估計效果比 S25 的情況佳，人數的增加也會提升估計的效果；在 DINA 與 G-DINA 的估計模式比較上，受到參數與人數的影響，DINA 模式的平均辨識率在 0.72~0.90 之間， G-DINA 模式的平均辨識率在 0.68~0.84 間，顯示 DINA 模式的估計效果較佳。

貳、實驗二(5 個概念數、20 題、Q 矩陣不平衡)

此實驗之 Q 矩陣設計為試題數 20 題、概念數 5，矩陣設計為不平衡設計。實驗結果分成二部份，第一部份為資料產生方式為 higher-order DINA 模式在不同變數設定下，以不同模式估計後之結果，如表 4-2-1，第二部份則為資料產生方式為均勻分佈產生在不同變數設定下，以不同模式估計後之結果，詳如表 4-2-2。表 4-2-1 實驗實驗實驗實驗二二二二參數估計結果參數估計結果參數估計結果-1 參數估計結果 模擬資料產生為 HO-DINA，5 個概念數、20 題、Q 矩陣不平衡 模式模式模式 模式_試題參數試題參數試題參數試題參數 _人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

HO_S01_100 DINA 0.9341 0.9232 0.9264 0.9284 0.9584 0.9340 0.0554 0.0784 G-DINA 0.8954 0.8320 0.8784 0.9272 0.9316 0.9080 HO_S01_500 DINA 0.9472 0.9443 0.9401 0.9443 0.9590 0.9482 0.0358 0.0441 G-DINA 0.8971 0.7641 0.8990 0.9403 0.9445 0.9376 HO_S01_1000 DINA 0.9541 0.9488 0.9431 0.9528 0.9593 0.9666 0.0129 0.0166 G-DINA 0.8798 0.6922 0.8757 0.9352 0.9484 0.9474 HO_S25_100 DINA 0.7637 0.7648 0.7600 0.7656 0.7900 0.7380 0.0840 0.1176 G-DINA 0.7212 0.6892 0.7280 0.7296 0.7448 0.7144 HO_S25_500 DINA 0.8149 0.8034 0.7821 0.8068 0.8293 0.8531 0.0471 0.0499 G-DINA 0.7534 0.6688 0.7299 0.7816 0.7906 0.7962 HO_S25_1000 DINA 0.8284 0.8122 0.8012 0.8095 0.8534 0.8656 0.0371 0.0353 G-DINA 0.7599 0.6451 0.7073 0.7928 0.8204 0.8337

(46)

表 4-2-2 實驗實驗實驗實驗二二二二參數估計結果參數估計結果參數估計結果-2 參數估計結果 模擬資料產生為 Uniform，5 個概念數、20 題、Q 矩陣不平衡 模式模式模式 模式_試題參數試題參數試題參數試題參數 _人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

U_S01_100 DINA 0.9133 0.9179 0.9246 0.9079 0.9125 0.9038 0.0523 0.1212 G-DINA 0.9078 0.9152 0.9112 0.9092 0.9108 0.8928 U_S01_500 DINA 0.9173 0.9338 0.9218 0.8999 0.9239 0.9070 0.0343 0.0822 G-DINA 0.9038 0.9265 0.8959 0.9103 0.9099 0.8764 U_S01_1000 DINA 0.9224 0.9394 0.9242 0.9167 0.9221 0.9093 0.0304 0.0710 G-DINA 0.9118 0.9365 0.9005 0.9259 0.9154 0.8809 U_S25_100 DINA 0.7277 0.7386 0.7391 0.7114 0.7418 0.7077 0.0787 0.1820 G-DINA 0.7171 0.7332 0.7144 0.6996 0.7312 0.7072 U_S25_500 DINA 0.7378 0.7696 0.7532 0.7233 0.7363 0.7065 0.0426 0.1072 G-DINA 0.7007 0.7220 0.7010 0.7027 0.7026 0.6752 U_S25_1000 DINA 0.7495 0.7766 0.7638 0.7314 0.7602 0.7156 0.0362 0.0759 G-DINA 0.7083 0.7336 0.7196 0.7046 0.7154 0.6682 在試題參數設定比較上，試題參數估計的誤差範圍在 S01 的設定下大約在 0.03~0.12，而在 S25 的設定下，大約在 0.03~0.18 之間，估計的效果較 S01 的設定差；在不同的人數分佈上，其估計誤差隨者人數增加而降低。在概念的辨識率比較上，可以得到相同的結果，在 S01 的情況下估計效果比 S25 的情況佳，人數的增加也會提升估計的效果；在 DINA 與 G-DINA 的估計模式比較上，受到參數與人數的影響，DINA 模式的平均辨識率在 0.72~0.95 之間， G-DINA 模式的平均辨識率在 0.70~0.89 間，顯示 DINA 模式的估計效果較佳。

參、實驗三(5 個概念數、30 題、Q 矩陣平衡)

(47)

表 4-3-1 實驗實驗實驗實驗三三三三參數估計結果參數估計結果參數估計結果-1 參數估計結果 模擬資料產生為 HO-DINA， 5 個概念數、30 題、Q 矩陣平衡 分佈分佈分佈 分佈_試題參數試題參數試題參數試題參數 _人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

HO_S01_100 DINA 0.9794 0.9660 0.9740 0.9804 0.9868 0.9900 0.0342 0.0493 G-DINA 0.9738 0.9620 0.9664 0.9768 0.9812 0.9824 HO_S01_500 DINA 0.9822 0.9698 0.9783 0.9851 0.9868 0.9911 0.0157 0.0215 G-DINA 0.9813 0.9694 0.9769 0.9840 0.9861 0.9902 HO_S01_1000 DINA 0.9817 0.9678 0.9772 0.9828 0.9890 0.9918 0.0109 0.0150 G-DINA 0.9811 0.9671 0.9765 0.9821 0.9882 0.9914 HO_S25_100 DINA 0.8586 0.8424 0.8332 0.8536 0.8712 0.8928 0.0619 0.0887 G-DINA 0.8063 0.7616 0.7948 0.8236 0.8280 0.8236 HO_S25_500 DINA 0.8930 0.8683 0.8762 0.8829 0.9093 0.9283 0.0253 0.0351 G-DINA 0.8687 0.8166 0.8511 0.8689 0.8932 0.9137 HO_S25_1000 DINA 0.8958 0.8741 0.8752 0.8856 0.9069 0.9373 0.0174 0.0247 G-DINA 0.8860 0.8629 0.8637 0.8761 0.8991 0.9283 表 4-3-2 實驗實驗實驗實驗三三三三參數估計結果參數估計結果參數估計結果-2 參數估計結果 模擬資料產生為 Uniform，5 個概念數、30 題、Q 矩陣平衡 模式模式模式 模式 _ 試題參試題參試題參試題參數數數 數_人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

Acc Skill-1 Skill-2 Skill-3 Skill-4 Skill-5 MAB_g MAB_s

U_S01_100 DINA 0.9765 0.9716 0.9784 0.9792 0.9748 0.9784 0.0314 0.0550 G-DINA 0.9738 0.9668 0.9752 0.9760 0.9736 0.9772 U_S01_500 DINA 0.9793 0.9781 0.9794 0.9810 0.9790 0.9790 0.0136 0.0238 G-DINA 0.9785 0.9773 0.9779 0.9799 0.9786 0.9787 U_S01_1000 DINA 0.9800 0.9808 0.9806 0.9796 0.9798 0.9792 0.0092 0.0168 G-DINA 0.9798 0.9810 0.9805 0.9788 0.9794 0.9792 U_S25_100 DINA 0.8202 0.8348 0.8200 0.8252 0.8072 0.8140 0.0575 0.1132 G-DINA 0.7885 0.7880 0.8012 0.7940 0.7832 0.7760 U_S25_500 DINA 0.8529 0.8509 0.8535 0.8549 0.8497 0.8554 0.0242 0.0464 G-DINA 0.8351 0.8318 0.8378 0.8344 0.8336 0.8380 U_S25_1000 DINA 0.8575 0.8567 0.8582 0.8550 0.8577 0.8596 0.0163 0.0332 G-DINA 0.8517 0.8540 0.8510 0.8472 0.8537 0.8526

(48)

在試題參數設定比較上，試題參數估計的誤差範圍在 S01 的設定下大約在 0.01~0.05，而在 S25 的設定下，大約在 0.01~0.11 之間，估計的效果較 S01 的設定差；在不同的人數分佈上，其估計誤差隨者人數增加而降低。在概念的辨識率比較上，可以得到相同的結果，在 S01 的情況下估計效果比 S25 的情況佳，人數的增加也會提升估計的效果；在 DINA 與 G-DINA 的估計模式比較上，受到參數與人數的影響，DINA 模式的平均辨識率在 0.82~0.98 之間， G-DINA 模式的平均辨識率在 0.78~0.88 間，顯示 DINA 模式的估計效果較佳。

肆、實驗四(5 個概念數、30 題、Q 矩陣不平衡)

此實驗之 Q 矩陣設計為試題數 30 題、概念數 5，矩陣設計為不平衡設計。實驗結果分成二部份，第一部份為資料產生方式為 higher-order DINA 模式在不同變數設定下，以不同模式估計後之結果，如表 4-4-1，第二部份則為資料產生方式為均勻分佈產生在不同變數設定下，以不同模式估計後之結果，詳如表 4-4-2。表 4-4-1 實驗實驗實驗實驗四四四四參數估計結果參數估計結果參數估計結果-1 參數估計結果 模擬資料產生為 HO-DINA， 5 個概念數、30 題、Q 矩陣不平衡 模式模式模式 模式_試題參數試題參數試題參數試題參數 _人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

HO_S01_100 DINA 0.9823 0.9716 0.9820 0.9808 0.9876 0.9896 0.0342 0.0465 G-DINA 0.9734 0.9660 0.9684 0.9760 0.9788 0.9780 HO_S01_500 DINA 0.9818 0.9674 0.9766 0.9853 0.9882 0.9913 0.0156 0.0194 G-DINA 0.9801 0.9660 0.9745 0.9830 0.9871 0.9898 HO_S01_1000 DINA 0.9824 0.9681 0.9789 0.9852 0.9892 0.9906 0.0101 0.0142 G-DINA 0.9819 0.9668 0.9782 0.9854 0.9887 0.9907 HO_S25_100 DINA 0.8664 0.8524 0.8480 0.8564 0.8752 0.9000 0.0639 0.0859 G-DINA 0.8213 0.7900 0.8104 0.8328 0.8400 0.8332 HO_S25_500 DINA 0.8948 0.8686 0.8697 0.8944 0.9160 0.9251 0.0261 0.0344 G-DINA 0.8715 0.8272 0.8422 0.8769 0.9009 0.9105 HO_S25_1000 DINA 0.9006 0.8765 0.8764 0.8986 0.9169 0.9345 0.0175 0.0245 G-DINA 0.8922 0.8642 0.8672 0.8898 0.9107 0.9293

(49)

表 4-4-2 實驗實驗實驗實驗四四四四參數估計結果參數估計結果參數估計結果-2 參數估計結果 模擬資料產生為 Uniform，5 個概念數、30 題、Q 矩陣不平衡 模式模式模式 模式_試題參試題參試題參試題參數數數 數_人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

Acc Skill-1 Skill-2 Skill-3 Skill-4 Skill-5 MAB_g MAB_s

U_S01_100 DINA 0.9704 0.9772 0.9788 0.9636 0.9676 0.9648 0.0319 0.0592 G-DINA 0.9691 0.9780 0.9768 0.9604 0.9656 0.9648 U_S01_500 DINA 0.9752 0.9786 0.9828 0.9650 0.9748 0.9749 0.0134 0.0244 G-DINA 0.9744 0.9778 0.9814 0.9629 0.9745 0.9753 U_S01_1000 DINA 0.9749 0.9816 0.9807 0.9641 0.9727 0.9752 0.0101 0.0168 G-DINA 0.9745 0.9807 0.9802 0.9640 0.9732 0.9745 U_S25_100 DINA 0.8132 0.8192 0.8316 0.8008 0.8084 0.8060 0.0588 0.1166 G-DINA 0.7887 0.7916 0.8076 0.7888 0.7740 0.7816 U_S25_500 DINA 0.8540 0.8630 0.8649 0.8395 0.8523 0.8504 0.0235 0.0459 G-DINA 0.8336 0.8438 0.8427 0.8154 0.8354 0.8306 U_S25_1000 DINA 0.8560 0.8686 0.8618 0.8436 0.8496 0.8562 0.0170 0.0310 G-DINA 0.8487 0.8607 0.8540 0.8352 0.8438 0.8498 在試題參數設定比較上，試題參數估計的誤差範圍在 S01 的設定下大約在 0.01~0.05，而在 S25 的設定下，大約在 0.02~0.16 之間，估計的效果較 S01 的設定差；在不同的人數分佈上，其估計誤差隨者人數增加而降低。在概念的辨識率比較上，可以得到相同的結果，在 S01 的情況下估計效果比 S25 的情況佳，人數的增加也會提升估計的效果；在 DINA 與 G-DINA 的估計模式比較上，受到參數與人數的影響，DINA 模式的平均辨識率均在 0.81~0.97 之間， G-DINA 模式的平均辨識率在 0.78~0.98 間，顯示 DINA 模式的估計效果較佳。

伍、實驗五(10 個概念數、30 題、Q 矩陣平衡)

(50)

表 4-5-1 實驗五參數估計結果實驗五參數估計結果實驗五參數估計結果實驗五參數估計結果-1 模擬資料產生為 HO-DINA，10 個概念數、30 題、Q 矩陣平衡 模式模式模式 模式_試題參數試題參數試題參數試題參數 _人數人數人數人數估計模式辨識率各概念辨識率試題參數估計

acc skill-1 skill-2 skill-3 skill-4 skill-5 skill-6 skill-7 skill-8 skill-9 skill-10 MAB_g MAB_s

HO_S01_100 DINA 0.8491 0.8210 0.8720 0.8850 0.8430 0.8650 0.8290 0.8510 0.7970 0.8350 0.8930 0.0370 0.0639 GDINA 0.7726 0.7570 0.8240 0.8560 0.8030 0.8050 0.7520 0.7600 0.6950 0.7280 0.7460 HO_S01_500 DINA 0.8575 0.8266 0.8724 0.8922 0.8442 0.8790 0.8226 0.8518 0.8042 0.8634 0.9186 0.0192 0.0270 GDINA 0.7876 0.7790 0.8316 0.8470 0.8154 0.8094 0.7652 0.7596 0.7170 0.7314 0.8202 HO_S01_1000 DINA 0.8647 0.8328 0.8795 0.8939 0.8615 0.8781 0.8370 0.8611 0.8015 0.8685 0.9335 0.0133 0.0173 GDINA 0.7948 0.8081 0.8342 0.8462 0.8308 0.8115 0.7774 0.7638 0.7271 0.7190 0.8300 HO_S25_100 DINA 0.6986 0.7310 0.7610 0.7560 0.7360 0.7370 0.6970 0.6650 0.6140 0.6230 0.6660 0.0764 0.1195 GDINA 0.6453 0.6062 0.6812 0.7022 0.6711 0.6799 0.6482 0.6153 0.6175 0.6011 0.6300 HO_S25_500 DINA 0.7266 0.7274 0.7776 0.7860 0.7484 0.7384 0.7016 0.6874 0.6642 0.6884 0.7468 0.0365 0.0557 GDINA 0.6531 0.6062 0.7012 0.7410 0.6812 0.6840 0.6502 0.6186 0.6156 0.6030 0.6298 HO_S25_1000 DINA 0.7523 0.7552 0.7882 0.7868 0.7578 0.7537 0.7182 0.7338 0.6779 0.7213 0.8299 0.0264 0.0334 GDINA 0.6763 0.6484 0.7166 0.7521 0.7121 0.7014 0.6561 0.6538 0.6223 0.6342 0.6661

DINA模式與G-DINA模式參數估計比較

國立台中教育大學教育測驗統計研究所理學碩士論文

指 導 教 授：郭伯臣 博士