• 沒有找到結果。

電腦化認知診斷測驗選題法

第二章 文獻探討

第二節 電腦化認知診斷測驗選題法

電腦化適性測驗(computerized adaptive testing,CAT)是一種測驗模式能夠 更有效和準確的推論受試者一個或多個潛在特質。一般而言,電腦化適性測驗是 建立在試題反應理論模式上,其中最常使用的選題法是最大訊息法(Lord, 1980;

Thissen & Mislevy, 2000)。

然而,當受試者的潛在特質為離散結構,或使用的是無參數試題反應理論模 式(nonparametric IRT models)時,最大訊息法已不適用。然而Kullback-Leibler 訊息和Shannon entropy並無此限制,例如:Xu與Douglas(2006)已在試題反應理 論模式上建立電腦化適性測驗,以及Xu et al. (2003)、McGlohen和Chang (2008) 與Cheng (2009)也在認知診斷模式上建立電腦化適性測驗。

Xu, et al. (2003)的研究是在Fusion模式中提出兩種選題法:KL法與SHE法,

結果顯示SHE法的表現優於KL法,但曝光率部份是KL法比較好。因此,Cheng (2009)提出兩種改善KL選題法:PWKL法與HKL法,並應用於DINA模式中與SHE 法進行比較,結果顯示PWKL法與HKL法皆優於SHE法。

然而Cheng (2009)的研究中,題庫的設計是建立在試題參數皆一致的情況,

並且只以每道試題有20%機會測量到每個屬性的機制來建立Q矩陣,但真實的情 境中每道試題的試題參數應為不同,因此本研究欲探討不同試題參數與不同Q矩 陣的情況下,PWKL法與HKL法的表現是否仍優於SHE法。

CAT流程包含試題反應模型、題庫建置、測驗起點、選題策略、能力估計、

測驗終止等六個步驟(余民寧,2009),其流程圖如圖2-1

圖2-1 CAT流程圖

以下僅針對本研究使用的電腦化認知診斷適性測驗選題法進行介紹。

壹、基於 Kullback-Leibler 訊息的 KL 法

KL訊息主要是測量兩個機率分布之間的距離(Cover & Thomas, 1991),公 式定義如下 的值愈大,則在統計上表示愈容易區別這兩個機率分布(Henson & Douglas,

測驗理論

2005)。目前KL訊息已在使用在試題反應理論的選題上,用以解決測驗初始階段 試題參數估計誤差大的問題(Chang & Ying, 1996)。

在認知診斷適性測驗中,假設目前已做n1個試題,以Sn1表示,W為整個 Tatsouka和Ferguson (2003)。

貳、基於 Shannon Entropy 的 SHE 法

Shannon entropy是一種結合機率分布與不確定性的測量,Shannon entropy的 離散機率分布 P 定義如下

數。當H(P)0時,P 是最集中的,也就是其中一個 pi 1,其餘的pj 0,j  ;i

 的Shannon entropy表示如下 n

))

計算Shannon entropy的期望值,公式如下

底b,實際上並不影響試題選擇,它只改變測量Shannon entropy的單位(Cover &

Thomas, 1991),在本研究中,b使用的是自然對數。更多有關Shannon entropy的 細節可以參閱DeGroot (1962)與Tatsouka (2002)。

參、基於 Kullback-Leibler 訊息的後驗加權 KL 法

前述KL 法中有一個隱含的假設,就是對每一位受試者在每一題的選題上,

所有的潛在認知狀態cc1,2,...,2K)同樣都可能是真實的潛在認知狀態,也就 是每個潛在認知狀態發生的機率是相等的。然而,這樣的假設是不必要的且是無 效率的。因此,Cheng (2009)提出基於 Kullback-Leibler 訊息的後驗加權 KL 法

(posterior-weighted KL, PWKL),是在 KL 法中,將每個潛在認知狀態加入有用 的先驗訊息並獲得其後驗分布作為權重,以區別每個潛在認知狀態,PWKL 公式

肆、合併 Kullback-Leibler 訊息與潛在狀態間的距離法

Henson與Douglas (2005)指出如果一個試題可以「將相似的潛在認知狀態區 別好的話,同樣地,它也可以將不相似的潛在認知狀態區別好」。因此,Cheng (2009) 提出合併Kullback-Leibler訊息與潛在狀態間的距離法(Hybrid KL, HKL),可以 提供潛在認知狀態更多的權重使其能更接近目前的估計值。

Airasian 與 Bart (1973)提出的順序理論(ordering theory, OT)常被用來建立 知識結構,其定義試題間的順序的方法,主要是探討困難的上位試題答對,而簡 單的下位試題答錯這種不合理狀況發生情形,來判斷試題的順序性。

在順序理論中,兩試題 j 和 k 的聯合邊際機率如表 2-5,試題 j 和試題 k 之間

相關文件