廣義隱藏式馬可夫模型應用於時間序列題組型之二元計分測驗程式設計與應用
79
0
0
全文
(2) 綜合以上所述，本研究欲藉由學者劉湘川（2005a）所提出之「廣義隱藏式 馬可夫模型 和無參數 IRT 之結合模式」 ，應用於測驗的領域上，尤其是新近的全 民英檢之時間序列試題，經由測驗結果之分析，瞭解試題之良窳，提供教師適當 的回饋，從而在教學評量中，能夠作為修正與挑選最佳試題之參考，從而使測驗 發揮最大功效，最後，將此模式應用於班級診斷測驗中，對試題之關聯性作分析， 以瞭解學生學習過程中概念之架構，以瞭解學生學習困難之所在，以作為日後補 救教學之參考。. 第二節. 研究目的. 本研究欲以劉湘川（2005a）之「GHMM與KN-IRT結合模式」及「試題選 項關聯結構分析法」為基礎，進行軟體程式之設計與實務上之應用。故整體而 言，本研究欲達成的具體目標有以下幾點： 一、發展軟體程式：以「GHMM與KN-IRT結合模式」及「試題選項關聯結 構分析法」為基礎，撰寫出一個適合時間序列題組型之選擇題試卷的軟 體應用程式，達成下列之目的： （一）以「GHMM與KN-IRT結合模式」為基礎，並撰寫軟體程式，以供時 間序列測驗對各項參數之估計，提供一項方便之工具。 （二）能有效估計該新模式之受試答對之認知能力、答對之猜測度及未答 參數。 （三）能依受試者對不同試題選項之選答機率與答題指示值，分析出試題 間之關聯性，繪製出試題關聯結構圖，以瞭解受試者在學習過程中的 概念結構。 二、實例應用：進行數學科診斷測驗，將施測所得資料應用第一項發展之軟 體進行分析。. 2.
(3) （一）依據所得資料，估得學生能力值、猜測值及未答參數。 （二）將所得資料依能力值區分為低、中、高三組，然後依據分組後之關 聯結構圖加以比較，分析探討學生概念架構之差異。. 第三節. 名詞釋義. 隱藏式馬可夫模型（hidden Markov model；簡稱 HMM）已受到廣泛的應用， 可依應用狀況需要將模型改變，不過 HMM 的基本精神並沒變，亦即模型皆具 有觀測序列與隱藏狀態序列。本研究中使用的 GHMM 是為應用於一般選擇題型 之測驗分析所延伸出來的，將 HMM 擴張，考慮隨時間點變動之符號機率矩陣， 即全部 T 個時間點之符號機率矩陣可不盡相同。所以，本研究用的模型可稱為 廣義隱藏式馬可夫模型（generalized hidden-Markov model；簡稱 GHMM）。至 於其詳細內容，將於文獻探討中介紹。. 第四節. 研究大綱. 本研究共分為五章。第一章為緒論，說明研究背景與動機以及研究目標；第 二章為文獻探討，探討基本概念與相關模式及理論；第三章主要介紹本文的研究 方法，分析程式的相關設定與說明操作步驟；第四章為研究結果，針對此種模式 做實證研究與分析；第五章為結論與建議。. 3.
(4) 第二章 文獻探討 第一節. 廣義隱藏式馬可夫模型之探討. 隱藏式馬可夫模型（Hidden Markov Model；簡稱 HMM）源自馬可夫鍊 （Markov Chains；Markov, 1907）；最早是由 Baum 和 Petrie 在西元 1966 年 所發展出來的，其植基於統計的機率模型，並於近十幾年來逐漸被廣泛應用，因 其擁有豐富的數學架構及基礎，能夠成功地解決所欲處理的問題；而 HMM 這 個名稱最早是由 Poritz 命名（1988）而來，由於 HMM 為雙重隨機程序之混合 機率模式，包含一組隱藏狀態序列及一組可觀測之符號序列，故而有此命名。 HMM 目前除了被廣泛應用在語音辨識、自然語言處理，甚至應用於影像處理之 分析與網路通訊及基因辨別上等等， 並與資訊結合之研究與應用正在諸多不同 領域內持續發展中。 今欲將 HMM 應用於測驗的領域，而 HMM 僅能適用於同質試題之測驗分 析中，劉湘川（2004）因而擴張 HMM ，考慮隨時間點變動之符號機率矩陣序 列，其全部 T 個時間點之符號機率矩陣可不盡相同，因而提出廣義隱藏式馬可 夫模型（Generalized Hidden-Markov Model；簡稱 GHMM），並仿波氏法（Baum, 1967），提出 GHMM 專有之參數最佳化解演算法，方能有效地應用於一般之測 驗分析中，不僅適用於如全民英檢具狀態轉移機率時間序列之線上測驗分析，同 時亦可適用於一般任意選題作答非時間序列之紙筆測驗分析。 GHMM 模型可依功能概分為兩類：在任意時間點 t 作答之前，若各狀態之 轉移機率不盡相同時，即表作答第 t 題之前之轉移機率會受作答第（t-1）題的 結果影響時，稱為「時間序列 GHMM 模型」 ，如線上測驗之全民英檢；在任意 時間點 t 作答之前，若各狀態均有相同的轉移機率時，即表示作答第 t 題之前 之轉移機率不受作答第（t-1）題的結果影響時，稱為「非時間序列 GHMM 模型」 ， 如一般可任意選題作答之紙筆測驗。以下列出 GHMM 應用在測驗上的兩種類型. 4.
(5) 實例（其中每一試題各有三種作答策略狀態；1：遺漏作答、2：猜測作答、3： 認知作答） ： 型一：選擇題型測驗分析時間序列 GHMM 應用實例 未 答. A~D −. 0.05. 0 1. 0.1. A~D −. 0.85 0.05. 0 .1 S. 猜 測 作 答. 0.25. A B. 0.1. A~D −. 0 1. 0.85 A. 0.1. 0.25. 0.05. 0 1. B. 0.25 0.25. C. 0.25. D −. 0.25 0. 1. 0 .1. A. 0.25. B. 0.25. C D. 0.25 0.25. −. 0. C D −. 0.25. A. 0.4. A. 0 .3. B C D −. 0 .3. B. 0.2. 0.05. C. 0.4. 0.05. C. 0 .3. 0.85. D −. 0 .1 0. 0.85. D −. 0 .1 0. 0 .1. 0.25 0. 0 .8. 0.1 0 .8. 1. T. 0.85. 認 知 作 答. 0 .1. 0.2 0 .1 0. S. A. 0 .1. 0.2 0.4. 1. B. .... − s2 = 1. s1 = 2. A B. T. s 25 = 3. 25 題 4 選 1 三狀態變動機率序列相關之例圖. 圖2-1-1. 型二：選擇題型測驗分析非時間序列 GHMM 應用實例 未 答. A~ D −. 0.05. 0 1. 0 .1. A~ D −. 0 .85 0.05. 0 .1. 猜 測 作 答. S. 0.05. 0 1. 0 .1. A~ D −. 0 1. 0.85. A. 0.25. B. 0.25. C. 0.25. D −. 0.25 0. 0 .85. A. 0.4. 0.05. B C D −. 0 .3. 0.05 0 .1. 1. A. 0.25. B C. 0.25. D −. 0.25 0. 0.85. 0.05. 0.05. 0.25 0 .1. A. 0 .25. B C. 0 .25. D. 0 .25 0 .25. −. 0. 1. T. 0.85. 認 知 作 答. S. 0.2 0 .1 0 A. s1 = 2. 圖2-1-2. 0 .1 0.85. A. 0 .3. B. 0.2. C. 0.4. D −. 0 .1. 0 .1 0.85. 0. − s2 = 1. .... A. 0.2. B. 0.4. C. 0 .3. D −. 0 .1 0. B s 25 = 3. 25 題 4 選 1 三狀態固定機率序列獨立之例圖. 5. 1. T.
(6) 第二節. 基於廣義隱藏式馬可夫模型與KN-IRT結合 模式及其參數估計法. 壹 基本符號的定義 設有 W 個受試者依序作答 T 個試題，每一試題各有三種作答策略狀態（1： 認知作答、2：猜測作答、3：遺漏作答），每一試題每一作答狀態各有三種選答 符號（1：答對、0：答錯、-：未答），基本符號定義如下： 一、Ow = ( o1w , o2w , o3w ,K , oTw ) 表受試者 w 可被觀測到之作答選答符號序列，其中 otw 表受試者 w 在作答第 t 題時的選答符號。 二、 S w = ( s1w , s2w , s3w ,K , sTw ) 表受試者 w 不可被觀測之作答策略狀態序列，其中 stw 表受試者 w 在作答第 t 題時的策略狀態。 三、 π = [π i ]1×3 表初始狀態機率向量，其中 π i 表在一開始時產生狀態 i 的機率， %. 且 ∑ π i = 1。 3. i =1. 四、 Π t = π ijt 3×3 表在第 t 題時之狀態轉移機率矩陣，其中 π ijt 表在第 t 題時狀 態 i 之下，轉移到狀態 j 的機率，且 ∑ π ijt = 1，i = 1, 2,3 ; t = 1, 2,3,K , (T − 1) 。 3. j =1. 五、 Dt = d tjk 3×3 表在第 t 題時之選答符號機率矩陣，其中 d tjk 表在第 t 題時狀 j 之下，產生觀測符號 k ∈ {1, 0, −} 的機率，且 ∑ d tjk = 1, j = 1, 2,3 ; t = 1, 2,3,K , T 。 3. k =1. d11t d12t d13t Pt (1 − Pt ) 0 且 Dt = d 21t d 22t d 23t = ct (1 − ct ) 0 ，其中 Pt , ct ∈ [ 0,1] ，其中 Pt 表在第 t 題時 d t d t d t 0 0 1 31 32 33 . 認知作答之答對機率，且令 Pt = Pt (θ ) =. 1. 1+ e. − at (θ − bt ). ，其中 bt 表在第 t 題時的. 試題難度、 at 表在第 t 題時的試題鑑別度、 θ 表受試者的能力值； ct 表. 6.
(7) 在第 t 題時猜測作答之答對機率。. 六、P ( Ow |λ ) 表受試者 w 作答模型 λ = ( [ Π t ]T , [ Dt ]T , π ) 產生觀測序列 Ow 的機率。 %. 七、令 xwt 表受試者 w 作答第 t 題答對與否之可觀察指示變數。令 ywtj 表受 試者 w 作答第 t 題實際採取作答策略 j 之指示變數，則有 ∑ ywtj = 1 ，但 3. j =1. ywt1 與. ywt 2 為不可觀察指示變數， ywt 3 為可觀察指示變數。令試題間仍為. 局部獨立，受試者間獨立，且受試者間與試題間亦為獨立。 廣義隱藏式馬可夫模型符合以上的基本符號定義後，並可依狀態轉移機率矩 陣是否隨時間改變概分為兩類：固定狀態機率 GHMM 模式、變動狀態機率 GHMM 模式，以下即加以介紹並做區別：. 一、若為固定狀態機率 GHMM 模式 λ = ([ Π t ]T , [ Dt ]T , π ) = ( Π, [ Dt ]T , π ) 時，其選答 %. % 符號機率矩陣 Dt 與上面的定義相同，但起始轉移機率向量 π 和狀態轉移 % t t 機率矩陣 Π t ，必須令其 Π t = π ij 3×3 = π ij 3×3 = Π、π ij = π ij = π j , i, j = 1, 2, 3 ; t = 1, 2,3,..., ( T − 1) 。表 W 個受試者在作答任一試題，採取作答策略 j 時，. 均有相同之平均機率 π j 。以 25 題 4 選 1 選擇題為例其示意圖如下： π3 π3 1 : 0 1 : 0 1 : 0 未 π2 π 0 : 0 答. S. π1. 0 : 0. − : 1. − : 1. π3. π2. 0 : 0. 猜 測 作 答. 1 :. c1. 0 : 1−c1 − : 0. π3. 1 :. π2. c2. 認 1 : 知. P1 (θ). 0 : 1−P1 (θ). 作 − : 答. S. 0. 1. s1 = 2. 圖 2-2-1. π3. 2. − : 1. π3. 0 : 1−c2 − : 0. π1. π1. π1. 1 :. π2. 1. c25. 0 : 1−c25 − : 0. 1. T. π1. π2 π1. 1 :. P2 (θ). 0 : 1−P2 (θ) − :. π3. π2 π1. 0. .... −. s2 = 3. 1 :. P25 (θ). 0 : 1−P25 (θ) − :. 0. 0. s25 = 1. 基於固定狀態機率 GHMM 模式示意圖. 7. 1. T.
(8) 二、若為變動狀態機率 GHMM 模式 λ = ( [ Π t ]T , [ Dt ]T , π ) 時，其答符號機率矩陣 Dt %. 與固定狀態機率 GHMM 模式之答符號機率矩陣 Dt 的定義相同，但起始轉 π %. 移 機 率 向 量. Πt. 和 狀 態 轉 移 機 率 矩 陣. ， 必 須 令 其. Π t = π ijt π ijt = π tj , i, j = 1, 2,3 ; t = 1, 2,3,..., ( T − 1) 。表 W 個受試者在作答第 t 3×3. 題，採取作答策略 j 時有平均機率 π tj 。且 π tj 與試題（t-1）採取任何作答 策略 j′ 之平均機率 π tj−′1 無關，其餘相關參數與變數同固定狀態機率 GHMM 模式。以 25 題 4 選 1 選擇題為例其示意圖如下：. π 1 3 2. π 324. 1. 未 答. 1 : 0 0 : 0 − : 1. π. π. 1 : 0 0 : 0 − : 1. 1 1. π 124π 2. 24. 1 : 0 0 : 0 − : 1 1. π 30. π. S. 猜 測 0 2 作 答. 1 :. c1. 0 : 1−c1 − : 0. π 31. 1 :. π 12. 0 : 1−c2 − : 0. c2. π 11. π 324. 1 :. c25. 0 : 1−c25 − : 0. π 224. 1. T. π124. π 10 認 1 : 知. P1 (θ). 0 : 1−P1 (θ). 作 − : 答. S. 0. π 31 π 2 1. π 11. 1 :. P2 (θ). 0 : 1−P2 (θ) − :. 1. −. s1 = 2. s2 = 3. 圖 2-2-2. 0. π 324 π 2. 24. π124. .... 1 :. P25 (θ). 0 : 1−P25 (θ) − :. 0. 0. s25 = 1. 基於變動狀態機率 GHMM 模式示意圖. 8. 1. T.
(9) 貳 廣義隱藏式馬可夫模型估計法（可參閱劉湘川，2004） 一、波氏估計法，簡述如下： （一）正算程序 1.定義正算變數： α tw ( i ) ； i = 1, 2,3 ,. , w = 1, 2,3,...,W 。. t = 1, 2,3,K , T. α tw ( i ) ：表示受試者 w 在模型 λ 之下，其時間 t 時停留於狀態 i 之. 觀察點序列為 o1w , o2w , o3w ,K , otw 的機率。即 α tw (i ) = P (o1w , o2w ,K, otw , stw = i | λ ) 。 2.正算程序步驟： （1）初始值： α1w ( i ) = π i ⋅ di ( o1w ) 。 . . （2）遞廻正算變數： α tw+1 ( j ) = ∑ α tw ( i ) ⋅ π ijt ⋅ d j ( otw+1 ) , 3. i =1. . j = 1, 2, 3 、. t = 1, 2,3,K , (T − 1) 。. (2．1). （3）終止： α Tw ( i ) = P ( o1w , o2w ,K , oTw , sTw = i | λ ) 。 因此，由正算程序即可求出 P ( Ow | λ ) 如下：. ((. ) ). P ( Ow | λ ) = P o1w , o2w , o3w ,K , oTw | λ = ∑ α Tw ( i ) N. (2．2). i =1. （二） 、逆算程序 1.定義逆算變數：βtw ( i ) ; i = 1, 2,3 , t = T , ( T − 1) , (T − 2 ) ,K ,1 , w = 1, 2,3,...,W 。 β tw (i ) ：表示受試者 w 在模型 λ、時間 t 時停留於狀態 i 之下，其. 觀. 察. 點. 序. 列. 為. otw+1 , otw+ 2 , otw+ 3 ,K , oTw. (. βtw ( i ) = P otw+1 , otw+ 2 , otw+3 ,K , oTw | stw = i , λ. 9. ). 的. 機. 率. 。. 即.
(10) 2.逆向程序步驟： （1）初始值： βTw ( i ) = P ( oTw+1 | sTw = i, λ ) = 1 。因受試者 w 作答觀測序列 長度為 T ，第（T+1）個觀察點為明確結束點，故令機率其為 1 。 （2）遞廻逆算變數： βtw ( i ) = ∑ π ijt ⋅ d j ( otw+1 ) ⋅ βtw+1 ( j ) ， j = 1, 2, 3 、 N. j =1. t = (T − 1) , (T − 2 ) , (T − 3) ,K ,1 。. (2．3). （3）終止： β1w ( i ) = P ( o2w , o3w , o4w ,K , oTw | s1w = i, λ ) 。 由正算、逆算程序、條件機率性質可得： P ( Ow | λ ) = ∑∑ α tw ( i ) ⋅ π ijt ⋅ d j ( otw+1 ) ⋅ βtw+1 ( j ) N. N. (2．4). i =1 j =1. 二、GHMM 參數重估演算法 λ = ([ Π t ]T , [ Dt ]T , π ) %. t = 1, 2, 3,..., (T − 1 ) ,. ,. w = 1, 2, 3,..., W. 中之參數. 矩陣 [ Π t ]T , [ Dt ]T , π 之元素滿足以下三者： %. (. π =P s t ij. w t +1. ). = j | s = i ,λ =. (. w t. (. P stw = i, stw+1 = j | λ. ). d (k ) = P o = k | s = j ,λ = t j. (. w t. π i = P s1w = i | λ. w t. ). (. P s =i |λ. (. w t. ). ). P otw = k , stw = j | λ. (. P stw = j | λ. ). (2．5). ). （2．6). (2．7). （一）以下先定義二個函數 φtw ( i, j ) 與 ρtw ( i ) ， i, j = 1, 2,3 , w = 1, 2,3,...,W ： 1. φ ( i, j ) = P ( s = i , s w t. w t. w t +1. ). = j | Ow , λ =. 10. ( ). α tw ( i ) ⋅ π ijt ⋅ d j otw+1 ⋅ βtw+1 ( j ) P ( Ow | λ ). ，.
(11) t = 1, 2,3,..., ( T − 1). 2. ρ. w t. (i ) = P ( s. (2．8). ). = i | Ow , λ =. w t. ∑ α (i ) ⋅ π N. w t. j =1. =. t ij. (. P stw = i , Ow | λ P ( Ow | λ ). ( ). ⋅ d j otw+1 ⋅ βtw+1 ( j ). P ( Ow | λ ). ) = α (i ) ⋅ β (i ) w t. w t. P ( Ow | λ ). = ∑ φtw ( i, j ) ， t = 1, 2,3,K , T N. (2．9). j =1. 由以上的函數，可知模型λ、觀測序列 Ow 條件下，在 1, 2, 3,...,T 之 T 個 時間點內，可得： （1）受試者 w 出現狀態 i 之機率（期望次數）為 ∑ P ( stw = i | Ow , λ ) = T. t =1. ∑ ρ (i ) 。 T. (2．10). w t. t =1. （2）受試者 w 出現狀態 i 且觀測符號 k 之機率（期望次數）為. (. ) ∑ ρ (i ) 。. ∑ P otw = k , stw = i | Ow , λ = T. t =1. T. (2．11). w t. t =1 s.t . otw = k. （3）受試者 w 出現狀態 i 轉移到狀態 j 之機率（期望次數）為. ∑ P(s T −1 t =1. w t. ). = i , stw+1 = j | Ow , λ = ∑ φtw ( i, j ) 。 T −1. (2．12). t =1. 三、固定轉移機率模式之參數重估演算法 適用於「轉移機率矩陣固定、符號機率矩陣變動」之情況，即 GHMM 模 型為 λ = ([ Π t ]T , [ Dt ]T , π ) = ( Π , [ Dt ]T , π ) ，即 Π1 = Π 2 = Π3 ... = ΠT = Π 。模型λ中 %. %. 參數矩陣 Π 、 [ Dt ]T 、 π 之元素滿足下三者： （ i, j = 1, 2, 3 , w = 1, 2, 3,K ,W ） %. （一） π ij = P ( s. w t +1. ). = j | s = i ,λ = w t. (. P stw = i, stw+1 = j | λ. (. P stw = i | λ. 11. ). )。. (2．13).
(12) （二） d = P ( o = k | s = j , λ ) = t jk. w t. w t. (. P otw = k , stw = j | λ. (. P s = j|λ w t. ). ) ， t = 1, 2,3,K , T 。(2-14). （三） π i = P ( s1w = i | λ ) ， i = 1, 2,3 。. (2．15). 進行有重複測量之 λ = ( Π , [ Dt ]T , π ) 之參數重估，可估出新的模型參數 %. ˆ , Dˆ , πˆ ) ，其中： λˆ = ( Π （ i, j = 1, 2, 3 , w = 1, 2, 3,K ,W ） t T %. ∑∑ P ( s W T −1. （一） πˆij =. w=1 t =1 W T −1. = i, stw+1 = j | Ow , λ. w t. ∑∑ P ( s. w t. w =1 t =1. (. w=1. ∑ P (s W. w t. = j | Ow , λ. w=1. (. ∑ P s1w = i | Ow , λ W. （三） πˆi =. ). ∑ P otw = k , stw = j | Ow , λ W. （二） dˆ tjk =. = i | Ow , λ. w=1 W N. ∑∑ P ( s. w 1. ). = i | Ow , λ. w=1 i =1. ). ) ∑∑ φ ( i, j ) W T −1. =. w =1 t =1 W T −1. w t. ∑∑ ρ ( i ) w=1 t =1. ) ∑ ρ ( j). 。. (2．16). w t. W. =. w t w =1 s.t . ot = k W w t w =1. ∑ ρ ( j). ∑ ρ (i ). ， t = 1, 2,3,K , T 。. (2．17). W. w 1. ). =. w=1. W. ， i = 1, 2,3 。. (. (2．18). ). 由 πˆij , dˆ tjk , πˆi 可算得新的機率值 ∏ P Ow | λˆ 。如此反覆遞迴，直到 W. w =1. log ∑ P ( Ow | λnew ) − log ∑ P ( Ow | λold ) 小於某一門檻值為止。 W. W. w=1. w=1. 四、變動轉移機率模式之參數重估演算法 適用於「轉移機率矩陣與符號機率矩陣均變動」之情況，即 GHMM 模 型為 λ = ([ Π t ]T , [ Dt ]T , π )，模型λ中參數矩陣 [ Dt ]T、π（ i, j = 1, 2, 3; t = 1, 2, 3,K , T %. %. ; w = 1, 2,3,K ,W ）之元素滿足條件如前，而參數矩陣 [ Π t ]T 之元素滿足條件為. 12.
(13) (. π =P s t ij. ). = j | s = i ,λ =. w t +1. w t. (. P stw = i, stw+1 = j | λ. (. ). P s =i|λ w t. ) ，t = 1, 2,3,K , T − 1 (. ) (2．19). 進行有重複測量之 λ = ([ Π t ]T , [ Dt ]T , π ) 之參數重估，可估出新的模型參 %. 數 λˆ = ( Πˆ t , Dˆ t , πˆ )，其中 dˆ tjk 、πˆi（ i, j = 1, 2,3; t = 1, 2,3,K , T ; w = 1, 2,3,K ,W ） T T % 的估計式如前，而. πˆijt =. (. ∑ P stw = i, stw+1 = j | Ow , λ W. w=1. ∑ P(s. = i | Ow , λ. W. w t. w =1. ). ) ∑∑ φ ( i, j ) 3. =. W. i =1 w=1 3 W. w t. ∑∑ ρ ( i ) i = 3 w=1. w t. (. ， t = 1, 2,3,K , (T − 1) (2．20). ). 由 πˆijt , dˆ tjk , πˆi 可 算 得 新 的 機 率 值 ∏ P Ow | λˆ 。 如 此 反 覆 遞 迴 ， 直 到 w. w =1. log ∑ P(Ow | λnew ) − log ∑ P(Ow | λold ) 小於某一門檻值為止。 W. W. w=1. w=1. 參 核平滑化無參數試題反應理論模式（KN-IRT） 參考劉湘川（2001，2002，2003）之系列 KN-IRT 估計法，今僅舉其較簡明 之簡介如下： 已知 xwt 表受試 w 作答試題 t 答對與否之指示變數，在此，未答包含在未答對 之列， X w − ∑ t =1 xwt 表受試者 w 之測驗總分， T. xt = X=. 1 W. ∑x. 1 W. ∑X. W. wt. ， S xt2 =. w=1 W. 2 w ， SX =. w =1. 1 W ( xwt − xt )2 ∑ W − 1 w =1. 1 W ( xw − X ) 2 ∑ W − 1 w=1. (2．21). 試題 t 之「相關鑑別指數； rt 」之定義如下：. ∑ xr = t t. W w=1. ( X w − X )( xwt − xt ) WS X S xt. 13. (2．22).
(14) 1 + rt ' W 1 W x wt 表相關加權測驗總分， U = ∑ w =1U w ， SU2 = (U w − U )2 。 ∑ 2 W − 1 w=1 U −U 則可得受試 w 之能力參數估計直 θˆw = w ， w = 1, 2,L ,W ，進而可得受試能力為 SU U w = ∑ t =1 T. θ 者之試題 t 之「核平滑化無參數試題特徵曲線」如下. (. ). W 0.4 θˆ − θ 2 w x ∑ w=1 exp − wt 2a ，t = 1, 2,L , T ， w = 1, 2,L ,W Pt (θ ) = W 0.4 θˆ − θ 2 w W ∑ w=1 exp − 2a W. (. ). (2．23). 肆 廣義隱藏式馬可夫模式（GHMM）與核平滑化無參數試題反應 理論模式（KN-IRT）之結合估計 綜合 GHMM 估計法及 KN-IRT 模式之兩階段估計方法簡述如下： 一、第一階段：GHMM 估計 （一）初始估計值的設定 d11t d12t d13t Pt (1 − Pt ) 0 因 Dt = d 21t d 22t d 23t = ct (1 − ct ) 0 ， t = 1, 2,3,..., T ，其中 d t d t d t 0 0 1 31 32 33 t d13t = d 23 = d 31t = d32t = 0 , d33t = 1 恒為常數，不需估計，只要考慮 Pt 、 ct 之. 估計初始值，通常選擇型測驗為四或五選一，可令猜測機率估計初始值 為 ct = 0.25 ，平均答對機率估計初始值為 Pt = 0.5 。 因 ywt 3 為受試者 w 作答第 t 題時，是否採取未答策略 3 之可觀 察指示變數，. π 3t = π 3 =. 1 W. ∑y W. wt 3. w=1. ， 並 令 π 1t = π 1 = 0.9 ⋅ (1 − π 3 ) 、. π 2t = π 2 = 0.1 ⋅ (1 − π 3 ) 為對應參數估計之起始值。. （二）進行 GHMM 估計法（劉湘川，2004）. 14.
(15) 利 用 上 述 設 定 之 初 始 估 計 值 可 有 效 地 估 得. (π. t 1. , π 2t , π 3t ) = (π 1 , π 2 , π 3 ) 、 ct 、 Pt = Pt (θ ) ， t = 1, 2,3,..., T 。. 二、第二階段：GHMM 與 KN-IRT 結合模式估計 先以 GHMM 估得 π 1t −1 ， π 2t −1 ， π 3t −1 ， ct ， Pt (θ ) = Pt (θ ) ， t = 1, 2,L , T 可得古 典樣本答對率 Pt′ 與上述參數之關係式為： Pt′ = π 1t −1Pt + π 2t −1ci + π 3t −1 = π 1t −1 Pt + π 2t −1cr ⇒ Pt =. 1 ( Pt ′ − π 2t −1ct ) t −1 π1. (2．24). 由(2-24)可得未分離猜測及未答之無參數 IRT 特徵曲線與已分離猜測及 未答之無參數 IRT 特徵曲線之關係式為： Pt (θ )=. π. 1 t −1 1. {P′(θ ) − π t. 由 KN-IRT 可估測. c}. t −1 2 t. (. （2．25). ). W 0.4 θˆ( k ) − θ 2 ( w) x ∑ w=1 exp − wt 2.42 ，t = 1, 2,L , T ，w = 1, 2,L ,W (2．26) Pt′( k ) (θ )= W 0.4 θˆ( k ) − θ 2 ( w) W ∑ w=1 exp − 2.42 W. (. Pt ( k ) (θ )=. π. 1 t −1 1. { P′. ( k). t. (θ ) − π 2t −1ct. X w( k +1) = ∑ π1t −1 Pt ( k ) (θ w ) ， X T. }. ∑. W w=1. (2．27). ( k +1). t=1. ( k +1) X (k +1) − X ⇒ θ$ w = w ( k +1) SX. ). =. 1 W. ∑ X w( k +1) ， S X( k +1) = W. w=1. ( k +1) 2 1 W ( X w( k +1)－X ) ∑ W − 1 w=1. ( k +1). (2．28). (k ) (θ w( k +1) − θ wk ) 2 < 0.0001 得受試者 w 能力估計值 θ$ w = θ$ w 及已分離猜測. 及未答之無參數 IRT 特徵曲線 Pt (θ ) 如下：. 15.
(16) (. ). W 0.4 θˆ − θ 2 w W ∑ w=1 exp − 2.42 xwt π 2t −1ct Pt (θ ) = − π1t −1 W 0.4 θˆ − θ 2 w W ∑ w=1 exp − 2.42 . (. 16. ). (2．29).
(17) 第三節. 試題關聯結構分析法. 壹 Airasian & Bart 的順序性理論（Ordering theory） 依學者 P.W.. Airasian & W.M.. Bart 的理論指出，試題 i 與試題 j 在選答組合. 的機率上，可用下表來表示： 表 2-3-1. 相異試題選答組合機率表 試題 j. 試 題 i. xj = 1. xj = 0. 合計. xi = 1. P ( xi = 1, x j = 1). P ( xi = 1, x j = 0 ). P ( xi = 1). xi = 0. P ( xi = 0, x j = 1). P ( xi = 0, x j = 0 ). P ( xi = 0 ). 合計. P ( x j = 1). P ( x j = 0). 1. 其中 p ( xi = 1) 表試題 i 答對人數之機率， p ( x j = 1) 表試題 j 答對人數之機率 p ( xi = 0 ) 表試題 i 答錯人數之機率， p ( x j = 0 ) 表試題 j 答錯人數之機率. p ( xi = 1, x j = 1) 表試題 i 與試題 j 均答對人數之機率 p ( xi = 0, x j = 0 ) 表試題 i 與試題 j 均答錯人數之機率 p ( xi = 0, x j = 1) 表試題 i 答錯與試題 j 答對人數之機率 p ( xi = 1, x j = 0 ) 表試題答對 i 與試題 j 答錯人數之機率. 當 p ( xi = 0, x j = 1) < ε ，且 ε 為定數 ( 0.02 ≤ ε ≤ 0.04 ) 時，則有試題 i → 試題 j 之順 序性存在，亦即試題 i 為試題 j 之下位概念，試題 j 為試題 i 之上位概念，在試題 難易度上，試題 j 應屬較難，試題 i 則較容易。. 17.
(18) 貳 竹谷 誠之試題關聯結構分析法（Item relational structure） 竹谷 誠於 1980 年改良了 Airasian & Bart 的順序性理論，而完成了試題關聯 結構分析法理論，對於試題間之順序性，其定義如下： rij ∗ = 1 −. p ( xi = 0, x j = 1). p ( xi = 0 ) p ( x j = 1). (2．30). 其中 p ( xi = 0 ) p ( x j = 1) 表試題 i 與試題 j 彼此相互獨立之部分，而 p ( xi = 0, x j = 1) 則表試題 i 與試題 j 彼此相互關聯之部分，依竹谷 誠之試題關聯分. 析法理論指出，當 rij ∗ ≥ 0.5 時，則有試題 i 到試題 j 之順序性關係，也就是說，試 題 i 為試題 j 之下位概念，試題 j 則為試題 i 之上位概念，其中 0.5 稱為臨界值，乃 由電腦模擬所產生，臨界值可酌予調整，藉由觀察試題間之順序性，降低臨界值， 則順序性之指向會增多，調高臨界值，則順序性之指向會減少，一般臨界值乃介 於 0.4 到 0.6 之間。. 參 試題選項順序性理論 劉湘川（2001）針對 Airasian & Bart 的順序性理論及竹谷 誠的試題關聯結構 分析法提出了更進一步的擴充性定義，並且與「相關加權常態轉換估計法」相整 合，此結合模式可更進一步分析測驗中各試題之關聯順序。其定義如下： 一、擴充 Airasian & Bart 的順序性係數定義；定義試題 i 選項 j 到試題 i′ 選項 j′ 之 順序性係數如下式： EOI ( ij , i′j ′ | θ w ) = p ( xij = 0, xi′j ′ = 1| θ w ). (2．31). 二、擴充竹谷 誠（1991）之順序性係數之定義，定義試題 i 選項 j 到試題 i′ 選 項 j′ 之順序性係數如下式： r ( ij , i′j ′) = 1 −. p ( xij = 0, xi′j′ = 1| θ w ). p ( xij = 0 | θ w ) p ( xi′j′ = 1| θ w ). 18. (2．32).
(19) 其中 p ( xij = 0 | θ s ) = 1 − pˆ ij (θ s ) ， p ( xi′j′ = 1| θ s ) = pˆ i′j′ (θ s ) ， pˆ ij (θ s )， pˆ i′j′ (θ s ) 則如下式：. (. ). W 0.4 θˆ − θ 2 w W ∑ w=1 exp − 2.42 xij( w) Pˆij (θ w ) = W 0.4 θˆ − θ 2 w W ∑ w=1 exp − 2.42 . (. 另定義兩試題選項聯合機率如下式：. ). (. (2．33). ). W 0.4 θˆ − θ 2 w ∑ w=1 exp − 2.42 (1 − xij( w) ) xi(′jw′ ) Pˆij ( xij = 0, xi′j′ = 1| θ w ) = W 0.4 θˆ − θ 2 w W ∑ w=1 exp − 2.42 W. (. ). (2．34). 乃是將 xij( w ) 項以 (1 − xij( w ) ) xi(′jw′ ) 取代而得。 若 EOI ( ij , i′j ′ | θ w ) < ε 或 r ( ij , i′j ′) ≥ 0.5 則表示試題 i 選項 j 到試題 i′ 選項 j′ 有試題 選項關聯順序存在，並簡記為 xij → xi′j′ ，若不然，則表示試題 i 選項 j 到試題 i′ 選 項 j′ 沒有試題選項關聯順序存在， ε 為定數 ( 0.02 ≤ ε ≤ 0.04 ) ，0.5 稱為閥值，乃是 由電腦模擬產生。. 肆 「GHMM 與 KN-IRT 結合模式」與「試題關聯結構分析」整合 應用 劉湘川（2005a）採用「核平滑化法無參數試題反應模式」替代「參數型試 題反應模式」 ，有下列兩大優點；除了不受限於受試人數需 200 以上外，且無試 題局部獨立之限制，可進而與「試題順序理論模式（IOT） 」及「試題關聯結構分 析（IRS） 」整合應用；本研究所提之「GHMM 與 KN-IRT 結合模式」不僅同樣可 與「試題順序理論模式」及「試題關聯結構分析」整合應用，且可進而改進原有. 19.
(20) 「核平滑化法無參數試題反應模式」計分技術上之缺失，原有「核平滑化法無參 數試題反應模式」之答對情況中未分離猜對情況，且答錯情況中未分離未答情 況，顯然有失精準，同理可知原有「核平滑化法無參數試題反應模式」與「試題 順序理論模式」及「試題關聯結構分析」整合應用時，同樣會發生「未分離猜對 與未答之缺失問題」 ， 「GHMM 與 KN-IRT 結合模式」與「試題順序理論模式」及 「試題關聯結構分析」整合應用時，則根本改進了「未分離猜對與未答之缺失問 題」 。 在進行 KN-IRT 估計時，以 xwt 表受試 w 作答試題 t 答對與否之指示變數，其 中「答對包含猜對，答錯包含未答」，應予修正，另已知 ywt1 = 1 ， ywt 2 = ywt 3 = 0 表 受試 w 作答試題 t 採取認知作答，其中 ywt 3 為受試 w 未作答試題 t 之可觀察指示變 數，顯知 ′ =1 ywt1 (1 − ywt 3 ) xwt = ywt1 (1 − ywt 3 ) xwt. ，可先估 表受試 w 作答試題 t 為認知答對，由「GHMM 與 KN-IRT 結合模式」 得 θ$ w ， w = 1, 2,L ,W ， Pt (θ ) ， t = 1, 2,L , T ，另可藉 Bayes 定理估得 ywt1 及 ywt 2 之估 計值如下： yˆ wt1 =. yˆ wt 2 =. πˆ1 ⋅ Pˆt (θ w ) . πˆ1 ⋅ Pˆt (θ w ) . xwt. xwt. ⋅ 1 − Pˆt (θ w ) . ⋅ 1 − Pˆt (θ w ) . 1− xwt. 1− xwt. + πˆ2 ⋅ cˆtxwt ⋅ (1 − cˆt ). 1− xwt. πˆ 2 ⋅ cˆtxwt ⋅ (1 − cˆt ). 、. 1− xwt. πˆ1 ⋅ Pˆt (θ w ) . xwt. ⋅ 1 − Pˆt (θ w ) . 1− xwt. + πˆ2 ⋅ cˆtxwt ⋅ (1 − cˆt ). 1− xwt. (2．35). 據此，易得「GHMM 與 KN-IRT 結合模式」與「試題順序理論模式」及「試題關 聯結構分析」整合應用。 首先說明「GHMM 與 KN-IRT 結合模式」與「試題順序理論模式」之整合運 用如下：. 20.
(21) 定義：令 ord (i → j | θ ) 表受試能力為 θ 之試題 i 至試題 j 之試題順序係數，其數式 定義如下： ord (i → j | θ ) = 1 − P ( xi = 0, x j = 1| θ ). (2．36). 其中： W 0.4 (θˆ((wk )) − θ ) 2 ∑ w=1 exp − 2.42 P( xi = 0, x j = 1| θ ) = W. {1 − ywi1 (1 − ywi3 ) xwi }{ ywj1 (1 − ywj 3 ) xwj }. W 0.4 (θˆ((wk )) − θ )2 exp ∑ w=1 − 2.42 W. (2．37) 若 ord (i → j | θ ) > β ， ord ( j → i | θ ) ≤ β ， β ∈ (0.96, 0.98) 時，稱受試能力為 θ 之 試題 i 至試題 j 有順序關係，並簡記為 Iθ (i) → Iθ ( j ) 。若 ord (i → j | θ ) > β ， ord ( j → i | θ ) > β ， β ∈ (0.96, 0.98) 時，稱受試能力為 θ 之試題 i 至試題 j 有雙向順序. 關係，並簡記為 Iθ (i ) ↔ Iθ ( j ) 。 其次說明「GHMM 與 KN-IRT 結合模式」與「試題關聯結構分析」整合應用 如下： 定義：令 rel (i → j | θ ) 表受試能力為 θ 之試題 i 至試題 j 之試題關聯結構係數，其數 式定義如下： rel (i → j | θ ) = 1 −. P ( xi = 0, x j = 1). P ( xi = 0 | θ ) P ( x j = 1| θ ). (2．38). 其中： W 0.4 (θˆ((wk )) − θ )2 ∑ w=1 exp − 2.42 yˆ wi1 (1 − yˆ wi 3 ) xwi P( xi = 0 | θ ) = 1 − Pi (θ ) = 1 − W 0.4 (θˆ((wk )) − θ )2 W exp ∑ w=1 − 2.42 W. 21. (2．39).
(22) W 0.4 (θˆ((wk )) − θ )2 ∑ w=1 exp − 2.42 yˆ wj1 (1 − yˆ wj3 ) xwj P( x j = 1| θ ) = Pj (θ ) = 0.4 ˆ ( k ) W (θ( w ) − θ )2 W ∑ w=1 exp − 2.42 W. (2．40). 若 rel (i → j | θ ) > 0.5 ， rel ( j → i | θ ) ≤ 0.5 時，稱受試能力為 θ 之試題 i 至試題 j 有 順序關係，並簡記為 Iθ (i) → Iθ ( j ) 。若 rel (i → j | θ ) > 0.5 ， rel ( j → i | θ ) > 0.5 時，稱 受試能力為 θ 之試題 i 至試題 j 有雙向順序關係，並簡記為 Iθ (i ) ↔ Iθ ( j ) 。. 22.
(23) 第三章 研究設計與實施 第一節. 研究架構. 本研究架構如下圖所示： 閱讀相關文獻. 擬定研究主題. 結合模式理論研究. 編製診斷測驗 撰寫軟體程式 進行施測. 正式資料輸入. 軟體程式分析. 估計受試者能力值、猜 測值、未答等參數. 繪製 試題關聯結構圖. 綜合比較分析. 撰寫報告. 圖3-1-1. 研究架構流程圖. 23.
(24) 第二節. 研究方法. 壹 研究對象 本實例研究之第一個目的乃運用「GHMM 與 KN-IRT 結合模式」 ，設計一獨 立執行程式進行分離答對猜測度及答錯未答參數估計，期能在無 Matlab 環境的電 腦內亦能針對時間序列題組型試題準確估算各參數。 此外，運用 KN-IRT 的兩大優點：除了不受限於受試人數 200 以上外，且無 試題局部獨立之限制，可進而與「試題順序理論模式」 、 「試題關聯結構分析」整 合應用，所以，另一個目的乃欲針對現今流行如全民英檢之測驗方式－時間序列 測驗之試題概念結構作分析，因此測驗對象以台中縣某國小六年級學生為樣本， 七個班共 225 人，以六年級上下學期各單元為測驗內容，而試題關聯結構之分析 對於小樣本之班級診斷教學較為恰當，是以，本部分研究除採用全體樣本進行結 構分析外，亦採全體樣本之其中一班，進行概念結構之分析，藉由高、中、低三 個組別之試題關聯結構圖，以利日後進行時間序列題組型測驗時之參考。. 貳 研究工具 本研究之研究工具為自編之時間序列診斷測驗與施測後進行時間序列試題參 數與能力值估算及試題關聯結構圖繪圖之 matlab 軟體程式編譯之獨立執行程 式，茲分述如下： 一、Matlab 軟體程式 本研究之實例應用是以 Matlab 程式語言所撰寫之程式，並將之編譯成能在不 具有 Matlab 應用軟體的電腦亦能正確估算之獨立執行程式，進行資料之分析與試 題關聯結構圖之繪圖工作，通常 Matlab 程式碼撰寫的檔案以「m」為副檔名，經 過編譯後，命名為 main.exe 之檔案，只需在執行之前做少許設定，即可精確估算， 並能增加程式執行速度與穩定性。. 24.
(25) （一）程式分析步驟 1.轉換原始資料為答題指示值並建立成資料檔 將受試者在所有題目之作答情形，轉換成以 1、2、3 表示之答題指示 值，選答正確選項以 1 表示之，選答錯誤選項者以 2 表示之，未答任何選 項者以 3 表示之，並以 Excel 軟體建立受試者答題指示值之資料檔，命名 為 data.xls，資料檔為題數*人數之矩陣形式，其中縱行代表受試者人數， 橫列則代表試題數。 2.讀取資料檔 利用 Matlab 軟體之程式指令 xlsread 開啟資料檔，並以指令從檔案中 讀取格式化資料。 3.進行 GHMM 模型估計 （1）設定及估算初始狀態機率向量 π ：. % π 3 可 從 原 始 資 料 中 之 未 答 數 量 估 算 得 知 ， π 1 = (1 − π 3 ) * 0.9 ，. π 2 = (1 − π 3 ) *0.1 ，以 [π 1 , π 2 , π 3 ] 建立初始狀態機率向量 π 。 % π 11 π 12 π 13 （2）狀態轉移機率矩陣 Π t = π 21 π 22 π 23 π 31 π 32 π 33 . d11t d12t d13t Pt (1 − Pt ) 0 0.5 0.5 0 t t t （3）選答符號機率矩陣 Dt = d 21 d 22 d 23 = ct (1 − ct ) 0 = 0.25 0.75 0 ，其中 t t t 0 1 0 1 0 d 31 d 32 d 33 0 Pt , ct ∈ [ 0,1] ，其中 Pt 表在第 t 題時認知作答之答對機率， θ 表受試者的. 能力值； ct 表在第 t 題時猜測作答之答對機率。 4.進行 GHMM 與 KN-IRT 結合模式估計 （1）進行 GHMM 估計，可得未分離猜測及未答之無參數 IRT 特徵曲線與. 25.
(26) 已 分 離 猜 測 及 未 答 之 無 參 數 IRT 特 徵 曲 線 ， 其 關 係 式 ： pt( k ) (θ ) =. π. 1 t −1 1. { p′. (k ). t. (θ ) − π 2t −1ci } 。. （2）進行 KN-IRT 估計，估得未分離猜測及未答之無參數 IRT 特徵曲線 P(θ ) 、受試者 w 之能力參數估計值 θˆw(1) 。. （3）代入第（1）項之關係式，迭代計算直到 ∑ w=1 (θ w( k +1) − θ wk ) < 0.0001 的受 2. W. 試者 w 能力估計值 θˆw 及已分離猜測及未答之無參數 IRT 特徵曲線 Pt (θ ) 。. 5.進行試題順序理論模式與試題關聯結構分析，繪製試題之關聯結構圖。. ( ). （ 1 ） 將 選 答 機 率 函 數 Pˆt θˆw. (. ). W 0.4 θˆ( k ) − θ 2 ( w) W x ∑ w=1 exp − wt 2.42 = 式 中 xwt 以 W 0.4 θˆ( k ) − θ 2 ( w) W ∑ w=1 exp − 2.42 . (. ). (1 − xwj ) xwi 取代，算得 p( xi = 0, x j = 1| θ ) ，此函數即為二試題的 EOI 值。. （2）藉由巢狀的迴圈指令 for end，以試題 xi 答錯機率 p( xi = 0 | θ ) 、 x j 答對 機率 p( x j = 1| θ ) 、 xi 答錯且 x j 答對之聯合機率 p( xi = 0, x j = 1| θ ) 計算出 試題間之試題關聯結構係數 γ = 1 −. P ( xi = 0, x j = 1| θ ). P ( xi = 0 | θ ) P ( x j = 1| θ ). 。. （3） 以 if end 指令依據試題順序係數 EOI ≤ 0.02 或試題關聯結構係數 γ ≥ 0.5 作判斷，再以指令 plot、hold on 和 annotation 來繪製各試題間之關聯 結構圖。. 26.
(27) （二）程式操作說明 1.將壓縮檔解壓縮至相關磁碟中 2.執行 MCRInstaller.exe，安裝動態連接檔。 3. 在 無 Matlab 環 境 之 電 腦 中 ， 將 MCRInstaller.exe 指 定 的 安 裝 目 錄 \runtime\win32，如：MCRInstaller.exe 指定的安裝目錄\runtime\win32，加 入環境變數 Path 中，做法分述如下： （1）首先於”我的電腦”上單擊滑鼠右鍵點選”內容”。 （2）於”進階”控制面板下點選【環境變數】按鈕。 （3）在”系統變數”中點選”新增”。 （ 4 ） 在 ” 變 數 名 稱 ” 欄 位 內 容 中 鍵 入 path 的 變 數 ， 將 C:\Program Files\MathWorks\MATLAB Component Runtime\v70\runtime\win32 路徑加 於”變數值”欄位內容的後方即可。 （5）再重新啟動電腦後，電腦在執行運算前，就先搜尋這個目錄下相關的 動態連接檔，就可以於沒有 Matlab 的系統上執行獨立執行程式了；若仍執 行錯誤，再安裝一次 MCRInstaller.exe 即可執行。 4.建立受試者答題指示值資料檔 利用 Excel 軟體建立受試者之答題指示值資料，第一列輸入第一位受 試者之答題資料，第二列輸入第二位受試者之資料，以此類推逐列輸入各 受試者答題資料。 5.儲存答題指示值資料檔 指示值資料建檔後須存成 xls 檔(.xls)，並儲存成檔名為 DATA.xls 之檔 案，並儲存於執行檔程式相同之資料夾中。 6.執行程式 可在執行程式資料夾中，在檔案圖示上連按滑鼠左鍵兩次，即可執行。 （1）程式執行後，於執行程式中之資料夾內，會新增一 outcome.xls 檔案，. 27.
(28) 存放估算的 θ w 、 Pt (θ ) 、試題關聯結構係數 γ 值。 （2）程式執行後，視窗自動顯現全部試題之關聯結構圖，並出現圖 3-2-1 視窗：. 圖3-2-1. 輸入題號空白視窗. 在空白處打入所要顯示的題號，以空白隔開，如 1 2 3…，便可出現試 題之關聯結構圖， → 所指處表上位概念， − 處表下位概念，若為 ↔ ， 則表雙向順序關係；若要停止程式，只需保持空白直接點選 OK 即可。 二、時間序列診斷測驗 （一）試題來源：國小康軒版之數學教科書、教學指引 （二）試題範圍：六年級上下學期共 11 個單元 表3-2-1. 題組型試題編製單元表. 六年級上學期. 單 元 名 稱. 六年級下學期. 因數、倍數. 百分率. 速率. 表面積. 數的四則. 分數四則. 面積. 柱體的體積. 分數的加減. 容量 大單位的換算 時間的計算. （三）試題數量：十個題組，每組兩題，共 20 題 （四）試題編製原則： 1.依雙向細目表命題：. 28.
(29) 根據雙向細目表及參考試題編製應有的命題原則與技巧，由各單元中 挑選一題基本概念題及一題應用或理解之較難問題，逐一設計、撰寫。 2.編製時間序列題組型測驗 為達成研究目的，將試題編成簡報格式，同一單元的兩題呈現在一頁 中，並限定呈現時間及設定題組轉換時的提醒聲音，編製成兩題為一題組 的時間序列測驗（附錄一） 。 3.預試： 本測驗採用受試者於六年級第一學期數學科學期成績為效標，預試之 測驗內容部分與之相同，但更著重在理解與應用上，所以應與本測驗具有 相當之關聯性，表 3-2-2 為經過 SPSS 軟體分析所得結果： 表 3-2-2 六年級時間序列題組型測驗與外在效標之關聯效度 Pearson 相關係數 時間序列題組型測驗成績 數學科學期成績. 時間序列題組型測驗成績. 六上數學科學期成績. 1. 0.812 **. 0.812 **. 1. ** p < .001. 由表 3-2-2 可觀察出數學科學期成績與時間序列題組型測驗成績相關 係數達 0.812，p 值小於.001，達到顯著水準，有相當之效標關聯效度。 4.正式施測 正式施測前，由研究者先向受測學生說明研究的目的、方式，使受測 學生能瞭解測驗之用途而盡力作答，增加測驗的效度與信度。. 29.
(30) 第四章 研究結果 第一節 壹. 題組型試題參數估計值分析. GHMM 應用於時間序列題組型試題分析 本研究的目的之一，即利用「GHMM 與 KN-IRT 結合模式」針對學生在題. 組型試題的反應參數做精確的估算，確認此一模式在時間序列題組型試題的利 用價值。 原有「核平滑化法無參數試題反應模式」與「試題順序理論模式」及「試 題關聯結構分析」整合應用時，同樣會發生「未分離猜對與未答之缺失問題」， 「GHMM 與 KN-IRT 結合模式」與「試題順序理論模式」及「試題關聯結構分 析」整合應用時，則根本改進了「未分離猜對與未答之缺失問題」 。 因此，本實例研究根據歐順德（2005）之蒙地卡羅模擬研究程式為基礎架 構，依照研究模式所編寫之程式（附錄三、四） ，並以 GHMM 模型 λ = ( [ Π t ]T , [ Dt ]T , π ) ，計算出受試者之原始總分與答題指示值（1.認知作答 2.猜 %. 測作答 3.遺漏作答） ，並從錯誤答題中分離出遺漏作答，再以 GHMM 與 KN-IRT 結合模式估得狀態轉移機率矩陣 Π t 、符號機率矩陣 Dt 、起始轉移機率向量 π 。 %. GHMM 模型可依功能概分為兩類：在任意時間點 t 作答之前，若各狀態 之轉移機率不盡相同時，即表作答第 t 題之前之轉移機率會受作答第（t-1）題 的結果影響時，稱為「時間序列 GHMM 模型」 ；在任意時間點 t 作答之前， 若各狀態均有相同的轉移機率時，即表示作答第 t 題之前之轉移機率不受作答 第（t-1）題的結果影響時，稱為「非時間序列 GHMM 模型」 。而本文所探討 之時間序列題組型試題，包含有「時間序列 GHMM 模型」以及「非時間序列 GHMM 模型」兩種情形， 「GHMM 與 KN-IRT 結合模式」應用於題組型試題 的分析，正可以用來解決此種問題，茲分述如下：. 30.
(31) 一、題組內試題分析： 依據試題，受試者共分三種作答策略：認知作答、猜測作答和未答，各 自符號機率總和均為 1，符號機率之未答作答機率矩陣 ( 0, 0,1) ，依 GHMM 估 算時從答錯機率抽離未答機率，所以樣本作答時若是出現未答狀況，即機率 值為 1；轉移機率因題組內試題具有一定相關，答題時會從同一題組試題得 到相關的線索，為「時間序列 GHMM 模型」 ，因此同一題組之試題狀態轉 移機率均不同於其他題目，本研究所得結果符合所運用之模式。 試題分析方面，試題 1 為公因數的計算測驗，試題 2 為公倍數的計算測 驗，兩者皆為同一概念之運用，但計算上，受試者必須了解公倍數是所有因 數的乘積，因此難度上，試題 2 較試題 1 為高，是故在認知作答部分，試題 1 答對的機率高於試題 2，此情形符合試題編製的設計。 未答. 對：0 錯：0 －：1. 0.001 0.0687. 對：0.2299 錯：0.7701 －：0. 0.001 0.0687 0.9303. 0.001. S. 猜測作答. 0.0281. 0.9303. 對：0 錯：0 －：1. 對：0.2447 錯：0.7553 －：0. 0.9709. 1. 1. T. 1 認知作答. S. 對：0.9891 錯：0.0109 －：0. 0.001 0.0687 0.9303. s1 圖 4-1-1. 對：0.8132 錯：0.1868 －：0. s2. 題組內試題 1 和試題 2 之 GHMM 示意圖. 31. T.
(32) 二、題組間試題分析： 不同題組的試題，其與一般非時間序列試題相同的部分，因試題間局部 獨立，所以題組間試題彼此間之轉移機率均是相同，為「非時間序列 GHMM 模型」 ，在本研究中，如試題 2 與試題 3、試題 4 與試題 5 等不同題組之試題 0.9029 0.0835 0.0136 間的轉移機率，是 Π = 0.9029 0.0835 0.0136 ，亦符合本研究運用之模式。 0.9029 0.0835 0.0136 . 錯：0. 未答. 對：0. －：1. 對：0 錯：0 －：1. 0.0136. 對：0.2447 錯：0.7553 －：0. 0.0136. 0.0835 0.9029. 對：0 錯：0 －：1. 1. 0.001. 猜測作答. S. 0.0281. 對： 0.2299 錯： 0.7701 －：0. 0.0835 0.9029. 對：0.2360 錯：0.7640 －：0. 1. T. 0.9709. 1. S. s1 圖 4-1-2. 認知作答. 對： 0.9891 錯： 0.0109 －：0. 對：0.8132 錯：0.1868 －：0. 0.0136 0.0835 0.9029. s2. 對：0.7181 錯：0.2819 －：0. s3. T. 題組間試題 2 和試題 3 之 GHMM 示意圖. 三、綜合分析 由圖 4-1-1 與圖 4-1-2，可以清楚發現在同一題組內之試題狀態轉移機率 不同於其它試題間之狀態轉移機率；而不同題組試題間之狀態轉機率均是相 同，與本研究所設計之試題以每兩題為一題組之情形相符。因此，依據本研 究所設計之程式，確可解決時間序列題組型測驗之題組內採變動轉移機率及 題組間採固定轉移機率之情形。. 32.
(33) 第二節. 時間序列測驗之試題關聯結構分析. 研究的第二個目的即能依受試者對不同試題選項之選答機率與答題指示 值，分析出試題間之關聯性，繪製出試題關聯結構圖，以瞭解受試者在學習過程 中的概念結構。 此部分之研究抽取受測之其中一個班級作分析，透過程式繪製出班級中不同 能力組別學生答題反應所顯示之試題關聯結構圖，由結構圖來分析了解班級中能 力不同者其概念架構之差異，提供教師在班級教學中之診斷與回饋。 本研究所抽取的樣本班級，學生數共31人，依能力值分成低、中、高三組， 能力值前25%者屬高分組，能力值後25%者屬低分組，能力組屬中間之50%者為 中分組，此外，在順序性係數上，γ 值設定為 ≥ 0.5，EOI 值設定為 ≤ ε ( 0.02 ≤ ε ≤ 0.04 ) ，符合條件設定則表示二試題間具關聯順序存在，以此進行不同組別學生概念架 構之比較分析。 本研究以六年級不同單元所組成之10組題組型試題共20題，與一般紙筆測驗 方式並不相同，每兩題呈現1分30秒，並且無法再閱覽到前一組試題，以此種類 似全民英檢的測驗方式，因各單元概念彼此關聯，下圖4-2-1為依照教材分析所架 構之全部試題關聯架構圖，因為相當繁雜，便以國小第三階段能力指標及題組設 計作為分析比較時間序列題組型試題關聯結構之依據，避免全部試題之關聯結構 在試題結構圖上呈現過於繁雜，分析說明時不易釐清，另一方面，將具有同一能 力指標的試題放在一起分析，其試題或內含有多重之概念，因而在試題間仍具有 其順序性或等價之關係。. 33.
(34) 8. 20. 4 7. 18 10. 16. 3. 14 2 12 5. 13. 9. 17. 6 11. 1. 圖4-2-1. 全部試題關聯結構圖. 34. 15. 19.
(35) 壹 依題組設計之題組內試題關聯結構圖分析 一、測驗前預估之概念架構圖. 2. 4. 5. 8. 10. 12. 12. 12. 12. 12. 1. 3. 6. 7. 9. 11. 13. 15. 17. 19. 圖4-2-2. 題組內預估之概念架構圖. 二、測驗後實際之試題關聯結構圖. 圖4-2-3. 全部試題之各組試題關聯結構圖. 三、各組試題關聯結構圖之分析比較 （一）各題組均以相同單元設計出具順序關聯概念的試題，題組內由一基本 概念題和觀念應用題，設計上，前一題多為較簡單的基本概念題，後一. 35.
(36) 題為難度較高之應用題，除試題5、6外，在題組內試題關聯結構上，後 一題應為前一題的上位概念。題組間並沒有一定關聯，但因本研究專注 在各題組內之結構關聯，因教材各單元彼此均有概念上的聯繫，題組間 之試題亦有相當程度的關聯，茲於後面探討。 （二）試題6為四則運算的基本題，試題五為包含括弧的混合計算，因此在計 算觀念上，試題6只需遵守先乘除後加減的規律，試題5則必須注意括弧 內和先乘除後加減的兩項規律，對受試者，試題5實為試題6的上位概念。 （三）題組內之基本概念題皆比觀念應用題答對率高，高分組之試題關聯結 構圖與測試前之結構圖相符，而試題7、8除須依題意計算面積，還需進 行單位化聚，難度較高，因此猜測機率較其他題目為大，低分組反而出 現試題8答對率比中、高分組高的情況，所以中、低分組在此一題組中未 出現順序關聯之情形；低分組在同一題組內的兩題答對率和試題關聯差 距相當大，甚至出現解構或不正常的結構關聯，如試題15、16出現雙向 順序關係，其情況依學生訪談結果為學生對觀念應用均不足，大多停留 於數字的直接運算，未能學習到將數量關係與生活情境有所連結所致。. 貳 題組間因數、倍數概念之試題關聯結構圖分析 一、測驗前預估之概念架構圖. 7. 2. 1. 圖4-2-4. 試題1、2、7之預估概念架構圖. 36.
(37) 二、測驗後實際之試題關聯結構圖. 圖4-2-5. 試題1、2、7之各組試題關聯結構圖. 三、各組試題關聯結構圖之分析比較 （一）試題1與試題2為公因數、公倍數的基本概念題型，試題7需運用公倍數 之概念解題，並須找出公倍數中最接近題目要求的數，所以試題7應為試 題1、2之上位概念。 （二）試題1、2皆為直觀的計算題型，因此除低分組練習不足外，答對率均 高，而試題7為公倍數之應用題型，從試題中找出數字間的關係，並正確 使用公倍數的觀念計算出最接近的數，因此難度偏高，每組答對機率明 顯都較低。 （三）在學生實際反應之概念結構圖中，中、高分組學生所呈現之圖形與預 估之概念圖相同，但據了解，低分組因未能理解試題7的題意，並以正確 的概念解題，以致試題7答對率偏低，亦與公倍數結構概念解構。. 37.
(38) 參 題組間分數的四則概念之試題關聯結構圖分析 一、測驗前預估之概念架構圖. 4 3. 12 11. 圖4-2-6. 試題3、4、11、12之預估概念架構圖. 二、測驗後實際之試題關聯結構圖. 圖4-2-7. 試題3、4、11、12之各組試題關聯結構圖. 三、各組試題關聯結構圖之分析比較 （一）試題11為簡易的分數減法，試題12為異分母的連續減法，異分母的加 減應先通分，試題3、4加入帶分數乘法的計算，以及結合率的概念的運 用，除此之外，試題4尚須要具有連續乘法的概念，因此依難度由簡至難 看來，應為試題11、12、3、4，在試題結構關聯方面，試題4為其他試題 的上位概念。. 38.
(39) （二）各組在最簡易的試題4，有相當高的答對率；試題12為一應用題，中、 高分組能理解此題為分數的連續減法，答對率較試題3為多，低分組因多 人採用猜測作答，使得試題關聯結構解構；試題4難度最高，在各組答對 率中為最低，而且越是低分組，答對率就越低。 （三）高分組所表現出的試題關聯結構圖與測驗前預估之概念結構圖相符， 而中分組則在試題3與12出現雙向順序性之關聯，據瞭解，試題12以應用 題方式呈現，對於一些中分組程度較低者仍有理解上之困難，低分組無 法將試題4以結合率的方式解題，而被連續乘法的較長算式所迷惑，無法 藉由試題3的基礎來簡化算式，以最便捷的方式求得正解，因此低分組受 試者對分數的連續乘法和結合率的運用之概念並不瞭解，致使試題3、12 與試題4則無順序關係。. 39.
(40) 第五章 結論與建議 第一節. 研究結論. 運用「廣義隱藏式馬可夫模型（GHMM）與核平滑化無參數試題選項特徵曲 線估計法（KN-IRT）結合模式」 ，不但可運用於一般大規模之標準測驗，亦適用 於小樣本群體的診斷測驗，在學校教學實務上，具有很高的實用價值，本研究從 程式分析實例資料，可歸納得到下面幾項結論： 一、本研究針對試題在一般測驗方法中「未分離猜對及未答之缺失問題」，提出 一項更精確、有效和實用的分析方法－「GHMM與KN-IRT結合模式」，可 以在類似全民英檢之時間序列題組型測驗中考慮到受試者試題反應的各種 情況，較之一般分析方法更為完整周到。 二、針對時間序列題組型測驗之參數估計及試題關聯結構圖之繪製，均以Matlab 程式撰寫，但在操作介面及程式運用非一般教師所能使用，因此使用編譯程 式及相關程式的安裝，使一般無Matlab程式的電腦也能使用本研究所設計之 程式。 三、在「GHMM與KN-IRT結合模式」與「試題順序理論」、「試題關聯結構分 析」整合應用，由關聯結構圖分析瞭解班級中能力不同者其概念架構之差 異，可以瞭解學生的學習狀況及教學過程的缺失，以提供教師在班級教學中 之診斷與回饋，藉以進行補救教學。 四、從類似全民英檢之時間序列題組型試題編製中，常依照試題的難度去編排， 亦有考量其中概念的關連性，但實際上卻未必真是如此，本研究發展出來的 程式所繪製出來的試題關聯結構圖，可供教師在編製相關試題時參考之用， 針對題組型測驗提供一選題的標準。. 40.
(41) 第二節. 後續相關研究建議. 根據研究過程及結論，提出以下幾點建議以供後續有志於此方面的研究者參 考與發展的空間： 一、本研究採實例研究，在驗證分析方法上仍有所不足，在後續的研究中，可以 模擬樣本在時間序列題組測驗的試題反應，進行各種樣本或狀況的模擬研 究。 二、本研究利用電腦將試題呈現在學生面前進行施測，限定時間內變換另一組試 題，限於設備與場地有限，無法進行大規模的施測，未來可針對此問題將試 題設計成網頁或藉由更方便之設備進行更廣泛之施測。 三、題組型試題需考量試題的編製內容，同一題組內要能區分出不同階段之學習 概念，而題組間雖不可避免結構關聯，仍應儘量避免相同概念的使用，並以 適當的敘述方法，方能編製出一套更為完善的時間序列題組型試題。 四、可將同一題組試題結合成多點計分的題型，利用多點計分的方法探討題組間 的關聯，藉以明瞭受試者更完整的知識結構，而不是只測到零碎的、片段的 部分。 五、可以利用「避免溢位之條件機率演算法」配合參數重估進行更為精確的參數 估算，使不同作答策略亦能有不同之轉移機率，使模式的發展更為健全。. 41.
(42) 參考文獻 余民寧（1992） 。IRT 學理與應用。 （On-line） 。 http://www.edutest.com.tw/e-irt/irt.htm 呂雅琇（2003） 。高階相關積之核平滑化無參數試題選項分析模式之研究。台 中市：國立台中師範學院教育測驗統計研究所碩士論文。 林慧清（2002）。多元記分三參數試題選項分析模式半最大概似估計法之研 究。台中市：國立台中師範學院教育測驗統計研究所碩士論文。 陳淑婷（2001） 。EM 演算法在波動性參數估計的應用。台北縣新莊市：私立 輔仁大學金融研究所碩士論文。 葉育光（2002）不完全資料多元計分多參數試題選項分析模式。新竹市：國 立清華大學統計學研究所工業統計組碩士論文。 劉湘川（2001）核平滑化試題選項特徵曲線與選項關聯結構整合擴充模式。 測驗統計年刊第 9 輯，1-18 頁。台中市：國立台中師範學院。 劉湘川（2002）高階相關加權核平滑化試題選項分析模式之研究。測驗統計 年刊第 10 輯，197-218 頁。台中市：國立台中師範學院。 劉湘川（2003）核平滑化試題與選項分析模式之條件最大概似數值估計。測 驗統計年刊第 10 輯，17-40 頁。台中市：國立台中師範學院。 劉湘川（2004） 。廣義隱藏式馬可夫模型應用於測驗分析之研究。測驗統計年 刊 12 輯上期，19-38 頁。台中市：國立台中師範學院。 劉湘川（2005ａ）GHMM 與 KN-IRT 結合模式及應用。測驗統計年刊第 13 輯上 期，11-24 頁。台中市：國立台中師範學院。 劉湘川（2005b）基於 GHMM 之 IRT 混合模式及其估計。測驗統計年刊第 13 輯下期，120-145 頁。台中市：國立台中師範學院。. 42.
(43) Baldi, P., &. Brunak, S. (1997).. Bioinformatics:The machine learning approach.. The MIT Press. Bellman, R. （1957）. Bilmes, J. A.. (1998).. Dynamic programming.. Princeton University Press.. A gentle tutorial of the EM algorithm and its application. to parameter estimation for gaussian mixture and hidden Markov models. International Computer Science Institut, tr-97-021. Le, N. D., Leroux, B. G., & Puterman, M. L. (1992).. Reader reaction: Exact. likelihood evaluation in a Markov mixture model for time series of seizure counts.Biometrics, 48, 317-323. MacDonald, I. L., & Zucchini, W. (1997). discrete-valued time series. Masters, G. N. （ 1982 ） .. Hidden Markov and other models for. London: Chapman & Hall. A Rasch model for partial credit scoring.. Psychometrika, 47, 149-174. Viterbi, A.（1967） . Error bounds for convolutional codes and an asymptotically optimal decoding algorithm.. IEEE Transactions on Information Tgeory, 13,. 260-269.. 43.
(44) 附錄一 測驗試題 康軒版數學第十一、十二冊時間序列電腦測驗共 20 題 六年級數學領域. 性別：□男/ □女. 縣(市). 國小. 六年. 班 姓名：. 座號：______. 注意事項 一、 試題共 20 題。. 六年級數學領域 GHMM 題組型序列測驗. 二、 每次依序顯示相關的 2 題在螢幕上，會以 「打字聲」告知題目的呈現，每組顯示. 國立台中教育大學測驗統計研究所 指導教授：劉湘川 博士 研究生：林奎光. 1.5 分鐘，滿 1.5 分鐘時停止停止顯示。 三、 請在答案紙上依題號作答。 四、 交卷時，請檢查你是否已在答案紙上的基 本資料欄上填妥你的基本資料？ 1.（ ）下列何者是 27 和 33 的公因數？ (A)2 (B)3 (C)5 (D)9. 測驗開始 2.（ ）下列何者是 27 和 33 的公倍數？ (A)207 (B)237 (C)267 (D)297 3.（ ） 2. (A) 2. 4.（ ） 2. 5.（ ）算式「32÷(4-2)×(3+1)」的答案是多少？. 1 1 ×1+ 2 ×2=？ 2 2 1 1 (B)5 (C) 7 2 2. 1 1 1 ×1×1 + 2 ×2×2 + 2 ×3×3 =？ 2 2 2. (A)40. (B)35. (C)30. (A)64 (B)32 (C)16 (D)3. (D)10. 6.（ ）算式「32÷4-2×3+1」的答案是多少？. (D)25. 7.（ ）有一長方形牆壁，用邊長 30 公分或. (A)64 (B)32 (C)16 (D)3 9.（ ）哥哥在加油站打工每 2 小時賺 170 元，. 40 公分的正方形瓷磚，都正好鋪滿，牆. 每天工作 8 小時，則每天可賺多少元？. 壁長的大約 4 公尺，這面牆的長度是多 (A)630 (B)680 (C)730 (D)780. 少公分？. 44.
(45) (A) 460. (B) 480. (C) 520. (D) 540. 8.（ ）若牆壁的長是寬的 2 倍，則牆壁的面 10.（ ）承上題，哥哥要工作幾天才能賺到 積是多少平方公尺？. 20400 元？. (A) 10.8. (B) 11.2. (A)18. (C) 11.5. (D) 11.52. 1 3. 11.（ ）精緻餅乾禮盒，曉華吃了 盒，則還. (B)22 (C)26. 13.（ ）爸爸要買一隻原價 3000 元的手錶， 爸爸付了 2400 元，是原價的多少？. 剩下幾盒？ (A). 1 4. (B). 1 3. (C). 2 3. (D). 12.（ ）同上題，若偉偉又吃了. (A)80% (B). 3 4. 1 盒，小明 4. 元買到，這項鍊打了幾折？. 1 6. 1 4. (B). 1 3. (C). 2 3. (D). 3 (C)0.7 (D)百分之 65 4. 14.（ ）原價 2500 元的項鍊，媽媽以 1625. (A)6 折 (B)65 折 (C)7 折 (D)75 折. 又吃了 盒，則禮盒還剩下幾盒餅乾？. (A). (D)30. 3 4. 15.（ ）實心圓柱體，底面的圓半徑為 5 公分 17.（ ）每瓶汽水容量 1.25 公升，小萍買了 則底面的圓面積是多少平方公分？. 40 瓶，共有幾公升的汽水？. (A)78.5 (B)62.8 (C)31.4 (D)25. (A)5000 (B)500 (C)50 (D)5. 16.（ ）同上題，若圓柱體的高為 5 公分，則 18.（ ）承上題，小萍共買了幾公秉的汽水？ 圓柱體表面積為多少平方公分？ (A)78.5. (B)157. (C)314. (D)471. (A)0.005 (B)0.05 (C)0.5 (D)5. 19.（ ）5 月有 31 天，共是幾個禮拜又幾天？ (A)6 個禮拜又 1 天 (B)5 個禮拜又 3 天. 測驗結束. (C)4 個禮拜又 5 天 (D)4 個禮拜又 3 天. 感謝您的作答，別忘了答案卷上的基本資 20.（ ）西元 2007 年 5 月 1 日星期二，西元 料要填寫完整再交卷唷！ 2007 年的 6 月 1 日是星期幾？ (A)一 (B)三 (C)五 (D)日. 45.
(46) 附錄二 Bilog 程式進行三參數 ITR 估算之參數值及能力值與顯著性分析 一、三參數 IRT 估算之鑑別度、難度及猜測度 題號 1 2 3 4 5 6 7 8 9 10. 鑑別度. 難度. 猜測度. a. b. c. 1.212 1.525 1.172 1.240 1.053 1.366 1.114 0.001 0.846 1.377. 0.000 -0.393 0.141 1.061 -0.360 -0.278 0.668 684.065 0.880 0.240. 題號. 0.500 0.459 0.452 0.326 0.471 0.466 0.441 0.500 0.500 0.385. 11 12 13 14 15 16 17 18 19 20. 鑑別度. 難度. 猜測度. a. b. c. 1.213 1.499 1.051 1.501 1.418 0.903 1.229 1.089 1.101 1.005. 0.273 0.220 -0.320 0.474 -0.153 1.052 -0.111 0.689 0.681 1.352. 0.500 0.407 0.500 0.396 0.436 0.472 0.444 0.394 0.476 0.433. 二、三參數 IRT 估算之能力值 受試者 編號 1 2 3 4 5 6 7 8 9 10. ability 0.8412 1.0620 0.0337 0.3932 1.2397 -1.8859 -0.4392 -1.6739 -1.9087 -1.6927. 受試者 編號 11 12 13 14 15 16 17 18 19 20. ability. 受試者 編號. -0.1841 0.4037 1.5973 0.7504 0.4639 1.2130 -0.3922 -1.3350 -0.4248 0.2784. 21 22 23 24 25 26 27 28 29 30. 46. ability 0.9073 0.8550 0.0121 -0.6110 -1.8710 0.3679 0.7212 -0.3081 0.6384 0.7774. 受試者 編號 31. ability 0.1709.
(47) 三、GHMM-KNIRT 與 Bilog 估算試題猜測值 PEARSON 相關係數顯著差異分析 GHMM-KNIRT GHMM-KNIRT Bilog. Bilog 1. 0.7089**. 0.7089**. 1. ** 在顯著水準為 0.01 時 (雙尾)，相關顯著。. 四、GHMM-KNIRT 與 Bilog 估算樣本能力值 PEARSON 相關係數顯著差異分析 GHMM-KNIRT GHMM-KNIRT Bilog. Bilog 1. 0.9516**. 0.9516**. 1. ** 在顯著水準為 0.01 時 (雙尾)，相關顯著。. 47.
(48) 附錄三 「GHMM 與 KN-IRT 結合模式」與「試題關聯結構分析」程式（未編譯成獨立執行 檔） function main app_O = xlsread('data.xls'); %讀取格式化資料,1 表答對,2 表答錯,3 表未答 [N,T]=size(app_O);%確定人數 N,題數 T for k=1:length(N) T=T;W=N(k) str=num2str(W); threshold=0.01; %設定門檻值 O=app_O; %設定 GHMM 初始值 pi3=(size(find(app_O==3),1))/(W*T); pi1=(1-pi3)*0.9; pi2=(1-pi3)*0.1; pi=[pi1 pi2 pi3]; for t=1:T-1 A(:,:,t)=[pi;pi;pi];%狀態轉移機率初始值 end for w=1:W for t=1:T B(:,:,t,w)=[0.5 0.5 0;0.25 0.75 0;0 0 1];%符號機率初始值 end end. 48.
(49) error=1; count=0;. [alpha,beta,app_A,app_B,app_pi,prob1]=BaumWelch_Algorithm(O,A,B,pi);% 進行 GHMM 波式估算及參數重估 prob1; while error>threshold A=app_A;B=app_B;pi=app_pi; [alpha,beta,app_A,app_B,app_pi,prob2]=BaumWelch_Algorithm(O,A,B,pi);% 迭代估算 prob2; error=abs(prob2-prob1); prob1=prob2; count=count+1; proberror(count)=error; end app_B=mean(app_B,4);%計算符號機率矩陣 pi=app_pi; for t=1:T P(t)=app_B(1,1,t);%認知作答答對機率 c(t,1)=app_B(2,1,t);%猜測作答答對機率 end end %以下進行 KN-IRT 及 GHMM 與 KN-IRT 結合模式估算 [KN_Ptheta,X,X1,est,KN_theta1,n]=KNIRT(O);. 49.
(50) [GKN_Ptheta,GKN_theta1,gkn_t,gkn_p]=GHMM_KNIRT(pi,A,c,KN_Ptheta,X1,es t); for w=1:W GKN_Ptheta2(n(w),:)=GKN_Ptheta(w,:); GKN_theta2(n(w),:)=GKN_theta1(w,:); end Ptheta=GKN_Ptheta2;U=X; %估算作答策略指示變數 for w=1:W for t=1:T switch app_O(w,t) case {1} app_y(w,t,1)=1; case {2} app_y(w,t,2)=1; case {3} app_y(w,t,3)=1; end end end if size(app_y,3)==2 app_y(:,:,3)=0; end y=e_y(O,U,app_y,pi,c,Ptheta); %將各參數存入 outcome.xls 中. 50.
(51) xlswrite('outcome.xls',GKN_theta2,'theta'); xlswrite('outcome.xls',Ptheta,'GKN_Ptheta'); xlswrite('outcome.xls',y(:,:,1),'P_theta'); xlswrite('outcome.xls',y(:,:,2),'guess'); %輸出時間序列題組型模式三項機率參數 app_A2=reshape(app_A1,3,[])'; xlswrite('outcome.xls',app_A2,'狀態轉移機率'); for t=1:T app_B1(:,:,t)=app_B(:,:,t)'; end app_B2=reshape(app_B1,3,[])'; xlswrite('outcome.xls',app_B2,'符號機率'); xlswrite('outcome.xls',app_pi,'起始狀態轉移機率'); %繪製試題關聯結構分析圖 %低分組 figure(1) n_c=ceil(W/4); Q=GKN_theta1(n_c); for j=1:T for w=1:W X2(w,j)=1-X1(w,j); C(w,1)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42); D(w,j)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42).*X1(w,j); G(w,j)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42).*X2(w,j); end. 51.
(52) end s=0; for i=1:T for j=1:T s=s+1; I(:,s)=X1(:,i).*X2(:,j); H(:,s)=C.*I(:,s); end end EO1=sum(H)/sum(C); RP1=sum(D)/sum(C); WP1=sum(G)/sum(C); s=0; for i=1:T for j=1:T s=s+1; r1(i,j)=1-(EO1(s)/(RP1(i)*WP1(j))); EOI1(i,j)=EO1(s); end end plot(RP1,'.') for i=1:T str=['\leftarrow 試題',num2str(i),'']; text(i,RP1(i),str); end. 52.
(53) hold on for i=1:T for j=1:T x=[i,j]; y=[RP1(i),RP1(j)]; if i~=j & (r1(i,j)>0.5 | EOI1(i,j)<=0.02) annotation(... figure(1),'arrow',... [0.1299+j*0.7744/(T+1) 0.1299+i*0.7744/(T+1)],[0.1095+0.812*(1-RP1(j)) 0.1095+0.812*(1-RP1(i))],... 'HeadStyle','plain'); title('低分組'); axis([0 T+1 0 1]); end end end axis ij; xlabel('試題編號'); ylabel('答對機率'); hold off %中分組 figure(2) n_c=ceil(W/2); Q=GKN_theta1(n_c);. 53.
(54) for j=1:T for w=1:W X2(w,j)=1-X1(w,j); C(w,1)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42); D(w,j)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42).*X1(w,j); G(w,j)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42).*X2(w,j); end end s=0; for i=1:T for j=1:T s=s+1; I(:,s)=X1(:,i).*X2(:,j); H(:,s)=C.*I(:,s); end end EO2=sum(H)/sum(C); RP2=sum(D)/sum(C); WP2=sum(G)/sum(C); s=0; for i=1:T for j=1:T s=s+1; r2(i,j)=1-(EO2(s)/(RP2(i)*WP2(j))); EOI2(i,j)=EO2(s);. 54.
(55) end end plot(RP2,'.') for i=1:T str=['\leftarrow 試題',num2str(i),'']; text(i,RP2(i),str); end hold on for i=1:T for j=1:T x=[i,j]; y=[RP2(i),RP2(j)]; if i~=j & (r2(i,j)>0.5 | EOI2(i,j)<=0.02) annotation(... figure(2),'arrow',... [0.1299+j*0.7744/(T+1) 0.1299+i*0.7744/(T+1)],[0.1095+0.812*(1-RP2(j)) 0.1095+0.812*(1-RP2(i))],... 'HeadStyle','plain'); title('中分組'); axis([0 T+1 0 1]); end end end axis ij;. 55.
(56) xlabel('試題編號'); ylabel('答對機率'); hold off %高分組 figure(3) n_c=ceil(3*W/4); Q=GKN_theta1(n_c);. for j=1:T for w=1:W X2(w,j)=1-X1(w,j); C(w,1)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42); D(w,j)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42).*X1(w,j); G(w,j)=exp(-(W^0.4*(GKN_theta1(w)-Q).^2)/2.42).*X2(w,j); end end s=0; for i=1:T for j=1:T s=s+1; I(:,s)=X1(:,i).*X2(:,j); H(:,s)=C.*I(:,s); end end EO3=sum(H)/sum(C);. 56.
(57) RP3=sum(D)/sum(C); WP3=sum(G)/sum(C); s=0; for i=1:T for j=1:T s=s+1; r3(i,j)=1-(EO3(s)/(RP3(i)*WP3(j))); EOI3(i,j)=EO3(s); end end plot(RP3,'.') for i=1:T str=['\leftarrow 試題',num2str(i),'']; text(i,RP3(i),str); end hold on for i=1:T for j=1:T x=[i,j]; y=[RP3(i),RP3(j)]; if i~=j & (r3(i,j)>0.5 | EOI3(i,j)<=0.02) annotation(... figure(3),'arrow',... [0.1299+j*0.7744/(T+1) 0.1299+i*0.7744/(T+1)],[0.1095+0.812*(1-RP3(j)). 57.
(58) 0.1095+0.812*(1-RP3(i))],... 'HeadStyle','plain'); title('高分組'); axis([0 T+1 0 1]); end end end axis ij; xlabel('試題編號'); ylabel('答對機率'); hold off xlswrite('outcome.xls',r1,'低分組 rel'); xlswrite('outcome.xls',r2,'中等能力 rel'); xlswrite('outcome.xls',r3,'高分組 rel'); %選擇試題後重新繪製 item=str2num(cell2mat(inputdlg('please input Item='))); %若輸入 999 則恢復成原有圖形,若空白，則跳離程式 while isempty(item)~=1 if item==999 item=1:T; end T1=length(item); close all figure(1) for i=1:T1. 58.
(59) RP11(i)=RP1(item(i)); end plot(RP11,'.') for i=1:T1 str=['\leftarrow 試題',num2str(item(i)),'']; text(i,RP11(i),str); end hold on for i=1:T1 for j=1:T1 x=[i,j]; y=[RP11(i),RP11(j)]; if i~=j & (r1(item(i),item(j))>0.5 |EOI1(item(i),item(j))<=0.02 ) annotation(... figure(1),'arrow',... [0.1299+j*0.7744/(T1+1) 0.1299+i*0.7744/(T1+1)],[0.1095+0.812*(1-RP11(j)) 0.1095+0.812*(1-RP11(i))],... 'HeadStyle','plain'); end end end title('低分組'); axis([0 T1+1 0 1]);. 59.
(60) axis ij; xlabel('試題編號'); ylabel('答對機率'); hold off figure(2) for i=1:T1 RP21(i)=RP2(item(i)); end plot(RP21,'.') for i=1:T1 str=['\leftarrow 試題',num2str(item(i)),'']; text(i,RP21(i),str); end hold on for i=1:T1 for j=1:T1 x=[i,j]; y=[RP21(i),RP21(j)]; if i~=j & (r2(item(i),item(j))>0.5 | EOI2(item(i),item(j))<=0.02) annotation(... figure(2),'arrow',... [0.1299+j*0.7744/(T1+1) 0.1299+i*0.7744/(T1+1)],[0.1095+0.812*(1-RP21(j)) 0.1095+0.812*(1-RP21(i))],.... 60.
(61) 'HeadStyle','plain'); end end end title('中分組'); axis([0 T1+1 0 1]); axis ij; xlabel('試題編號'); ylabel('答對機率'); hold off. figure(3) for i=1:T1 RP31(i)=RP3(item(i)); end plot(RP31,'.') for i=1:T1 str=['\leftarrow 試題',num2str(item(i)),'']; text(i,RP31(i),str); end hold on for i=1:T1 for j=1:T1 x=[i,j]; y=[RP31(i),RP31(j)];. 61.
(62) if i~=j & (r3(item(i),item(j))>0.5 | EOI3(item(i),item(j))<=0.02 ) annotation(... figure(3),'arrow',... [0.1299+j*0.7744/(T1+1) 0.1299+i*0.7744/(T1+1)],[0.1095+0.812*(1-RP31(j)) 0.1095+0.812*(1-RP31(i))],... 'HeadStyle','plain'); end end end title('高分組'); axis([0 T1+1 0 1]); axis ij; xlabel('試題編號'); ylabel('答對機率'); hold off item=str2num(cell2mat(inputdlg('please input Item='))); end. 62.
相關文件
多元就業開發方案社會型 3 年期計畫書撰寫格式
在學界並沒有引起太多的迴響。然而，在 1913 年 1 月 23 日的〈《尤金》的統計調查為 例：關於鏈中樣本的前後關聯〉(An example of statistical investigation of the text Eugene
基督教此時早已是羅馬的國教，在東歐地區中可 以說是最有組織與影響力的宗教，以君士坦丁堡為中
基督教此時早已是羅馬的國教，在東歐地區中可 以說是最有組織與影響力的宗教，以君士坦丁堡為中
微算機原理與應用 第6
決定隱藏層神經元數，對一層隱藏層觀察神經元數 1~10 個之測試 範例誤差均方根 RMS 最小者，結果取隱藏層觀察神經元數為 10
蔣松原，1998，應用 應用 應用 應用模糊理論 模糊理論 模糊理論
結構方程模式 (structural equation modeling；簡稱 SEM) 在管理、教育與心理等社會 科學領域可以說是當代最盛行的統計方法典範，尤其是心理測驗領域，SEM 可以說 是主流技術，在
