• 沒有找到結果。

個別化多點記分順序理論之程式設計與應用

N/A
N/A
Protected

Academic year: 2021

Share "個別化多點記分順序理論之程式設計與應用"

Copied!
21
0
0

加載中.... (立即查看全文)

全文

(1)

個別化多點記分順序理論之程式設計與應用

劉湘川 洪宿芬 吳世能 亞洲大學生物資訊系 國立台中教育大學 亞洲大學資訊工程系 lhc@asia.edu.tw 教育測驗統計所 wsneng@mail2000.com.tw csps9988@yahoo.com.tw

摘要

Ramsay(1991)將廣泛使用之核平滑化 無參數回歸估計法轉化應用於二點記分之 無參數試題反應理論,稱之為『核平滑化 無參數試題反應理論』。二點記分於傳統認 知測驗上常採用,但容易造成受試者同分 之情況發生。某些試題若使用多點記分, 也常限於分析方法而只採取同質性試題。 劉湘川(2007a)考慮所有可能異質加權系 統,兼顧記分之標準化與規格化,提出改 進之標準規格化多點記分順序理論。劉湘 川(2007b)進一步以多點記分之積差相關 加權替代二點記分之點二系列相關加權, 提出擴張改進之多點記分核平滑化無參數 IRT 模式,結合上述的標準規格化多點記 分順序理論,發表『多點記分核平滑化無 參數 IRT 之順序理論』。 本文運用多點記分核平滑化無參數 IRT 之順序理論,開發相關程式並進行實 徵研究。 關鍵詞:多點記分、標準規格化得分、核 平滑化無參數 IRT 模式、試題順序理論。

壹、緒論

一、研究動機 測驗理論從早期的「古典測驗理論」 (classical test thoery),演化至「推論 性理論」(generalizability theory),再 發展至目前的「試題反應理論」(item response theory)。參數型試題反應理論 無論是二點記分或多點記分,都已有優美 數理結構之分析模式,但必須滿足局部獨 立的限制,不適用於分析試題順序關係。 唯目前教師在進行教學活動前,會進行教 材地位之分析,教學後亦渴望獲得學習成 果的結構圖。所以學生認知結構圖的獲得 是目前教育研究的主要趨勢之一,參數型 試題反應理論無法滿足這方面所需。 Ramsay(1991)將各領域廣泛使用之核平滑 化無參數迴歸估計法轉化應用於二點記分 之無參數試題反應理論,稱之為「核平滑 化無參數試題反應理論」,讓上述需求露出 一線曙光。 劉湘川(2000)提出以「點二系列相關 鑑別指數」替代 Ramsay 之「擴張高低鑑別 指數」,而得改進之核平滑化試題選項分析 能力參數之估計。劉湘川(2000,2001)更進 一步將其改進之「相關加權核平滑化無參

(2)

數 IRT」與 Airasian & Bart(1973)提出的 OT 理論、竹谷誠(1980)提出的 IRS 理 論整合,分別提出「基於二點記分核平滑 化無參數 IRT 之順序係數及關聯順序係 數」,至此依照個別受試者能力值分別提出 試題順序結構圖的理想得以實現。但美中 不足的是只能處理二點記分試卷。 多點記分之順序理論首先由竹谷誠 (1987)針對態度問卷之等級記分與對稱 記分分別提出專有但不能通用之問題順序 係數,歷經劉湘川(2003);劉湘川、劉東 昇(2003);劉湘川、簡茂發(2004);劉 湘川(2004)先後提出進一步改進之問題 順序係數;劉湘川、簡茂發(2006)正式 提出認知測驗專有之規格化多點記分試題 順序理論,劉湘川(2006)進一步考慮所 有可能異質加權記分系統,兼顧記分之標 準化與規格化,提出改進之標準規格化多 點記分試題順序理論。劉湘川(2007b)以多 點記分之積差相關加權替代二點記分之點 二系列相關加權,提出擴張改進之多點記 分核平滑化無參數 IRT 模式,結合標準規 格化多點記分順序理論,發表「多點記分 核平滑化無參數 IRT 之順序理論」。 運用「多點記分核平滑化無參數 IRT 之順序理論」預估能達到以下目的: 1. 突破參數型試題反應理論無法分析試 題順序結構的窘境。 2. 透過多點記分可使受試者同分的狀況 減少,提升測驗鑑別力。 3. 積差相關加權之無參數試題反應理 論,可改善能力參數之估計。 4. 獲得個別受試者的試題順序結構圖。 二、研究目的 基於上述,本文的主要目的如下: 1. 開發「多點記分核平滑化無參數 IRT 之順序理論」相關程式。 2. 運用「多點記分核平滑化無參數 IRT 之順序理論」進行分數減法實徵研究。

貳、理論探討

一、記分系統、記分向量、m 點記分、二 點記分,多點記分 [定義 1] 1、認知測驗之任一試題,因受試之反應類 別之不同,測試者事前分別給予一適當 之記分,所有可能之記分構成一系統, 稱為此試題之「記分系統」。 2、試題記分系統之所有記分以自小至大 方式,排成一有序向量稱為此試題之 「記分向量」。 3、若試題之「記分向量」之維度為 m, 則稱此試題為「m 點記分」。 4、若 m=2 ,則稱 m 點記分為「二點記 分」。 5、若 m>2 ,則稱 m 點記分為「多點記 分」。 多點記分試題之例如下列各例所示。 「例 1」、計算 2 2 6 8 ? 5 + = 解:此題為多步驟計算題,記分系統規定 如下: 第一步正確解得 2 2 6 8 100 5 5 + = , 得分記 2 分,否則記 0 分。 第二步正確解得 100 10 5 = 5 , 累積得分記 3 分。

(3)

第三步正確解得10 2 5 = , 累積得分記 4 分。 則記分向量為 ,且此題為 4 點記 分試題。

(

0, 2, 3, 4

)

「例 2」、下列何者為方程式 2 1 0 1 x x= + 之 解集? (A)空集合 (B)

{ }

1 (C)

{ }

−1 (D)

{

−1,1

}

此題為單選題,記分系統規定答對記 3 分,未答記 0 分,為免猜測,答錯倒扣記 -1 分,則記分向量為

(

− − −1, 1, 1, 0, 3

)

,且此 題為 5 點記分試題。 二、同質試題、異質試題、同質測驗、異 質測驗 [定義 2] 1、任二試題,若有相同記分向量時,則稱 此二試題為「同質試題(homogeneous items)」,否則,稱為「異質試題 (heterogeneous items) 」。 2、任一測驗,若其中所有試題均為同質試 題時,則稱此測驗為「同質測驗 (homogeneous test)」,否則,稱為「異 質測驗(heterogeneous test) 」。 上述二例為異質試題。 三、標準化記分、標準化得分、標準規格 化得分 同質試題或同質測驗,可直接提出簡潔 方法之同質試題順序係數;至於異質試題 或異質測驗測驗,不可直接比較,劉湘川 (2007a)提出標準化記分,才可進而提出可 比較之異質試題順序係數,標準化記分定 義如下: [定義 3] 令試題i之記分向量( scaling vector)為

(

a ai1, i2,ai3,...,aimi

)

,則其標準化記分向量 (standard scaling vector)為:

(

b b bi1, i2, i3,...,bimi

)

(1) 其中,

(

)

2 2 1 1 1 1 , 1,2,..., , , i i m m ik i ik i i ik i ik i k k i i i a a b k m a a S a S m = m = − = = =

=

a ,由[定義 3]知。 「例1」 之原始記分向量為

(

0, 2, 3, 4

)

, 0 2 3 4 9 4 4 a = + + + = , 2 2 2 2 2 0 2 3 4 35 4 4 a S = + + + −a = , k , 1, 2, 3, k a a a b k S 4 − = = , 標準化記分向量為

(

1 2 3 4

)

9 1 3 7 , , , , , , 35 35 35 35 b b b b = ⎜⎛ − − ⎞ ⎝ ⎠, 「例2」 之原始記分向量為

(

− − −1, 1, 1, 0, 3

)

, 1 1 1 0 3 0 5 a =− − − + + = ,

( ) ( ) ( )

2 2 2 2 2 2 1 1 1 0 3 12 5 5 a S = − + − + − + + −a =

(4)

k , 1, 2, 3, 4, 5 k a a a b k S − = = 標準化記分向量為

(

1 2 3 4 5

)

5 5 5 5 , , , , , , ,0,3 12 12 12 12 b b b b b = −⎛⎜ − − ⎞⎟ ⎝ ⎠ [定義 4] 令x 表受試者 作答試題is i之得分,且試題 之記分向量為 ,則受試 者得分 s i

(

1, 2, ...,

)

i i i in a a ai3, a is x 之標準化得分(standard score)為

(

)

2 2 1 1 , 1, 2,..., , 1, 2,..., , 1 1 , i i is i is i m m i ik i ik i k k i i x a z i n s S a a S a a m = m = − = = = =

=

N

)

(2) [定義 5] 若試題 之記分向量為 , 且 i

(

1, 2, 3,..., i i i i in a a a a is x 表受試者 作答試題i之得分則受試 者得分 s is x 之標準化得分為 , 1, 2,..., , 1, 2,..., is j is j x a z i n s S − = = = Nx 之標準規格化得分(standard is normalized score)yis定義如下:

{

}

{

}

, 1, 2,..., , 1, 2,..., max | 1, 2,..., , 1, 2,..., min | 1, 2,..., , 1, 2,..., is m is M m M is m is z z y i n s z z z z i n s z z i n s N N N − = = = − = = = = = = (3) 「性質 1」 0≤yis ≤1,i=1, 2,..., ,n s=1, 2,...,N 四、二點記分核平滑化無參數試題反應理 論 1、 Ramsay 二點記分「核平滑化無參數試 題特徵曲線估計法」簡介 無參數迴歸估計法是一種可避免對 迴歸函數主觀認定,讓資料自己適當表達 之簡明估計法,若以核函數為基礎,則稱 之為核平滑化法。由於直觀簡易,核平滑 化法已被各領域廣泛使用。而在試題特徵 曲線估計中,首先由 Ramsay(1991)轉化應 用,Ramsay 引進 logit 轉換高低鑑別指數 作為受試者加權總分排序時之加權函數, 如(4)式: i W =logit[pi( )75 ]-logit[ ]= ln ( )25 i p ( ) ( ) 75 75 1 i i p p ⎡ ⎤ ⎢ ⎥ − ⎣ ⎦-ln ( ) ( ) 25 25 1 i i p p ⎡ ⎤ ⎢ ⎥ − ⎣ ⎦ (4) 其中 (75) i p 、 (25) i p :分別表原始總分排序 前 25%高分組、後 25%低分組受試者中,實 際答對第i題之答對率。 =1,2,…,n i j=1,2,…,m ( )25 i D = (75) i p - (25) i p : 第i題 25%高低鑑別指數 (5) Ramsay(1991)之加權總分 T 統計量定義如

(5)

(6)式: Ts= s=1,2,…,N (6) 1 n i is i W y =

其中, s T :表受試者 s 之鑑別指數加權總分值。 :表受試者 s 實際答對第i題之指示值。 is y 藉由 值之排序可估得受試者 s 之秩 (rank): ,由下列機率積分轉換(7),可 得標準常態分配的對應分位數 (quantile); s=1,2,…,N S T s r s q dt t s q ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ −

−∞ 2 exp 2 1 2 π =p(R≤rs)= 1 + N rs s = 1,2,…,N (7) 因答對率 p 為機率估計值,故 Ramsay(1991) 採 Nadaraya & Watson 之 NW 核平滑化估 計模式如(8)式:

( )

1 ( ) 1 , 1,2,..., , 1,2,..., N s i s s i N s s q k y h P i n q k h θ θ θ = = − ⎛ ⎞ ⎜ ⎟ ⎝ ⎠ = = = − ⎛ ⎞ ⎜ ⎟ ⎝ ⎠

s N (8) 其中 表加權排序後第 序位受試者實 際答對試題 之指示值。 ( ) i s y rs i s q 表第 序位受試者加權總分經(7)式轉 換之分位數。 s r Ramsay 選(8)式所示之高斯函數 (Gaussian function)為專有之核函數

( )

u k =exp{- 2 2 u },-∞ u< <∞ (9) h 表帶寬參數(bandwidth parameter),亦 稱平滑參數(smoothing parameter)。 Ramsay(1991)採用;h=1.1 5 1 − N 其中 N 為受試者人數 (10) 綜合(8)、(9)、(10)三式,即得核平滑化 無參數試題特徵曲線機率,模式如下:

( )

(

)

( )

(

)

2 2 5 1 2 2 5 1 exp 2.42 ˆ exp 2.42 N s i s s i N s s N q y P N q θ θ θ = = ⎡ ⎤ − ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ = ⎡ ⎤ − ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

(11) 其中 s 表受試者: s =1,2,…,N, i表試題:i= 1,2,…,n。 ( ) i s y 表加權排序後第 序位受試者實際答 對試題i之指示值。 s r s q 表第 序位受試者加權總分經(6)式轉 換之分位數。 s r 2、劉湘川「相關加權核平滑化無參數試題 反應理論」簡介 劉湘川(2000,2001)指出 Ramsay 模式 有下述五項可以改進處:(i) 受試者人數 須為四之倍數;(ii)各試題高分組或低分 組之答對率為 1 或 0 時均不適用;(iii) 總分居中之百分之五十受試者之作答反應 未被考慮,損失訊息;(iv)擴張高低鑑別 指數並非高低鑑別指數之保序變換,會發 生加權總分逆序情況;(v) 總分同分情況 未充分加權改善。 並提出以「相關鑑別指數」替代

(6)

Ramsay 之「擴張高低鑑別指數」,而得改 進之核平滑化試題選項分析能力參數之估 計。 假設受試者有 N 人( =1,2,…,N),試 題有 n 題( ), s n i =1,2,..., 令 表 與 之積 差相關係數,即 i r

(

x1,x2,...,xN

)

(

yi1,yi2,...,yiN

)

(

)(

)

1 N s is i s i x i x x y y r NS S = − − =

(12) 其中xs:受試者 之測驗總分, s

= = N s s x N x 1 1

(

= − = N s s x x x N S 1 2 2 1

)

(13) :表受試者 實際答對試題i, 1 is y = s 0 is y = :表受試者 未答錯試題 , s i 1 1 N i i s y y N = =

s

(

2 2 1 1 N i is s S y N = =

yi

)

1 (14) 受試者 =1,2,…,N , 試題 , 選項 , s i =1,2,...,n i m j=0,1,2,..., 因 − ≤ ≤1 ri 取計分加權值 1 2 i i r w = + 0≤ wij ≤1 (15) s T 表相關加權測驗總分,則有 1 n s i is i T w = =

y (16) s=1,2,3,…, 將T 按由小而大之順序重新排列表示如s 右:T ;即( )s ,再進行下列 (17)式之非線性標準常態轉換,可得符合 標準常態分配之 N 個對應能力參數估計 值: , ( ) ( )1, 2 ,..., ( )N T T T ( ) θ( ) θ( )N θˆ , ˆ ,..., ˆ 2 1 ( ) 1 + 2 exp 2 1 2 ˆ = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ −

−∞ N s dt t s θ π (17) 藉由「相關加權常態轉換估計法」,可估 得兼顧隨機未作答及充分改善加權總分同 分情況之能力參數改進估計值;依小而大 排序為 ( ) θ( ) θ( )N θˆ , ˆ ,..., ˆ 2 1 (18) 並令 表能力參數改進估計值為 之 受 試 者 實 際 答 對 試 題i之 選 項 ( ) i s y θˆ( )s j 之 指 示 值,則以 及 分別取代(11)式中之 及 ,可得試題 之答對機率函數如(18) 式。 ( )s θˆ ( ) i s y qs ( ) i s y i

( )

( )

(

)

( ) ( )

(

)

2 2 5 1 2 2 5 1 ˆ exp 2.42 ˆ ˆ exp 2.42 N s i s s i N s s N y P N θ θ θ θ θ = = ⎡ ⎤ − ⎢ ⎥ − ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ = ⎡ ⎤ − ⎢ ⎥ − ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

(19) 五、多點記分核平滑化無參數試題反應理 論 劉湘川(2000,2001,2001a,b) 在二點 記分之考慮下,指出 Ramsay(1991)模式之 前述五處缺失。劉湘川(2007)進一步指出

(7)

Ramsay 模式中之高低鑑別指數只考慮答 對與否之比率,只適用於二點記分之情 況,無法據以分析多點記分之測驗與試 題,並仿模糊集合隸屬度之發展概念,將 明確集合之 0 與 1 之二點隸屬度擴張至 [0,1]區間值之多點可能隸屬度,同樣處理 異質記分系統,使異質之二點記分系統, 經標準規格化後即為 0 與 1 之二點標準規 格記分。推廣處理任意異質之多點記分, 經標準規格化後,即成為最小值為 0 與最 大值為 1 之可比較記分系統。並以多點記 分之積差相關鑑別加權取代劉湘川(2000) 之「點二系列相關鑑別加權」,發展提出多 點記分核平滑化無參數試題反應理論,簡 列如下: 令認知測驗中多點記分試題 之記分 向量為

)

,且 i

(

a ai1, i2,ai3,...,aini x 為受試者is 作答試題 之原始得分,其標準規格化得 分為 s i is y 滿足: , 1, 2,..., , 1, 2,..., M is is M m z z y i n s z z − = = = − N (20) 其中:

(

)

2 2 1 1 , 1, 2,..., , 1, 2,..., 1 1 , i i is i is i m m i ik i ik i k k i i x a z i n s S a a S a a m = m = − = = = =

=

{

N

}

{

}

max | 1, 2,..., , 1, 2,..., min | 1, 2,..., , 1, 2,..., M is m is z z i n s z z i n s = = = = = = N N 並由「性質 1」 知: 0≤yis ≤1,i=1, 2,..., ,n s=1, 2,...,N 令 表 與 之積 差相關係數,即 i r

(

x1,x2,...,xN

)

(

yi1,yi2,...,yiN

)

(

)(

)

1 N s is i s i x i x x y y r NS S = − − =

(21) 其 中 1 n s is i x y = =

: 受 試 者 之 測 驗 總 分 s

= = N s s x N x 1 1

(

)

= − = N s s x x x N S 1 2 2 1 1 1 N i i s s y y N = =

, 2

(

2 1 1 N i is s S y N = =

yi

)

1 (22) 受試者 =1,2,…,N , 試題s i =1,2,...,n , 因 1− ≤ ≤ 取計分加權值ri 1 2 i i r w = + (23) 0≤ wi ≤ 1 , s T 表相關加權測驗總分,則有 (24) 1 , 1, 2,..., n s i is i T w y s = =

= NT 按由小而大之順序重新排列表示如s 右:T ;即( )s 再進行下列 (25)式之非線性標準常態轉換,可得符合 標準常態分配之 N 個對應能力參數估計 值; 。 ( ) ( )1, 2 ,..., ( )N T T T ( ) θ( ) θ( )N θˆ , ˆ ,..., ˆ 2 1 ( ) 1 2 exp 2 1 2 ˆ + = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ −

−∞ N s dt t s θ π (25) 藉由「積差相關加權常態轉換估計 法」,可估得兼顧隨機未作答及充分改善 加權總分同分情況之能力參數改進估計 值;依小而大排序為 ( ) θ( ) θ( )N θˆ , ˆ ,..., ˆ 2 1 (26)

(8)

並令 表能力參數改進估計值為 之 受試者實際答對試題 之指示值 ( ) i s y θˆ( )s i 則以 及 分別取代(11)式中之 及 可得試題 之答對機率函數如(27)式 ( )s θˆ ( ) i s y qs ( ) i s y i ( ) ( )

(

)

( ) ( )

(

)

2 2 5 1 2 2 5 1 ˆ exp 2.42 , 1,2,..., ˆ exp 2.42 N s i s s i N s s N y P N θ θ θ θ θ = = ⎡ ⎤ − ⎢ ⎥ − ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ = ⎡ ⎤ − ⎢ ⎥ − ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

i= n (27) 六、基於多點記分核平滑化無參數 IRT 之 順序理論 多點記分之順序理論首先由竹谷誠 (1987)針對同質態度問卷提出問題順序 係數,劉湘川(2003)提出異質態度問卷 之問題順序係數,劉湘川、劉東昇(2003) 劉湘川、簡茂發(2004)先後提出改進之 問題順序係數,劉湘川(2004)指出上述 所有態度問卷之問題順序係數,只要順序 方向相反即得適用於多點記分認知測驗之 試題順序係數。劉湘川、簡茂發(2006) 提出規格化多點記分試題順序理論,劉湘 川(2006)提出改進之多點記分標準規格 化試題順序理論。劉湘川(2007)配合標準 規格化多點記分提出基於多點記分核平滑 化無參數 IRT 之順序理論,稱為第一種多 點記分核平滑化無參數 IRT 之順序理論。 並推廣劉湘川(2000,2001)之「二點 記分核平滑化無參數 IRT 之兩種順序理 論」所得之兩種「多點記分核平滑化無參 數 IRT 之順序理論」,分別稱為第二種及第 三種「多點記分核平滑化無參數 IRT 之順 序理論」。本文以第二種為基礎,進行程式 設計與實徵研究。 上述三種「多點記分核平滑化無參數 IRT 之順序理論」簡介如下: 1、多點記分標準規格化試題順序理論 [定義 6] 劉湘川(2006)之多點記分試題順序關係 (i) 令試題i與試題 j之記分向量分別為:

(

a ai1, i2,ai3,...,aini

)

(

aj1,aj2,aj3,...,ajnj

)

(ii) 令受試 分別作答試題s i與試題 j之原 始得分為x 與is xjs 1, 2,..., , , , , 1, 2,..., s= N ij i j = n(iii)令受試 分別作答試題i之標準規格化 得分為 ,且 s is y , 1, 2,..., , 1, 2,..., M is is M m z z y i n s z z N − = = = − (28)

(

)

2 2 1 1 , 1, 2,..., , 1, 2,..., 1 1 , i i is i is i m m i ik i ik i k k i i x a z i n s S a a S a a m = m = N − = = = =

=

{

}

{

}

max | 1, 2,..., , 1, 2,..., min | 1, 2,..., , 1, 2,..., M is m is z z i n s z z i n s = = = = = = N N (iv) 定義非負指示函數如下:

[ ]

0 0 0 x x x x + ⎧ ≥ = ⎨ < ⎩ (29) (v) 定義「試題i至試題 j順序係數」之公 式如下: 1 1 1 1 N ij js is i y y N γ+ + = ⎡ ⎤ = −

(30)

(9)

(vi) 定義「試題 至試題i j之單向順序」; 令 ,I I 分別表示第i j i試題與第 j試題,則 Ii Ij 1γij 0.93 1γji + + → ⇔ ≥ > (31) (vii) 定義「試題 至試題i j 之雙向順序」; 令 ,I I 分別表示第i j i試題與第 j試題,則 1 0.93 i j ij II ⇔ γ+≥ ,1γji+ ≥0.93 (32) 2、多點記分試題順序理論與二點記分試題 順序理論之關係 劉湘川(2006)提出之多點記分試題 順序理論可視為二點記分 OT 理論之推 廣,反之,二點記分 OT 理論可視為多點 記分試題順序理論之特例。簡單說明如下: 當所有試題均為二點記分時,其標準規格 化得分必為 0 或 1,此時 0 代表答錯,1 代表答對,則 即表 N 受試中 試題 i 答錯且試題 j 答對之次數,且有 1 N js is s y y + = ⎡ − ⎣

⎤⎦

(

)

1 1 0, 1 N js is i j s y y P I I N + = ⎡ − ⎤ = = = ⎣ ⎦

,亦即, 在所有試題均為二點記分時, 1 1 1 1 N ij js is s y y N γ+ + = ⎡ = −

⎤⎦ 1 可改寫為 。

(

)

ij 1 P Ii 0,Ij + = − = = 3、第二種多點記分核平滑化無參數 IRT 順序理論 第二種多點記分核平滑化無參數 IRT 之順序理論為根據劉湘川(2007)之「多點 記分核平滑化無參數 IRT 理論」,推廣劉湘 川(2000,2001)之「二點記分核平滑化無 參數 IRT 順序理論」發展而得,簡介如下: [定義 7] 令2γ θij+

( )

表「第二種多點記分受試能力為 θ之試題i至試題 j之關聯順序係數」,定 義第二種多點記分受試能力為θ之試題i 至試題 j順序關係如下: (i)

( )

(

)

2γ θij 1 P Ii 0.5,Ij 0.5 |θ + = − < > (33) 其中:

(

)

( )

(

)

( ) ( ) ( )

(

)

2 2 5 1 2 2 5 1 ˆ 0.5, 0.5 | ˆ exp 1 2 2 1 2.42 ˆ exp 2.42 i j N s i s j s s N s s P I I N y y N θ θ θ θ θ + + = = < > ⎡ ⎤ − ⎢ ⎥ ⎡ ⎤ ⎡ − − ⎢ ⎥ ⎣ ⎦ ⎣ ⎢ ⎥ ⎣ ⎦ = ⎡ ⎤ − ⎢ ⎥ − ⎢ ⎥ ⎢ ⎥ ⎣ ⎦

⎤ − ⎦ (34) (ii)定義「第二種多點記分受試能力為θ 之試題i至試題 j之單向關聯順序關係」; 令Ii

( ) ( )

θ ,Ij θ 分別表示受試能力為θ之 第i試題與第 j試題,則

( )

( )

2

( )

0.96 2

( )

i j ij ji I θ → I θ ⇔ γ θ+ ≥ > γ+ θ (35) (iii)定義「第二種多點記分受試能力為θ 之試題i至試題 j之雙向關聯順序關係」;

( )

( )

2

( )

0.96 i j ij I θ ↔I θ ⇔ γ θ+ ≥ ,

( )

2γ θji 0.96 + (36)

參、研究方法

(10)

一、研究工具 1、使用 MATLAB 撰寫程式計算試題預試之 難度、鑑別度、Cronbach α 信度,以 及正式施測之受試者能力值估計、試題 解答機率、試題順序結構相關數值的計 算。 2、使用 Microsoft Visio 繪製試題順序 結構圖。 二、研究步驟 1、試卷預試:本次預試從台中縣新盛國 小、台中縣中山國小、台中縣東新國 小、台中縣東勢國小四所學校,抽樣 223 名實施預試工作,預試後進行題目 分析、刪題後組成正式試卷,如附件 一。 2、正式施測:於六月下旬連絡彰化縣新庄 國小、台中縣新光國小、台中縣新興國 小、台中縣新盛國小四所國小教師,徵 得同意後共抽樣 122 名學生進行施測。 3、使用 MATLAB 撰寫程式分析試卷 Cronbach α 信度達.9371,顯示內部 一致性良好。 4、使用 MATLAB 撰寫程式估計學生能力值 如附件二。 5、選擇欲觀察順序結構之試題,因本研究 試題共 35 題,全部繪製於結構圖會顯 得過於混亂,所以選擇分數減法相關 11 題進行分析。 6、選擇高、中、低能力值受試者各一名, 使用 MATLAB 撰寫程式計算多點記分無 參數 IRT 試題順序結構。 7、計算高、中、低能力值之試題解答機 率。 8、使用 Microsoft Visio 繪製試題順序 結構圖。 9、分析高、中、低能力者所得的試題順序 結構圖。

肆、分析與討論

本文主要探討多點記分無參數反應理 論與順序理論整合模式程式設計與應用, 在此根據受試者能力值上下一個標準差為 臨界點,將全體受試者區分為高、中、低 能力三組。個別於三組選定一受試者運算 繪製出試題順序結構圖,並加以分析討 論。選定之三位受試者相關資料如表 4-1 所示。高能力組試題順序結構圖如圖 4-1;中能力組試題順序結構圖如圖 4-2; 低能力組試題順序結構圖 4-3。 表 4-1 三種能力值受試者之得分情形 編號 組別 能力值 原始得分 排序 71 高能力組 1.453 33.8 9 6 中能力組 0.01 28.43 61 100 低能力組 -1.514 10.32 115

(11)

圖 4-1 能力值 1.453 受試者試題順序結構圖

(12)
(13)

一、個別試題順序結構圖之分析 1、就圖 4-1 而言,試題 9、15、18、19、 20、27 具雙向順序關係,於此能力值 受試者而言具等價關係。觀察試題內 容,其中第 15 題為同分母不退位減 法,第 27 題為異分母不退位減法,第 18、19、20 為同分母退位減法,第 9 題為異分母退位減法,答對以上 6 題, 需要的解題技巧有「通分」、「退位」。 再觀察此一能力受試者的答對機率, 介於.9698 至.9999 之間,由此可知對 高能力者而言,分數減法的「退位」 與「通分」可視為等價,不會造成其 解題的困擾。 試題 25 為同分母不退位減法,解答機 率為.9597,比上述 6 題困難度稍微提 高,推測因計算題降低其答對機率, 此點有待後續研究。試題 23 解答機 率.8924,顯示分數連減題目,就算是 不退位減法也會增加此題的困難度。 試題 1、16、26 為整數或帶分數減法, 難度介於.8845 至.9177 之間,尤其試 題 16 看似簡單的整數減分數讓受試者 最感困難,值得教學者注意。 此受試者針對此 11 題有下列試題順序 存在: 試題 9、15、18、19、20、27 至試題 23 至試題 16。 試題 9、15、18、19、20、27 至試題 25 至試題 1。 試題 9、15、18、19、20、27 至試題 26。 就此受試者而言,試題解答機率介 於.8845 至.9999 之間。 2、就圖 4-2 而言,試題 27 解答機 率.9495,就此受試者而言並不困難, 且此題到其他試題之間都有試題順序 存在,顯示為解答其他試題之基礎。 若扣除試題 27,發現此位受試者之試 題順序結構可區分為 3 部分。 試題 18 分別至試題 1、15、16、19 有 順序結構,試題 18 內涵為 1 減真分 數,顯示為整數或帶分數減法之基礎。 試題 25 至試題 26 至試題 23 具系列順 序結構。試題 25 到試題 1 有順序結構。 試題 9、20 與其他試題之間比較不具 順序性。 就此受試者而言,試題解答機率介 於.6080 至.9495 之間。 3、就圖 4-3 而言,試題順序結構可區分 為 3 組。 試題 1、23、25、26、27 一組,試題 15、16 一組,其餘為一組。 第一組中試題 25 至試題 26 至試題 23 具系列順序結構,試題 25 至試題 1 有 順序結構,試題 27 至試題 23、1 有順 序結構,再觀察試題內容,顯示真分 數通分及不通分減法為本組下位概 念,帶分數退位減法、分數連減是本 組的上位概念。 第二組試題 15 到試題 16 有順序結構。 其他題目沒有順序結構關係。 就此受試者而言,試題解答機率介 於.1806 至.7815 之間。 二、不同能力試題順序結構圖間之比較 分析 1、部分順序結構依能力值不同而有所變 化,低能力值與中能力值的順序結構 圖較為類似,都具有試題 25 至試題 26 至試題 23 的順序性。在高能力值的圖 中此三題雖仍為較上位之概念,但不 具順序結構。 2、在低能力值的圖 4-3 中順序性較少, 且題目間不具等價關係,在高能力值 的圖 4-1 中,順序關係較為顯著,且

(14)

因部分題目相對於受試者已顯得容 易,所以具等價關係。 3、試題 1、16 在三圖中都是上位概念, 顯示整數(大於 1)減真分數、帶分數減 帶分數退位減法(須通分)是分數減法 較為困難的部分;試題 9、11 在低、 中能力值圖中都屬於下位概念,顯示 真分數同分母、異分母減法是低、中 能力者學習分數減法時應精熟的技 巧。

伍、結論與建議

一、 結論 1、本研究採多點記分透過標準規格化得 分及無參數 IRT 模式,進行異質測驗 之試題分析,對照得分表(如附件 二),透過多點記分及標準規格化之得 分,本研究有效樣本 122 人中,只有 18 人有同分情形,再運用積差相關加 權之無參數 IRT 模式運算後之得分, 則已無同分情形,可有效區隔受試者 之得分,增加試券鑑別功能。 2、試題解答機率隨能力提升而遞增,從 低能力之.1806~.7815 到中能力 的.6080~.9495 到高能力 的.8845~.9999。可做為教學者評量時 之參考。 3、能力值不同,試題順序結構隨之不 同,顯示不同能力值分數減法之概念 結構不同,對此單元之學習有不同的 路徑,可供教學者規劃教學順序及個 別化補救教學之參考。 二、 建議 1、透過本研究可繪製出介於最高能力值 至最低能力值之間任一能力值之試題 順序結構圖,分析各能力值受試者之 試題順序性或等價性。若配合電腦適 性化診斷測驗,可在減少試題及時間 的情況下,診斷出學生學習困難所 在,並依循順序結構圖,進行補救教 學。 2、本研究採多點記分,批改試券除選擇 題可電腦閱卷外,其餘完全依賴人 工,曠日費時且可能因人力疲累產生 記分錯誤情形,後續可研發多點記分 電腦閱券,加速閱卷速度並減少閱券 之錯誤率。 3、此次研究以試題為分析單位,進行順 序結構之分析與討論,未來可以概念 最為分析單位,得到個別化概念順序 結構圖,探討不同能力者的單元概念 順序。

參考文獻

[1] 劉湘川,“點二系列相關試題鑑別指數 之值譜數分析及其在 IRT 上之應用”, 測驗統計年刊第八輯,1-22 頁,台中 市,國立台中師範學院,2000。 [2] 劉湘川,“相關加權核平滑化無參數試 題選項特徵曲線估計法及其 IORS,整 合模式”,第五屆華人社會心理與教育 測驗學術研討會,C5.1-10 頁,台北市, 中國測驗學會,國立台灣師範大學, 2001a。 [3] 劉湘川,“核平滑化試題選項特徵曲線 與選項關聯結構整合擴充模式”,測驗 統計年刊第九輯,1-18 頁,台中市, 國立台中師範學院,2001b。 [4] 劉湘川,“高階相關比累進加權核平滑 化試題選項綜合模式”,測驗統計年刊

(15)

第十輯,197-218 頁,台中市,國立台 中師範學院,2002a。 [5] 劉湘川,“多重加權核平滑化試題選項 綜合模式及其轉化應用”,師範學院教 育學術論文發表,嘉義市,國立嘉義 大學,(2002b)。 [6] 劉湘川,“混合型語義結構分析之研 究”,測驗統計年刊第十一輯,1-16 頁,台中市,國立台中師範學院, 2003a。 [7] 劉湘川,“核平滑化試題與選項分析模 式之條件最大概似數值估計”,測驗統 計年刊第十一輯,17-40 頁,台中市, 國立台中師範學院,2003b。 [8] 劉湘川、劉東昇,“態度問題關聯結構 分析方法之研究”,中華心理學會,台 北市,輔仁大學,2003。 [9] 劉湘川、簡茂發,“混合型態度問題關 聯結構分析”,第六屆兩岸心理與教育 測驗學術研討會,中國測驗學會,陜 西師範大學,2004。 [10] 劉湘川,“態度問題與認知試題之關 聯結構分析”,測驗理論講義,台中 健康暨管理學院資訊工程研究所資 訊教育組,2004。 [11] 劉湘川、簡茂發,“多點記分順序理 論”,第七屆兩岸心理與教育測驗學 術研討會(2006.10.29),中國測驗學 會,台北市:國立政治大學,2006。 [12] 劉湘川,“標準規格化多點記分順序 理論”,測驗統計年刊第十五輯上 期,1-12 頁,台中市,國立台中教育 大學,2007a。 [13] 劉湘川,“多點記分核平滑化無參數 IRT 及其應用”,測驗統計年刊第十五 輯上期,台中市,國立台中教育大 學,2007b。 [14] 竹谷誠,“IRS テスト構造法と活用 法,日本教育工學會雑誌,5,93~103, 1980。 [15] 竹谷誠,“評定尺度ラ゙一タの意味分析 法”,日本行動計量學會誌,14,2, 10-17,1987。

[16] Andrich, D, “ Scaling attitude item constructed and scored in the Lickert tradition”, Edcational and

Psychological Measurement, 38,

665-680,1978.

[17] Airasian, P. W., & Bart, W. M., “ordering theory: A new and useful measurement model”, Journal of

Education Technology, Vol.5.

pp.56-60,1973.

[18] Hsiang-Chuan Liu, Tian-Wei Sheu, Bor-Chen Kou, Shu-Chuan Shih, Ching-Lin Shiu, “Item Ordering

Theories Based on Nonparametric Item Response Theory”, IMPS-2003

International Meeting of the Psychometric Society, Sardinia, Italy,2003.

[19] Masters, G. N.,“ A Rasch model for partial credit scoring”,

Psychometrika,47, 149-174 ,1982. [20] Samejima, F, “ Estimation of latent

ability using a response pattern of graded scores”, (No. 17),

Psychometric Monograph,1969. [21] Ramsay,J.O.,“ Kernel smoothing

approaches to nonparametric item characteristic curve estimation”,

(16)

[22] Takeya, “New item structure theorem”,Tokyo, Waseda University,1991.

(17)

附件一 多點記分無參數試題反應理論與順序理論整合模式程式設計與運用」研究試題 序號 內涵 題 號 題目 1 同分母真分數加法 13 請問 13 5 132 + =? c26 7 d 26 10 e 13 7 f 13 10 2 同分母帶分數加帶分數計算(分數 部分和小於 1) 14 請問 16 3 2 16 11 1 + =? c 16 14 3 d 16 14 2 e 16 11 1 f 16 3 3 3 同分母真分數加法(分數部分和大 於或等於 1) 21 請問 6 2 6 5 + =? c 36 10 d 12 7 e 6 10 f 6 7 4 同分母帶分數加帶分數計算(分數 部分和大於或等於 1) 17 請問 11 8 1 11 9 3 + =? c 11 7 4 d 11 9 5 e 11 6 5 f 22 17 4 5 1 減真分數 18 一卷膠帶有 1 公尺,用去 10 4 公尺,還剩幾 公尺? c 10 3 公尺d 10 6 公尺e 9 3 公尺 f 10 4 1 公尺 6 真分數減真分數 25 19 3 1911 − 7 同分母帶分數減真分數(分數夠減) 15 請問 15 12 15 14 3 − =? c 15 2 3 d 15 2 2 e 30 6 3 f 15 1 3 8 正整數減真分數 16 請問 18 13 2− =? c 18 5 d 18 3 1 e 18 5 1 f 18 13 2 9 同分母帶分數減真分數(分數不夠 減) 19 請問 13 9 13 7 3 − =? c 13 11 3 d 13 8 2 e 13 7 2 f 13 11 2 10 同分母帶分數減帶分數(分數不夠 減) 20 請問 13 6 3 13 4 5 − =? c

13

10

2

d 13 11 1 e 13 11 2 f 13 11

(18)

11 同分母分數連加、連減 28 12 11 2 ) 12 7 5 12 9 3 ( + + 12 同分母分數加減混合運算 35 有一枝 12 5公尺的竹竿,和一枝 1 4 5公尺的竹竿, 兩枝竹竿接在一起後全長 23 5公尺,請問接合處 是多少公尺? 11 請問 3 1 187 + =? c21 8 d 18 13 e 18 8 f 54 8 13 異分母真分數加法(分數部分和小 於 1) 10 請問 5 1 7 3 + =? c 35 3 d 35 4 e 35 7 f 35 22 8 請問 18 11 169 + =? c 144 25 1 d 288 99 e 288 20 f 34 20 14 異分母真分數加法(分數部分和大 於或等於 1) 24 5 3 149 + 4 請問 12 1 1 8 5 2 + =?c 3 1 1 d 24 6 3 e 24 17 2 f 24 17 3 15 異分母帶分數加帶分數計算(分數 部分和小於 1) 33 甲、乙杯內的果汁的容量分別是 1159 公升和 2258 公升,這兩杯果汁共有多少公升? 5 請問 15 10 1 5 2 4 + =?c 15 1 6 d 5 4 5 e 15 1 5 f 15 4 2 16 異分母帶分數加帶分數計算(分數 部分和大於或等於 1) 31 榴連和香蕉分別重 27 8 公斤和 1 5 12 公斤,一共 是多少公斤? 12 請問 7 3 1411 − =?c14 5 d 7 8 e 10 8 f 14 8 17 異分母真分數減真分數 7 請問 6 5 9 8 − =?c1d 3 1 e 6 1 f 18 1 27 2 1 7 6 −

(19)

2 請問 3 1 24 17 3 − =? c 21 16 3 d 24 9 3 e 24 16 3 f 24 1 4 18 異分母帶分數減真分數(分數部分 夠減) 26 8 3 9 5 7 − 9 請問 12 5 8 3 3 − =? c 24 23 3 d 24 1 3 e 24 23 2 f 24 9 2 19 異分母帶分數減真分數(分數部分 不夠減) 34 一桶果汁有 214 公升,昨天喝了23 公升,還剩 下多少公升? 1 請問 24 17 4 3 1 7 − =?c 8 3 3 d 3 1 2 e 8 5 1 f 8 5 2 20 異分母帶分數減法(分數部分不夠 減) 32 甲數比乙數多 17 18 ,甲數是 2 2 15 ,乙數是多 少? 23 ) 5 2 3 2 ( 7 3 8 − − 21 異分母分數連加、連減 30 藍色繩子長 437 公尺,白色繩子長 251 公尺,橘 色繩子長 329 公尺,三條繩子共長多少公尺? 3 請問 ) 12 7 1 8 3 2 ( 9 5 2 + − =? c 72 65 d 72 25 3 e 18 7 3 f 18 13 3 22 異分母分數加減混合運算 6 請問 ) 3 2 5 3 ( 15 1 2 − + =?c 15 11 1 d 5 4 1 e 5 4 f 5 1 22 14 8 3 7 4 1 3 2 6 + − 29 罐子裡有 256 公升的水,加入 125 公升,又用去 了 314 公升,還剩下多少公升?

(20)

附件二 多點記分無參數反應理論與順序理論整合模式程式設計與應用研究受試者 得分、能力值一覽表 編號 多點記分 得分 無參數 IRT 得分 能力值 編號 多點記分 得分 無參數 IRT 得分 能力值 67 35 27.14341361 2.403 44 30.86667 24.01437 0.522 12 34.5 26.76825681 2.138 81 30.75 24.00971 0.499 8 34.25 26.53085691 1.971 17 30.9 23.95976 0.476 16 34.18333 26.52171126 1.845 105 30.65 23.85491 0.453 83 34.16667 26.48497002 1.743 59 30.8 23.80907 0.431 1 34.1 26.40768762 1.657 91 30.58333 23.75553 0.408 19 34 26.37308772 1.581 82 30.65 23.74077 0.386 29 34 26.35307542 1.514 90 30.4 23.70488 0.365 71 33.8 26.26813212 1.453 79 30.4 23.65074 0.343 28 33.5 26.01686815 1.396 93 30.35 23.5231 0.321 77 33.4 25.94222452 1.344 103 30.25 23.49973 0.3 85 33.33333 25.87868227 1.296 80 30.05 23.4098 0.279 47 33.25 25.83715829 1.25 112 29.88333 23.38015 0.258 14 33 25.62771072 1.206 120 29.9 23.19438 0.237 72 33.03333 25.61711948 1.165 69 29.83333 23.08283 0.216 86 33 25.6098098 1.126 117 29.66667 23.02885 0.195 75 33 25.58620644 1.088 13 29.53333 22.89684 0.174 116 32.83333 25.44300472 1.052 35 29.2 22.79495 0.153 70 32.66667 25.34313778 1.017 104 29 22.6031 0.133 89 32.53333 25.33585678 0.984 122 29.03333 22.5033 0.112 107 32.5 25.24448275 0.951 20 29 22.48989 0.092 48 32.33333 25.1823414 0.92 66 28.75 22.3491 0.071 11 32.25 25.03281322 0.889 30 28.5 22.10947 0.051 118 32.1 24.99677531 0.859 34 28.38333 22.05773 0.031 31 32.16667 24.98566299 0.83 6 28.43333 21.99946 0.01 46 32.05 24.97033733 0.802 62 28.16667 21.85135 -0.01 37 32 24.87618881 0.774 97 28.05 21.63168 -0.031 92 32.08333 24.87355696 0.747 18 27.66667 21.45594 -0.051 68 32 24.81440668 0.72 53 27.53333 21.43701 -0.071 113 32 24.74300998 0.694 108 27.48333 21.4226 -0.092 73 31.83333 24.69787515 0.668 36 27.51667 21.37504 -0.112 21 31.66667 24.60719655 0.643 40 27.41667 21.36028 -0.133 87 31.41667 24.45508849 0.618 101 27.13333 21.11448 -0.153 4 31.5 24.3914499 0.594 76 26.75 20.90644 -0.174

(21)

編號 多點記分 得分 無參數 IRT 得分 能力值 編號 多點記分 得分 無參數 IRT 得分 能力值 26 31.16667 24.15876878 0.569 102 14.23333 11.07747394 -1.052 3 31 24.01655324 0.546 33 13.46667 10.48075467 -1.088 114 26.28333 20.38201795 -0.237 56 12.76667 9.832516328 -1.126 78 26.3 20.28917724 -0.258 119 26.66667 20.77155 -0.195 54 25.75 20.08358794 -0.279 43 12.66667 9.746534521 -1.165 106 25.7 20.04960438 -0.3 2 12.6 9.581263998 -1.206 121 25.5 19.90658889 -0.321 25 26.91667 20.75608 -0.216 60 25.46667 19.79130941 -0.343 111 11.85 8.858968 -1.25 110 25.23333 19.62550474 -0.365 27 11.65 8.856656 -1.296 94 24.48333 18.96401834 -0.386 45 11.11667 8.40891 -1.344 7 24.55 18.94400162 -0.408 9 11 8.384652 -1.396 84 24.16667 18.85034737 -0.431 58 10.56667 7.999722 -1.453 38 24 18.56697032 -0.453 100 10.31667 7.825718 -1.514 65 23.96667 18.56291771 -0.476 99 10.06667 7.621967 -1.581 109 23.75 18.3000095 -0.499 41 9.416667 7.17799 -1.657 57 23 17.86410552 -0.522 15 7.85 5.934709 -1.743 95 22.85 17.57412092 -0.546 39 7.566667 5.719889 -1.845 64 21.83333 16.90757625 -0.569 55 7.7 5.690626 -1.971 22 21.85 16.82742943 -0.594 10 6.816667 5.16312 -2.138 96 21.6 16.75338844 -0.618 63 6.816667 5.130004 -2.403 88 21.55 16.50731217 -0.643 61 20.75 16.19051661 -0.668 24 20.5 15.9943068 -0.694 49 20.31667 15.75634828 -0.72 42 19.43333 14.98544563 -0.747 74 19.2 14.8223392 -0.774 115 18.83333 14.60952606 -0.802 32 17.5 13.49001443 -0.83 5 17.15 13.25509377 -0.859 52 17.11667 13.23113409 -0.889 23 16.41667 12.74025995 -0.92 51 16.4 12.70467506 -0.951 98 15.45 12.0908301 -0.984 50 14.51667 11.32987493 -1.017

數據

圖 4-2 能力值 0.01 受試者試題順序結構圖
圖 4-3 能力值-1.514 受試者試題順序結構圖

參考文獻

相關文件

對數函數之微分及其 對數函數之微分及其.. 相關之積分

2.此處的排序給分係依照受訪者認為總選項中具重要性的其中三個所作之排序,而權 重之賦予係採反序原則,亦即排序 1(最重要者)給 3 分,排序 2(次重要者)給 2

 相關係數﹕顯示兩個隨機變數之間線性關係的強度和方向,數值介乎-1 和 1。方向以符號劃分,正值表示相同,負值表示相反。強度則以絕對值 大小衡量,一般而言,小於

一、數位電子係於民國 72 年配合工業電子精密化分工修正時,將工業電子職 類分為數位電子、儀表電子、與電力電子等 3 組。民國 82 年為配合電子

(一)初試:採筆試方式,題目類型為選擇題,每科目題數各 50 題(每題 2 分,各題未作 答不予計分,答錯倒扣 0.6 分) 。初試成績達參加複試標準(初試科目其中

(1)考生皆一律參加筆試測驗,以總成績高低順序錄取(缺考或零分者不予錄取),並得視到考人數、考

明龍計算一題兩個數相加的數學題目,不小心算成了相減,所得到的答

本研究依據受試者網路人際程度的不同,將受試者網路人際程度各題項所得的分