國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
18
第三章 研究方法與設計 3.1 研究動機
我們已經知道當試題回答為二元反應時，Mokken 量表資料在單調同質性模 型架構之下具有MLR 的性質，也會符合兩個 SO 性質(SOM 及 SOL)，因此理論上 可以藉由受試者的能力或潛在特質程度 來預估受試者試題回答總分的排序 (SOM)，也可以藉由試題回答的總分高低來預估受試者的能力或潛在特質程度的 排序(SOL)。
由於符合單調同質性模型架構的Mokken 量表資料具有 SOM 及 SOL 性質，
因此我們可以合理使用𝑋+(或𝜃)來對𝜃(或𝑋+)進行大小順序的評估。然而就實務 而言，我們更想了解這樣的做法正確率有多高。儘管Mokken(1971, pp.140-141) 曾提及在此模型假設下，受試者試題回答的測驗總分高低與受試者的能力或潛在 特質程度有高度相關，然而相關的實際數值為多少，文獻中並沒有任何探討。因 此模擬實驗的焦點將擺在排序正確率，以及受試者的能力或潛在特質與試題回答 總分之相關係數的探索，並針對二者間的可能關聯進行了解。
此外，由於在很多種場合下我們都會考慮使用加權總分，例如學校的考試成 績都會用學分數來做加權平均；大考甄試或考試入學時，每個系所所設定的科目 加權也都不同，無非也是希望透過加權可以收到各系所的理想學生。我們前面討 論的都是沒有給予權重之下的測驗總分，因此我們也想知道若是給予試題不同權 重的可能影響。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
19
3.2 研究方法與設計
3.2.1 符合 SOM 性質之正確率定義及模擬設計
SOM 性質告訴我們，若𝜃𝑎 < 𝜃𝑏，則E(𝑋+|θ = 𝜃𝑎) ≤ E(𝑋+|θ = 𝜃𝑏)恆成立，
然而這並不意味著(𝑋+|θ = 𝜃𝑎) ≤ (𝑋+|θ = 𝜃𝑏)也會成立。我們定義若𝜃𝑎 < 𝜃𝑏，滿 足(𝑋+|θ = 𝜃𝑎) ≤ (𝑋+|θ = 𝜃𝑏)這一關係式的兩個受試者為一組符合 SOM 性質的 正確排序，我們想要了解的是，就一群受試者而言，整體正確率的高低。儘管這 個指標實務上是無法計算的，不過我們希望透過模擬實驗，來了解這個數值的可 能範圍。假定受試者的總數為N，則總配對數為𝐶2𝑁= 𝑁×(𝑁−1)2 ，因為經由模擬的 資料，受試者的能力或潛在特質隨機抽取自標準常態分佈，理論上不會有重複的 情況，因此總比較數等同總配對數。
I. 定義3.1 (符合 SOM 性質之正確率)
符合SOM 性質之正確率定義為𝑃𝑆𝑂𝑀 =符合SOM 規則筆數
總比較數 =𝑛𝐶𝑆𝑂𝑀
2𝑁 。 II. 模擬設計
a) 基本設定條件
維度：單一維度
試題回答模式：二元反應(對或錯，以 1 或 0 來表示)
試題個數：5 題
試題難易度範圍：試題難易度 𝛿𝑖 等距散佈於-1.5 至 1.5 之間，亦即 𝛿𝑖 的 取值分別為(-1.5, -0.75, 0, 0.75, 1.5)
試題權重：題目愈難，權重愈高，本研究只探討加權數分別為1, 1, 1, 2, 3 的 情況
受試者能力或潛在特質(𝜃)的分配：標準常態分配
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
20
試題反應函數(IRF)：2PLM, 𝑃(𝑋𝑖|𝜃) = 𝑃𝑖(𝜃) = 𝑒𝛼𝑖(𝜃−𝛿𝑖)
1+𝑒𝛼𝑖(𝜃−𝛿𝑖)
模擬次數：100 次 b) 影響因子
受試者樣本數大小：1000, 2000, 3000 人
鑑別參數：同一題組的五個試題的鑑別參數都設定為相同。我們總共考慮4 種不同的鑑別參數值的情況，分別為0.75, 1.00, 1.25, 1.5。
c) 計算過程
(1) 我們以樣本數 1000 的情況來做說明，依據每一次的模擬資料，總計可以得 出𝐶21000 =1000×9992 = 499,500的配對數。就每一配對 𝑎 與 𝑏 而言，若𝜃𝑏大 於𝜃𝑎，我們分別就原始總分(∑𝑖𝑋𝑖|𝜃𝑏, ∑ 𝑋𝑖 𝑖|𝜃𝑎)以及加權總分(∑ 𝑊𝑖 𝑖𝑋𝑖|𝜃𝑏,
∑ 𝑊𝑖 𝑖𝑋𝑖|𝜃𝑎)進行比較，若𝜃𝑏大於𝜃𝑎，∑𝑖𝑋𝑖|𝜃𝑏 ≥ ∑ 𝑋𝑖 𝑖|𝜃𝑎或是∑𝑖𝑊𝑖𝑋𝑖|𝜃𝑏≥ ∑ 𝑊𝑖 𝑖𝑋𝑖|𝜃𝑎，則視為是一組正確的排序。將所有的配對進行比較後，分別就 原始總分和加權總分加權正確排序數，便可以計算出二者符合 SOM 性質的 正確率𝑃𝑆𝑂𝑀 = 𝑛𝐶𝑆𝑂𝑀
2𝑁 。
(2) 每模擬出一組資料，都可以求出受試者潛在特質和原始測驗總分或是加權測 驗總分的相關係數，藉由 100 次的模擬，我們想要了解相關係數的分佈情 形。
(3) 依據這 100 次模擬的結果，我們也可以比較原始總分和加權總分符合 SOM 之正確率的大小，藉以了解加權或是未加權的情況會有較好的表現。
d) 模擬工具
利用R 程式語言自行撰寫程式，參閱附錄一。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
21
3.2.2 符合 SOL 性質之正確率定義及模擬設計
同理，SOL 性質告訴我們，若𝑠 < 𝑡，則E(θ|𝑋+ = 𝑠) ≤ E(θ|𝑋+ = 𝑡)恆成立，
然而這並不意味著(θ|𝑋+ = 𝑠) ≤ (θ|𝑋+ = 𝑡)也會成立。我們定義若𝑠 < 𝑡，滿足 (θ|𝑋+ = 𝑠) ≤ (θ|𝑋+ = 𝑡)這一關係式的兩個受試者為一組符合 SOM 性質的正確 排序，我們想要了解的是，就一群受試者而言，整體正確率的高低。一如前述，
這個指標實務上是無法計算的，不過我們仍希望透過模擬實驗，來了解這個數值 的可能範圍。假定受試者的總數為N，總配對數為𝐶2𝑁= 𝑁×(𝑁−1)2 ，但受試者的回 答總分(以代號TS 來表示)只有 L 種情況(以未加權來說，受試者的回答總分只有 𝑘 + 1 種情況)，相同回答總分下的受試者則不再比較(θ|𝑋+ = 𝑠) ≤ (θ|𝑋+ = 𝑡)是 否成立，因此總比較數為總配對數扣除每個相同回答總分下的受試者的兩兩配對 數，即為𝑛𝑡𝑜𝑡𝑎𝑙 = 𝐶2𝑁− ∑𝐿𝑙=1𝐶2𝑇𝑆𝑙。
I. 定義3.2 (符合 SOL 性質之正確率)
符合SOL 性質的正確率定義為𝑃𝑆𝑂𝐿 = 符合SOL 規則筆數
總比較數 = 𝑛𝑛𝑆𝑂𝐿
𝑡𝑜𝑡𝑎𝑙。 II. 模擬設計
a) 基本設定條件與影響因子
與前述符合SOM 性質之正確率模擬設計的基本設定條件與影響因子相同。
b) 計算過程
(1) 我們同樣以樣本數 1000 的情況來做說明，就每一配對 𝑎 與 𝑏 而言，若原 始總分∑𝑖𝑋𝑖|𝜃𝑏 > ∑ 𝑋𝑖 𝑖|𝜃𝑎或加權總分∑𝑖𝑊𝑖𝑋𝑖|𝜃𝑏 > ∑ 𝑊𝑖 𝑖𝑋𝑖|𝜃𝑎，就(𝜃𝑏, 𝜃𝑎) 進 行 比 較 。 若 原 始 總 分 ∑𝑖𝑋𝑖|𝜃𝑏> ∑ 𝑋𝑖 𝑖|𝜃𝑎或 加 權 總 分 ∑𝑖𝑊𝑖𝑋𝑖|𝜃𝑏 >
∑ 𝑊𝑖 𝑖𝑋𝑖|𝜃𝑎，且𝜃𝑏 ≥ 𝜃𝑎，則視為是一組正確的排序。將所有的比較進行後，
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
22
分別就原始總分和加權總分加總正確排序數，便可以計算出二者符合 SOL 性質的正確率𝑃𝑆𝑂𝐿 =𝑛𝑛𝑆𝑂𝐿
𝑡𝑜𝑡𝑎𝑙。
(2) 想要了解相關係數的分布情形，與前述符合 SOM 性質之正確率模擬設計的 計算過程第II 部分相同。
(3) 依據這 100 次模擬的結果，我們也可以比較原始總分和加權總分符合 SOL 正確率的大小，藉以了解加權或是未加權的情況會有較好的表現。
c) 模擬工具
利用R 程式語言自行撰寫程式，參閱附錄二。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
23