Mokken尺度量表下潛在特質排序之正確率探討 - 政大學術集成

全文

(1)國立政治大學統計研究所碩士論文. 政治大 Mokken 尺度量表下潛在特質排序之正確率探討立 ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. iv. n Ch 指導教授：江振東 U博士 engchi. 研究生：黃雅雯撰. 中華民國一○二年六月.

(2) 謝辭這兩年在政大統計研究所學習，受到許多老師的教導和幫助。很感謝我的指導教授江振東老師，碩一時修了老師的課，老師上課認真負責，很榮幸可以成為老師的指導學生，接觸以前沒碰過的研究題材，實際研究的這一年來，老師也幫助我們規劃進度，從閱讀參考書目和文獻，每周的進度報告，論文撰寫，最後老師也逐字的幫我修改論文，真的非常謝謝老師。也很感謝任職於中研院人文社會科學研究中心之調查研究中心的廖培珊老師，有這個機會參與中研院計畫，協助與論文題材相關的資料實際分析操作，對. 政治大. 自身的研究題材有更清楚地了解。還有任職於國立台北大學統計學系的林定香老. 立. 師，參與中研院計畫的期間，老師給了我許多建議去做改進。這兩位老師同時也. ‧ 國. 學. 擔任我的學位口試委員，提點我的論文中不足之處，再做修改和探討，很謝謝這兩位老師。. ‧. 也很謝謝我的同學兼室友，在同一指導老師之下，我們互相學習幫助，也時. y. Nat. n. al. er. io. 的論文。. sit. 常鼓勵彼此，還有很感謝我的家人與同學們，給我加油打氣，幫助我順利完成我. Ch. engchi. 1. i Un. v.

(3) 目錄摘要 ....................................................................................................................................................... 7 Abstract ................................................................................................................................................ 8 第一章緒論....................................................................................................................................... 9 1.1 研究背景............................................................................................................................ 9 1.2 研究動機與目的 ...........................................................................................................10 第二章文獻回顧 ...........................................................................................................................11 2.1 Guttman 量表..................................................................................................................11. 政治大. 2.2 Mokken 量表 ...................................................................................................................12. 立. 2.3 試題反應函數(Item Response Function, IRF) ..................................................13. ‧ 國. 學. 2.4 試題反應理論模型(Item Response Theory Models) .....................................13 2.4.1 有母數試題反應理論模型 ...........................................................................13. ‧. 2.4.2 無母數試題反應理論模型 ...........................................................................15. y. Nat. sit. 第三章研究方法與設計 .............................................................................................................18. n. al. er. io. 3.1 研究動機..........................................................................................................................18. i Un. v. 3.2 研究方法與設計 ...........................................................................................................19. Ch. engchi. 3.2.1 符合 SOM 性質之正確率定義及模擬設計 ............................................19 3.2.2 符合 SOL 性質之正確率定義及模擬設計 ..............................................21 第四章研究結果 ...........................................................................................................................23 4.1 符合 SOM 性質之正確率探討 .................................................................................23 4.1.1 未加權情況下符合 SOM 性質之正確率探討........................................23 4.1.2 加權情況下符合 SOM 性質之正確率探討 ............................................28 4.1.3 未加權與加權情況下符合 SOM 性質之正確率比較 .........................34 4.2 符合 SOL 性質之正確率探討...................................................................................39 4.2.1 未加權情況下符合 SOL 性質之正確率探討 .........................................39 2.

(4) 4.2.2 加權情況下符合 SOL 性質之正確率探討 ..............................................44 4.2.3 未加權與加權情況下符合 SOL 性質之正確率比較...........................49 4.3 附加探討..........................................................................................................................55 4.3.1 Pearson 相關係數與 Spearman 等級相關係數之比較......................55 4.3.2 試題給予不同權重情況下之正確率探討...............................................57 4.3.3 受試者樣本數減少情況下之正確率探討...............................................60 第五章實證分析 ...........................................................................................................................70 第六章結論與建議 ......................................................................................................................73 6.1 研究結論..........................................................................................................................73. 治政 6.2 研究建議與方向 ........................................................................................................... 74 大立參考文獻 ............................................................................................................................................76 ‧ 國. 學. 附錄 .....................................................................................................................................................77. ‧. 一、符合 SOM 性質之正確率模擬程式 .......................................................................77. n. al. er. io. sit. y. Nat. 二、符合 SOL 性質之正確率模擬程式 ........................................................................80. Ch. engchi. 3. i Un. v.

(5) 圖表目錄圖 2. 1 1PLM 試題反應函數 ................................................................................................................................................................................................... 14 圖 2. 2 2PLM 試題反應函數 ................................................................................................................................................................................................... 14 圖 4.1. 1 受試者樣本數 1000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈 ..................................... 25 圖 4.1. 2 受試者樣本數 2000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈 ..................................... 25 圖 4.1. 3 受試者樣本數 3000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈 ..................................... 26 圖 4.1. 4 鑑別參數為 0.75，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 .............................................. 26 圖 4.1. 5 鑑別參數為 1.00，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 .............................................. 26 圖 4.1. 6 鑑別參數為 1.25，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 .............................................. 27 圖 4.1. 7 鑑別參數為 1.50，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 .............................................. 27. 政治大. 圖 4.1. 8 加權情況下，受試者樣本數 1000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈 ....... 31. 立. 圖 4.1. 9 加權情況下，受試者樣本數 2000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈 ....... 32. ‧ 國. 學. 圖 4.1. 10 加權情況下，受試者樣本數 3000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈 .... 32 圖 4.1. 11 加權情況下，鑑別參數 0.75，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 ............ 32. ‧. 圖 4.1. 12 加權情況下，鑑別參數 1.00，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 ............ 33 圖 4.1. 13 加權情況下，鑑別參數 1.25，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 ............ 33. Nat. sit. y. 圖 4.1. 14 加權情況下，鑑別參數 1.50，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈 ............ 33. io. er. 圖 4.1. 15 受試者樣本數 1000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 .............. 37 圖 4.1. 16 受試者樣本數 2000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 .............. 37. n. al. Ch. i Un. v. 圖 4.1. 17 受試者樣本數 3000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 .............. 38. engchi. 圖 4.1. 18 鑑別參數為 0.75，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 ................. 38 圖 4.1. 19 鑑別參數為 1.00，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 ................. 38 圖 4.1. 20 鑑別參數為 1.25，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 ................. 39 圖 4.1. 21 鑑別參數為 1.50，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 ................. 39 圖 4.2. 1 受試者樣本數 1000 人，在不同鑑別參數下，相關係數和符合 SOL 正確率的關係分佈 ................................................. 41 圖 4.2. 2 受試者樣本數 2000 人，在不同鑑別參數下，相關係數和符合 SOL 正確率的關係分佈 ................................................. 42 圖 4.2. 3 受試者樣本數 3000 人，在不同鑑別參數下，相關係數和符合 SOL 正確率的關係分佈 ................................................. 42 圖 4.2. 4 鑑別參數為 0.75，在不同受試者樣本數下，相關係數和符合 SOL 正確率的關係分佈 .................................................... 42 圖 4.2. 5 鑑別參數為 1.00，在不同受試者樣本數下，相關係數和符合 SOL 正確率的關係分佈 .................................................... 43 圖 4.2. 6 鑑別參數為 1.25，在不同受試者樣本數下，相關係數和符合 SOL 正確率的關係分佈 .................................................... 43 圖 4.2. 7 鑑別參數為 1.50，在不同受試者樣本數下，相關係數和符合 SOL 正確率的關係分佈 .................................................... 43 4.

(6) 圖 4.2. 8 加權情況下，受試者樣本數 1000 人，在不同鑑別參數下，相關係數和符合 SOL 性質正確率的關係分佈 ........ 46 圖 4.2. 9 加權情況下，受試者樣本數 2000 人，在不同鑑別參數下，相關係數和符合 SOL 性質正確率的關係分佈 ........ 46 圖 4.2. 10 加權情況下，受試者樣本數 3000 人，在不同鑑別參數下，相關係數和符合 SOL 性質正確率的關係分佈 ..... 47 圖 4.2. 11 加權情況下，鑑別參數 0.75，在不同受試者樣本數下，相關係數和符合 SOL 性質正確率的關係分佈 ............. 47 圖 4.2. 12 加權情況下，鑑別參數 1.00，在不同受試者樣本數下，相關係數和符合 SOL 性質正確率的關係分佈 ............. 47 圖 4.2. 13 加權情況下，鑑別參數 1.25，在不同受試者樣本數下，相關係數和符合 SOL 性質正確率的關係分佈 ............. 48 圖 4.2. 14 加權情況下，鑑別參數 1.50，在不同受試者樣本數下，相關係數和符合 SOL 性質正確率的關係分佈 ............. 48 圖 4.2. 15 受試者樣本數 1000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOL 性質正確率的分佈................ 52 圖 4.2. 16 受試者樣本數 2000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOL 性質正確率的分佈................ 52 圖 4.2. 17 受試者樣本數 3000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOL 性質正確率的分佈................ 53 圖 4.2. 18 鑑別參數為 0.75，不同受試者樣本數下，未加權和加權的相關係數與符合 SOL 性質正確率的分佈 ................... 53. 治政大 SOL 性質正確率的分佈................... 54 圖 4.2. 20 鑑別參數為 1.25，不同受試者樣本數下，未加權和加權的相關係數與符合立圖 4.2. 21 鑑別參數為 1.50，不同受試者樣本數下，未加權和加權的相關係數與符合 SOL 性質正確率的分佈 ................... 54 圖 4.2. 19 鑑別參數為 1.00，不同受試者樣本數下，未加權和加權的相關係數與符合 SOL 性質正確率的分佈 ................... 53. ‧ 國. 學. 表 4.1. 1 未加權情況下，符合 SOM 性質正確率 .......................................................................................................................................................... 24. ‧. 表 4.1. 2 未加權情況下，受試者潛在特質和測驗總分之相關係數 ................................................................................................................... 24 表 4.1. 3 加權情況下，符合 SOM 性質正確率 ............................................................................................................................................................... 30. sit. y. Nat. 表 4.1. 4 加權情況下，受試者潛在特質與加權總分之相關係數 ........................................................................................................................ 31. io. er. 表 4.1. 5 模擬 100 次資料中，加權總分正確率比原始總分正確率來得高的比例 .................................................................................... 34 表 4.1. 6 未加權和加權情況下的符合 SOM 性質正確率 .......................................................................................................................................... 35. n. al. i Un. v. 表 4.1. 7 模擬 100 次資料中，加權總分相關係數比原始總分相關係數來得高的比例 ......................................................................... 35. Ch. engchi. 表 4.1. 8 未加權和加權情況下的相關係數 ...................................................................................................................................................................... 36 表 4.2. 1 未加權情況下，符合 SOL 性質正確率 ........................................................................................................................................................... 40 表 4.2. 2 受試者潛在特質和測驗總分之相關係數 ....................................................................................................................................................... 41 表 4.2. 3 加權情況下，符合 SOL 性質正確率 ................................................................................................................................................................ 45 表 4.2. 4 加權情況下，受試者潛在特質與加權總分之相關係數 ........................................................................................................................ 45 表 4.2. 5 未加權和加權情況下的符合 SOL 性質正確率 ............................................................................................................................................ 50 表 4.2. 6 未加權和加權情況下的相關係數 ...................................................................................................................................................................... 51 表 4.3. 1 未加權情況下，Pearson 相關係數與 Spearman 等級相關係數之比較 ....................................................................................... 57 表 4.3. 2 加權情況下，Pearson 相關係數與 Spearman 等級相關係數之比較 ............................................................................................ 57 表 4.3. 3 加權情況下，5 試題權重為(1, 2, 3, 4, 5)，符合 SOM 性質正確率 .................................................................................................. 58 表 4.3. 4 加權情況下，5 試題權重為(1, 1, 1, 2, 3)，符合 SOM 性質正確率 .................................................................................................. 58 5.

(7) 表 4.3. 5 加權情況下，5 試題權重為(1, 2, 3, 4, 5)，符合 SOL 性質正確率 .................................................................................................... 59 表 4.3. 6 加權情況下，5 試題權重為(1, 1, 1, 2, 3)，符合 SOL 性質正確率 .................................................................................................... 59 表 4.3. 7 未加權情況下，受試者樣本數減少時，符合 SOM 性質正確率....................................................................................................... 61 表 4.3. 8 未加權情況下，受試者樣本數 1000 人，符合 SOM 性質正確率 ................................................................................................... 62 表 4.3. 9 未加權情況下，受試者潛在特質與測驗總分之相關係數 ................................................................................................................... 62 表 4.3. 10 加權情況下，受試者樣本數減少時，符合 SOM 性質正確率 ......................................................................................................... 64 表 4.3. 11 加權情況下，受試者樣本數 1000 人，符合 SOM 性質正確率 ..................................................................................................... 64 表 4.3. 12 加權情況下，Pearson 相關係數與 Spearman 等級相關係數之比較 ......................................................................................... 65 表 4.3. 13 未加權情況下，符合 SOL 性質正確率 ........................................................................................................................................................ 67 表 4.3. 14 未加權情況下，受試者樣本數 1000 人，符合 SOL 性質正確率.................................................................................................. 67 表 4.3. 15 加權情況下，符合 SOL 性質正確率.............................................................................................................................................................. 68. 政治大. 表 4.3. 16 加權情況下，受試者樣本數 1000 人，符合 SOL 性質正確率 ....................................................................................................... 69. 立. 表 5. 1 問卷試題─三種回答 .................................................................................................................................................................................................... 70. ‧ 國. 學. 表 5. 2 問卷試題─二元反應回答 .......................................................................................................................................................................................... 70 表 5. 3 各個問項的答對機率及問項困難度排序位置 ................................................................................................................................................. 71. ‧. 表 5. 4 未加權的原始總分及加權總分的次數分配表 ................................................................................................................................................. 72 表 5. 5 未加權的原始總分次數分配表 ............................................................................................................................................................................... 72. n. al. er. io. sit. y. Nat. 表 5. 6 加權總分的次數分配表 ............................................................................................................................................................................................... 72. Ch. engchi. 6. i Un. v.

(8) 摘要 Mokken (1971) 提出兩個無母數反應試題理論模型，包含單調同質性模型 (MHM)和雙重單調同質性模型(DMM)，Grayson (1988) 和 Huynh (1994)說明並證明出在單調同質性模型架構之下，受試者二元反應試題的回答總分與受試者的潛在特質具有 MLR(monotone likelihood ratio) 的性質，因此也具有 SOM(stochastic ordering of the manifest variable)及 SOL(stochastic ordering of the latent trait)這兩個隨機排序(stochastic ordering)的特性。另外，Mokken (1971) 也提到在 Mokken 量表下，受試者的試題回答總分與受試者的潛在特質. 政治大. 有高度相關。然而這些好的特性都僅只於理論上的說法，實務的應用上並沒有實. 立. 際的數字可作為使用者的參考依據。本研究將利用模擬實驗的方式，就上述議題. ‧ 國. 學. 作探討。. 模擬結果顯示，未加權的時候，使用答題總分來排序受試者的潛在特質或藉. ‧. 由受試者的潛在特質來預估其答題總分之正確率都會隨著鑑別參數的增加而增. y. Nat. sit. 加，前者正確率約有七成以上，後者正確率則大約有八成以上；受試者的潛在特. n. al. er. io. 質與其答題總分的相關係數也隨著鑑別參數增加而增加，大約介於 0.50 與 0.80 之間。. Ch. engchi. 7. i Un. v.

(9) Abstract Mokken (1971) proposed two Nonparametric Item Response Theory Models, the Monotone Homogeneity Model (MHM) and the Double Monotonicity Model (DMM). Under MHM, Grayson (1988) and Huynh (1994) showed that the unweighted total score for dichotomous items has monotone likelihood ratio (MLR) in the latent trait 𝜃, which in turn implies two stochastic ordering (SO) properties, namely SOM (stochastic ordering of the manifest variable) and SOL (stochastic ordering of the latent trait). In addition, Mokken (1971) also. 政治大. mentioned that the total score were highly correlated with the latent trait for. 立. subjects. However, these properties are only theoretical arguments, and there are. ‧ 國. 學. no actual figures that can serve as a guideline for practitioners regarding how good the properties are. We hence try to answer some of the questions through. ‧. simulation experiments in this study.. y. Nat. sit. Simulation results show that the accuracy rate of using unweighted total. n. al. er. io. score to rank the latent trait of subjects and the accuracy rate of using the latent. i Un. v. trait to predict the total score for subjects will increase with the discrimination. Ch. engchi. parameters. The former is about more than 70%, while the latter is about more than 80%. The correlation coefficients between the total score and the latent trait of subjects will also increase with the discrimination parameters, ranging between 0.50 and 0.80.. 8.

(10) 第一章緒論 1.1 研究背景試題反應理論模型分為有母數試題反應理論模型 (Parametric Item Response Theory Models) 及無母數試題反應理論模型(Nonparametric Item Response Theory Models)，其中 Rasch 模型無疑是最早且最被廣泛使用的有母數試題反應理論模型之一；而 Mokken(1971)提出的 Mokken 量表模型則是屬於無母數試題反應理論模型的範疇，架構於單維度(Unidimensionality)、局部獨立. 政治大相交性(Nonintersecting Item Response Functions)這四個假設，其中單調同質性立. 性(Local Independence)、單調性(Monotonicity of Item Response Functions)及非. ‧ 國. 學. 模型(The Monotone Homogeneity Model, MHM)由單維度、局部獨立性及單調性這三個假設所建構而成，而雙重單調性模型(The Double Monotonicity Model,. ‧. DMM)則再加上非相交性這一個假設建構而成，因此雙重單調性模型也可以說是. sit. y. Nat. 單調同質性模型的一種特例。. n. al. er. io. 在二元反應的試題之下，Grayson (1988) 和 Huynh (1994)說明並證明出若. i Un. v. 是符合單維度、局部獨立性和單調性這三個假設，也就是在單調同質性模型架構. Ch. engchi. 之下，受試者的回答測驗總分 ( 𝑋+ ) 與受試者的潛在特質 ( 𝜃 ) 之下具有 MLR(monotone likelihood ratio)的性質，而只要符合 MLR 性質也就會符合兩個 SO 特性(Lehmann, 1959, p.74)，分別是 SOM(stochastic ordering of the manifest variable)及 SOL(stochastic ordering of the latent trait)，其中 SOM 指的是當受試者的潛在特質越高，其預期的回答測驗總分也會越高；而 SOL 指的是當受試者的回答總分越高，其預期的潛在能力也會越高。. 9.

(11) 1.2 研究動機與目的在二元反應的前提下，儘管我們已知 Mokken 量表在單調同質性模型架構之下具有 MLR 性質，也會符合兩個 SO 性質(SOM 及 SOL)，但實務上我們並不知道這兩個 SO 性質的正確率有多高，也就是說藉由受試者的潛在特質來預測其回答總分，或其反應回答總分來排序其潛在特質究竟有多可靠，則無從得知。再者 Mokken (1971,. pp.140-141) 曾提到在 Mokken 量表下，受試者的回答總分與. 受試者的潛在特質有高度相關，但文獻中並未清楚說明高度相關的實際數值究竟為何？針對這些議題，我們希望藉由模擬實驗的方式來取得較為具體的數字，藉以做為實務使用上的參考依據。. 立. 政治大. 此外，加權方法在實務應用上也常被廣泛使用，例如大考時的入學成績經常. ‧ 國. 學. 都是經由加權分數的計算來錄取適當的學生。就目前有關 Mokken 量表的分析與應用上，似乎不曾見到加權概念的引進，因此我們也打算就加權與否進行探討，. ‧. 並與未加權的情況做比較。. n. er. io. sit. y. Nat. al. Ch. engchi. 10. i Un. v.

(12) 第二章文獻回顧在日常生活中有一些我們所耳熟能詳但卻無法真實測量其數值大小的個人特質，例如個人的能力(智力高低)或是態度(樂觀程度、宗教信仰虔誠度)等，我們稱做潛在特質(latent trait)，通常用 𝜃 來表示。由於這些特質欠缺類似貨幣單位或體重計這些具有實體測量單位的工具或儀器，因此很難加以測量。一般常見的解決方式是利用一組蘊含大小順序的試題所建構而成的量表，作為衡量這些個人潛在特質高低的一種工具。實務上，每一試題的反應選項個數可以是多元的，不過由於文獻與實務應用上，最常見的多半是二元選項，因此我們也將只局限於. 政治大. 討論回答是二元反應的試題(dichotomous items)，將回答區分為正向或負向，分別以 1 或是 0 來表示。. 立. ‧ 國. 學. 2.1 Guttman 量表. ‧. Guttman 量表(Guttman scale)是由一組難度程度不一(通常由簡單至難)的試. y. Nat. sit. 題所組成，研究者希望能夠根據受試者對這組試題的回答模式，加以分析，藉以. n. al. er. io. 用來估計受試者的能力或潛在特質。為了分析這種類型的量表，Guttman (1950). Ch. 提出下述三項模型假設，做為資料分析的前提。. engchi. i Un. v. 1.. 題組中的每一試題都在檢測相同的潛在特質。. 2.. 當受試者的能力或潛在特質(𝜃)高於試題的困難度(𝛿)時，回答一定是一個正向(或正確)答案。此外，只要較困難的試題回答正向答案時，則較簡單的試題也一定會回答正向答案。. 3.. 受試者對每一問項的回答只與其能力或潛在特質有關係，且受試者對每一試題的回答都是相互獨立的。. 就一組 Guttman 量表而言，依據上述假設我們可以得知當一個人的能力(𝜃) 高於試題的困難度(𝛿)時，他(她)一定會回答正向答案；而只要較難的試題回答正向答案時，則較簡單的試題也一定會回答正向答案。因此 Guttman 量表也可 11.

(13) 稱為決定論累積量表(deterministic cumulative scale)，但若是違反上述的模型假設，將被視為是一種錯誤回答，稱做 Guttman error。針對一份 Guttman 量表進行分析時，首先利用受試者對該組試題各題目回答正向答案的比例，排序出這組試題各問題的難易程度。在沒有出現 Guttman error 的情況下，由於回答正向答案的總題數(total score)與受試者的能力或潛在特質之間存在正向關係，因此我們可以使用此量表來進行受試者的能力或潛在特質大小的評估。. 2.2 Mokken 量表. 治政當有 𝑘 個二元反應試題時，理論上總共會有 2大個回答模式，但是 Guttman 立量表卻只能接受其中的 𝑘 + 1 個回答模式。在實務上，因為受試者的回答不能 𝑘. ‧ 國. 學. 保證全都符合 Guttman 量表條件，因此即使是設計符合 Guttman 量表條件的一. ‧. 組試題，也會有 Guttman error 的出現，造成分析上的困難。. y. Nat. Mokken(1971)提出 Mokken 量表的想法，以 Guttman 量表為基礎，容許. er. io. sit. Guttman error 的出現。依據 Loevinger (1948)所提出的一個量表係數(scalability coefficient) 的想法， Mokken(1960) 進一步引進 Loevinger's coefficient of. al. n. iv n C homogeneity (簡記為 H)，來做為可否透過量表來評估受試者潛在特質的指標。 hengchi U. 這個指標架構於實際觀察到的 Guttman error 的個數(Err(obs))及在統計獨立之 𝐸𝑟𝑟(𝑜𝑏𝑠). 下 Guttman error 的預期個數(Err(exp))的比較，定義如下：H = 1 − 𝐸𝑟𝑟(𝑒𝑥𝑝)。 Mokken 建議 H 值至少要大於 0.3 才是份適合採用的量表。在此前提下，儘管存存 Guttman error，但是 Mokken(1971)指出回答正向答案的總題數與受試者的能力或潛在特質有很高的相關性。. 12.

(14) 2.3 試題反應函數(Item Response Function, IRF) 就二元反應的試題而言，設定隨機變數 𝑋𝑖 為第 𝑖 試題回答的反應值，若答對或回答正向答案，則𝑋𝑖 = 1；反之，若答錯或回答負向答案，則𝑋𝑖 = 0。試題反應函數可以定義為 𝑃(𝑋𝑖 = 1|𝜃) = 𝑃𝑖 (𝜃)，當人的能力或潛在特質越高，試題反應函數的對應值也會上升，也就是答對或回答正向答案的機率也會越高。. 2.4 試題反應理論模型(Item Response Theory Models) 試題反應理論是以試題反應函數為出發點，依據受試者的答題結果，經由數. 政治大. 學模式的運算，來推估受試者的能力或是潛在特質。試題反應理論模型大體上分. 立. 為兩大類，有母數試題反應理論模型(parametric IRT models)及無母數試題反應. ‧ 國. 學. 理論模型(nonparametric IRT models)。. 單一參數邏輯斯模型(1-parameter logistic model, 1PLM)：. sit. y. Nat. I.. ‧. 2.4.1 有母數試題反應理論模型. n. al. er. io. 單一參數邏輯斯模型也常被叫做 Rasch 模型(Rasch model)。令隨機變數 𝜃. i Un. v. 是表示人的能力或潛在特質，𝛿𝑖 是表示試題困難度的位置，則 Rasch 模型的試題反應函數定義為：𝑃𝑖 (𝜃) =. Ch. engchi. 𝑒 (𝜃−𝛿𝑖 ). 。圖 2.1 所示為受試者的能力或潛在特質(𝜃). 1+𝑒 (𝜃−𝛿𝑖 ). 具有標準常態分佈，試題困難度由左至右(𝛿1 , 𝛿2 , 𝛿3 , 𝛿4 , 𝛿5 )分別是(-1.5, -0.75, 0, 0.75, 1.5)的情況。對於第 𝑖 試題，當受試者的能力或潛在特質(𝜃)恰好等於試題困難度(𝛿𝑖 )時， 𝑃𝑖 (𝛿𝑖 = 𝜃) = 0.5。如圖 2.1 所示，受試者的能力或潛在特質為 0.75，試題困難度也為 0.75 時，𝑃4 (𝛿4 = 0.75) = 0.5。. 13.

(15) 圖 2. 1 1PLM 試題反應函數. II.. 政治大. 二參數邏輯斯模型(2-parameter logistic model, 2PLM)：. 立. 二參數邏輯斯模型，除了 1PLM 擁有的兩個參數 𝜃 和 𝛿𝑖 外，再加入一個. ‧ 國. 學. 參數 𝛼𝑖 來表示試題反應函數在 𝜃 = 𝛿𝑖 的斜率，可以用來反應試題的鑑別能力， 𝑒 [𝛼𝑖 (𝜃−𝛿𝑖 )]. 。圖 2.2 所示為受試者的能力或潛在特質. 1+𝑒 [𝛼𝑖 (𝜃−𝛿𝑖 )]. ‧. 2PLM 的 IRF 定義為 𝑃𝑖 (𝜃) =. y. Nat. (𝜃)具有標準常態分佈，試題困難度由左至右(𝛿1 , 𝛿2 , 𝛿3 , 𝛿4 , 𝛿5 )分別是(-1.5, -0.75,. er. io. sit. 0, 0.75, 1.5)，而鑑別參數由左至右(𝛼1 , 𝛼2 , 𝛼3 , 𝛼4 , 𝛼5 )分別是(1, 0.7, 2, 3, 1.5)的情況。由圖形來看，鑑別參數值越高，鑑別能力也越高，因為鑑別參數的不同，. n. al. ni Ch 表示試題反應函數斜率會不同而有相交的情形發生。 U engchi. 圖 2. 2 2PLM 試題反應函數. 14. v.

(16) 2.4.2 無母數試題反應理論模型無母數試題反應理論模型中，試題反應函數的基本要求為 𝑃𝑖 (𝜃𝑎 ) ≤ 𝑃𝑖 (𝜃𝑏 ), 𝜃𝑎 < 𝜃𝑏 亦即當人的能力或潛在特質越高，試題反應函數的值也會上升，也就是答對或回答正向答案的機率越高。由於除此之外試題反應函數的形式並沒有特別的限定，因此實務上，使用無母數試題反應理論模型來進行問題的探討較有彈性。 I.. Mokken 量表模型基本假設. a). 單維度(unidimensionality). 政治大在一份問卷裡，我們希望所有試題都是針對一項能力或潛在特質來設計，也立. ‧ 國. 學. 就是我們主要想了解的能力或潛在特質，因此稱為單維度假設。會如此設定的主要原因是實務上研究者希望每次測驗的測量都只檢測一個能力或潛在特質，這樣. ‧. 可以避免受到其他因素的干擾。. y. Nat. io. sit. 局部獨立性(local independence). er. b). 第二個假設為局部獨立性，意義上是說每位受試者對某一試題的回答不會影. al. n. iv n C 響到其他試題的回答。也就是說受試者對試題間的回答是獨立的，唯一會影響受 hengchi U 試者回答的因素，那便是受試者的能力或潛在特質。. 令X = (𝑋1 , ⋯ , 𝑋𝑘 )，x = (𝑥1 , ⋯ , 𝑥𝑘 )，其中 𝑥𝑖 為受試者在第 𝑖 個試題的實際回答值。在局部獨立性的前提下，受試者的反應為x = (𝑥1 , ⋯ , 𝑥𝑘 )的發生機率為P(X = x|𝜃) = ∏𝑘𝑖=1 P(𝑋𝑖 = 𝑥𝑖 |𝜃)。 c). 單調性(monotonicity of item response functions) 單調性指的是正向的反應條件機率值 P(𝑋𝑖 = 1|𝜃) 為 𝜃 的單調非遞減函. 數，因此就任意試題 𝑖 而言，隨著人的能力或潛在特質(𝜃)上升，正向的反應條件機率值 P(𝑋𝑖 = 1|𝜃) 也會增加。以數學式子來表示，即為 15.

(17) P(𝑋𝑖 = 1|𝜃𝑎 ) ≤ P(𝑋𝑖 = 1|𝜃𝑏 ), 𝜃𝑎 < 𝜃𝑏 這事實上也就是無母數試題反應理論模型的基本要求。 d). 非相交性(nonintersecting item response functions) 所謂非相交性，指的是試題反應函數彼此間不相交，也就是說無論人的能力. 或潛在特質為何，對於所有試題難易程度的認知完全相同，因此全部試題正向反應條件機率值的大小排序是相同的 P(𝑋1 = 1|𝜃) ≤ P(𝑋2 = 1|𝜃) ≤ ⋯ ≤ P(𝑋𝑘 = 1|𝜃), 對於所有的 𝜃 𝑃1 (𝜃) ≤ 𝑃2 (𝜃) ≤ ⋯ ≤ 𝑃𝑘 (𝜃), 對於所有的 𝜃. 政治大. 實際上，1PLM 是有母數試題反應理論模型中唯一具有非相交性的模型。. 立. 在此四個假設前提之下，Mokken(1971)提出兩個無母數試題反應理論模. ‧ 國. ‧. II.. 學. 型：. 單調同質性模型(The Monotone Homogeneity Model, MHM). y. Nat. io. sit. 單調同質性模型是由前述的前三個假設所建構而成，分別是單維度、局部獨. n. al. er. 立性和單調性。若現在有 𝑘 個二元反應的試題，令正向回答為 1，負向回答為. Ch. i Un. v. 0，則受試者全部試題的回答總分(亦即正向回答的總題數)我們可以用以下式子來表示. engchi 𝑘. 𝑋+ = ∑ 𝑋𝑖 ,. 0 ≤ 𝑋+ ≤ 𝑘. 𝑖=1. 在單調同質性模型之下，Grayson (1988)和 Huynh (1994)說明並證明出受試者的回答總分(𝑋+ )與受試者的潛在特質(𝜃)具有 MLR(monotone likelihood ratio) 𝑃(𝑋 =𝑡|𝜃). 的性質。所謂的 MLR 表示當0 ≤ 𝑠 < 𝑡 ≤ 𝑘，g(𝑠, 𝑡; 𝜃) = 𝑃(𝑋+=𝑠|𝜃) 是 𝜃 的非遞減 +. 函數，受試者的回答總分(𝑋+ )與受試者的潛在特質(𝜃)具有正向關係，而只要符合 MLR 性質也就會符合兩個隨機排序(stochastic ordering 或 SO)特性(Lehmann, 16.

(18) 1959, p.74)，反之則不然。 SOL(stochastic ordering of the latent trait 𝜃 by 𝑋+ )： P(θ > 𝑐|𝑋+ = 𝑠) ≤ P(θ > 𝑐|𝑋+ = 𝑡), 當 0 ≤ 𝑠 < 𝑡 ≤ 𝑘 其實這也就是等同於 E(θ|𝑋+ = 𝑠) ≤ E(θ|𝑋+ = 𝑡), 當 0 ≤ 𝑠 < 𝑡 ≤ 𝑘 這意味著受試者回答的分數總分數(𝑋+ )越高時，受試者的能力或潛在特質的預期值也會越高。因此在單調同質性模型之下，縱然受試者的能力或潛在特質程度無法確切得知，但我們還是可以藉由試題回答的總分高低來排序受試者的能力或潛在特質程度。. 治政若是將 𝑋 和 𝜃 的角色對調，我們也可以得到對應的關係式。大立 SOM(stochastic ordering of the latent trait 𝑋 by 𝜃)： +. +. ‧ 國. 學. P(𝑋+ ≥ 𝑥+ |θ = 𝜃𝑎 ) ≤ P(𝑋+ ≥ 𝑥+ |θ = 𝜃𝑏 ), 當 𝜃𝑎 < 𝜃𝑏. ‧. 等同於. sit. y. Nat. E(𝑋+ |θ = 𝜃𝑎 ) ≤ E(𝑋+ |θ = 𝜃𝑏 ), 當 𝜃𝑎 < 𝜃𝑏. io. al. n. (𝑋+ )也越高。. er. 上面兩個式子表示受試者的能力或潛在特質程度越高時，受試者的預期回答總分. Ch. engchi. i Un. v. III. 雙重單調性模型(The Double Monotonicity Model, DMM) 雙重單調性模型是由前述的那四個假設所建構而成，分別是單維度、局部獨立性、單調性和非相交性。雙重單調性模型和單調同質性模型相比，多了「非相交性」這個限制，因此若是為雙重單調性模型則一定也會是單調同質性模型，反之則不然。雙重單調性模型除了可以探討受試者的能力或潛在特質程度高低外，也可以排序試題的難易度(Mokken, 1971)。. 17.

(19) 第三章研究方法與設計 3.1 研究動機我們已經知道當試題回答為二元反應時，Mokken 量表資料在單調同質性模型架構之下具有 MLR 的性質，也會符合兩個 SO 性質(SOM 及 SOL)，因此理論上可以藉由受試者的能力或潛在特質程度來預估受試者試題回答總分的排序 (SOM)，也可以藉由試題回答的總分高低來預估受試者的能力或潛在特質程度的排序(SOL)。. 政治大因此我們可以合理使用𝑋 立 (或𝜃)來對𝜃(或𝑋 )進行大小順序的評估。然而就實務. 由於符合單調同質性模型架構的 Mokken 量表資料具有 SOM 及 SOL 性質， +. +. ‧ 國. 學. 而言，我們更想了解這樣的做法正確率有多高。儘管 Mokken(1971, pp.140-141) 曾提及在此模型假設下，受試者試題回答的測驗總分高低與受試者的能力或潛在. ‧. 特質程度有高度相關，然而相關的實際數值為多少，文獻中並沒有任何探討。因. sit. y. Nat. 此模擬實驗的焦點將擺在排序正確率，以及受試者的能力或潛在特質與試題回答. n. al. er. io. 總分之相關係數的探索，並針對二者間的可能關聯進行了解。. i Un. v. 此外，由於在很多種場合下我們都會考慮使用加權總分，例如學校的考試成. Ch. engchi. 績都會用學分數來做加權平均；大考甄試或考試入學時，每個系所所設定的科目加權也都不同，無非也是希望透過加權可以收到各系所的理想學生。我們前面討論的都是沒有給予權重之下的測驗總分，因此我們也想知道若是給予試題不同權重的可能影響。. 18.

(20) 3.2 研究方法與設計 3.2.1 符合 SOM 性質之正確率定義及模擬設計 SOM 性質告訴我們，若𝜃𝑎 < 𝜃𝑏 ，則E(𝑋+ |θ = 𝜃𝑎 ) ≤ E(𝑋+ |θ = 𝜃𝑏 )恆成立，然而這並不意味著(𝑋+ |θ = 𝜃𝑎 ) ≤ (𝑋+ |θ = 𝜃𝑏 )也會成立。我們定義若𝜃𝑎 < 𝜃𝑏，滿足(𝑋+ |θ = 𝜃𝑎 ) ≤ (𝑋+ |θ = 𝜃𝑏 )這一關係式的兩個受試者為一組符合 SOM 性質的正確排序，我們想要了解的是，就一群受試者而言，整體正確率的高低。儘管這個指標實務上是無法計算的，不過我們希望透過模擬實驗，來了解這個數值的可 𝑁×(𝑁−1). 能範圍。假定受試者的總數為 N，則總配對數為𝐶2𝑁 =. ，因為經由模擬的政治大資料，受試者的能力或潛在特質隨機抽取自標準常態分佈，理論上不會有重複的立 2. ‧ 國. 定義 3.1 (符合 SOM 性質之正確率) 𝑛𝑆𝑂𝑀 𝐶2𝑁. 。. sit. =. n. al. er. 模擬設計. io. II.. 總比較數. ‧. 符合 SOM 規則筆數. Nat. 符合 SOM 性質之正確率定義為𝑃𝑆𝑂𝑀 =. y. I.. 學. 情況，因此總比較數等同總配對數。. Ch. i Un. v. a). 基本設定條件. . 維度：單一維度. . 試題回答模式：二元反應(對或錯，以 1 或 0 來表示). . 試題個數：5 題. . 試題難易度範圍：試題難易度 𝛿𝑖 等距散佈於-1.5 至 1.5 之間，亦即 𝛿𝑖 的. engchi. 取值分別為(-1.5, -0.75, 0, 0.75, 1.5) . 試題權重：題目愈難，權重愈高，本研究只探討加權數分別為 1, 1, 1, 2, 3 的情況. . 受試者能力或潛在特質(𝜃)的分配：標準常態分配 19.

(21) 𝑒 𝛼𝑖 (𝜃−𝛿𝑖 ). . 試題反應函數(IRF)：2PLM, 𝑃(𝑋𝑖 |𝜃) = 𝑃𝑖 (𝜃) =. . 模擬次數：100 次. b). 影響因子. . 受試者樣本數大小：1000, 2000, 3000 人. . 鑑別參數：同一題組的五個試題的鑑別參數都設定為相同。我們總共考慮 4. 1+𝑒 𝛼𝑖 (𝜃−𝛿𝑖 ). 種不同的鑑別參數值的情況，分別為 0.75, 1.00, 1.25, 1.5。 c). 計算過程. 政治大. (1) 我們以樣本數 1000 的情況來做說明，依據每一次的模擬資料，總計可以得 1000×999 2. 立. = 499,500的配對數。就每一配對 𝑎 與 𝑏 而言，若𝜃𝑏 大. 學. ‧ 國. 出𝐶21000 =. 於𝜃𝑎 ，我們分別就原始總分(∑𝑖 𝑋𝑖 | 𝜃𝑏 , ∑𝑖 𝑋𝑖 | 𝜃𝑎 )以及加權總分(∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑏 ,. ‧. ∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑎 )進行比較，若𝜃𝑏 大於𝜃𝑎 ，∑𝑖 𝑋𝑖 | 𝜃𝑏 ≥ ∑𝑖 𝑋𝑖 | 𝜃𝑎 或是∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑏 ≥. y. Nat. ∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑎，則視為是一組正確的排序。將所有的配對進行比較後，分別就. 𝐶2𝑁. al. 。. n. 𝑛𝑆𝑂𝑀. er. io. 正確率𝑃𝑆𝑂𝑀 =. sit. 原始總分和加權總分加權正確排序數，便可以計算出二者符合 SOM 性質的. Ch. engchi. i Un. v. (2) 每模擬出一組資料，都可以求出受試者潛在特質和原始測驗總分或是加權測驗總分的相關係數，藉由 100 次的模擬，我們想要了解相關係數的分佈情形。 (3) 依據這 100 次模擬的結果，我們也可以比較原始總分和加權總分符合 SOM 之正確率的大小，藉以了解加權或是未加權的情況會有較好的表現。 d). 模擬工具. 利用 R 程式語言自行撰寫程式，參閱附錄一。. 20.

(22) 3.2.2 符合 SOL 性質之正確率定義及模擬設計同理，SOL 性質告訴我們，若𝑠 < 𝑡，則E(θ|𝑋+ = 𝑠) ≤ E(θ|𝑋+ = 𝑡)恆成立，然而這並不意味著(θ|𝑋+ = 𝑠) ≤ (θ|𝑋+ = 𝑡)也會成立。我們定義若𝑠 < 𝑡，滿足 (θ|𝑋+ = 𝑠) ≤ (θ|𝑋+ = 𝑡)這一關係式的兩個受試者為一組符合 SOM 性質的正確排序，我們想要了解的是，就一群受試者而言，整體正確率的高低。一如前述，這個指標實務上是無法計算的，不過我們仍希望透過模擬實驗，來了解這個數值 𝑁×(𝑁−1). 的可能範圍。假定受試者的總數為 N，總配對數為𝐶2𝑁 =. 2. ，但受試者的回. 答總分(以代號 TS 來表示)只有 L 種情況(以未加權來說，受試者的回答總分只有. 政治大. 𝑘 + 1 種情況)，相同回答總分下的受試者則不再比較(θ|𝑋+ = 𝑠) ≤ (θ|𝑋+ = 𝑡)是. 立. 否成立，因此總比較數為總配對數扣除每個相同回答總分下的受試者的兩兩配對 𝑇𝑆. ‧ 國. 定義 3.2 (符合 SOL 性質之正確率) 𝑛. y. = 𝑛 𝑆𝑂𝐿 。 𝑡𝑜𝑡𝑎𝑙. er. al. 總比較數. n. a). 模擬設計. io. II.. 符合 SOL 規則筆數. sit. Nat. 符合 SOL 性質的正確率定義為𝑃𝑆𝑂𝐿 =. ‧. I.. 學. 數，即為𝑛𝑡𝑜𝑡𝑎𝑙 = 𝐶2𝑁 − ∑𝐿𝑙=1 𝐶2 𝑙 。. Ch. 基本設定條件與影響因子. engchi. i Un. v. 與前述符合 SOM 性質之正確率模擬設計的基本設定條件與影響因子相同。 b). 計算過程. (1) 我們同樣以樣本數 1000 的情況來做說明，就每一配對 𝑎 與 𝑏 而言，若原始總分∑𝑖 𝑋𝑖 | 𝜃𝑏 > ∑𝑖 𝑋𝑖 | 𝜃𝑎 或加權總分∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑏 > ∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑎 ，就(𝜃𝑏 , 𝜃𝑎 ) 進行比較。若原始總分 ∑𝑖 𝑋𝑖 | 𝜃𝑏 > ∑𝑖 𝑋𝑖 | 𝜃𝑎 或加權總分 ∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑏 > ∑𝑖 𝑊𝑖 𝑋𝑖 | 𝜃𝑎，且𝜃𝑏 ≥ 𝜃𝑎，則視為是一組正確的排序。將所有的比較進行後，. 21.

(23) 分別就原始總分和加權總分加總正確排序數，便可以計算出二者符合 SOL 𝑛. 性質的正確率𝑃𝑆𝑂𝐿 = 𝑛 𝑆𝑂𝐿 。 𝑡𝑜𝑡𝑎𝑙. (2) 想要了解相關係數的分布情形，與前述符合 SOM 性質之正確率模擬設計的計算過程第 II 部分相同。 (3) 依據這 100 次模擬的結果，我們也可以比較原始總分和加權總分符合 SOL 正確率的大小，藉以了解加權或是未加權的情況會有較好的表現。 c). 模擬工具. 利用 R 程式語言自行撰寫程式，參閱附錄二。. 立. 政治大. ‧. ‧ 國. 學. n. er. io. sit. y. Nat. al. Ch. engchi. 22. i Un. v.

(24) 第四章研究結果 4.1 符合 SOM 性質之正確率探討 4.1.1 未加權情況下符合 SOM 性質之正確率探討我們所要探討的影響因子有受試者樣本數(𝑁)跟鑑別參數(𝛼)，受試者樣本數分別考慮 1000、2000 及 3000 人的情況，而鑑別參數(𝛼)則是考慮 0.75、1.00、 1.25 及 1.50 四種情況。在這兩種影響因子的不同組合之下，我們希望了解符合 SOM 性質正確率及受試者潛在特質和測驗總分相關係數有甚麼變化。在受試者. 政治大. 樣本數(𝑁)跟鑑別參數(𝛼)的各種組合之下，依據模擬 100 次的資料，列出包括. 立. 最小值、第一四分位數、中位數、平均數、第三四分位數、最大值及標準差等具. ‧ 國. 學. 代表性的統計量，我們得到符合 SOM 性質正確率的模擬結果如表 4.1.1 所示，而相關係數的模擬結果則呈現於表 4.1.2。. ‧. 由表 4.1.1 可以發現，整體而言，符合 SOM 性質正確率的最小值為 0.7937，. y. Nat. io. sit. 而最大值為 0.8939。當固定受試者樣本數時，鑑別參數越大，符合 SOM 性質正. n. al. er. 確率也會越大，而標準差則會越小；當固定鑑別參數時，受試者樣本數越大，正. Ch. i Un. v. 確率沒有太大的變化，但標準差會越小，表示當固定鑑別參數時，受試者樣本數. engchi. 越大，符合 SOM 性質正確率的分佈會越集中。. 由表 4.1.2 可以發現，整體而言，相關係數的最小值為 0.5580，最大值為 0.8090。當固定受試者樣本數時，鑑別參數越大，相關係數也會越大，標準差則會越小，表示當固定受試者樣本數時，鑑別參數越大，受試者潛在特質和測驗分數的相關性會越高；當固定鑑別參數時，受試者樣本數不同，相關係數數值的變化不大，但當受試者樣本數越大時，標準差會變小，表示當固定鑑別參數時，受試者樣本數越大，相關係數的分佈會越集中。. 23.

(25) 表 4.1. 1 未加權情況下，符合 SOM 性質正確率. N. 1000. 2000. 3000. 𝛼. Min.. 1st Qu.. Median. Mean. 3rd Qu.. Max.. SD. 0.75. 0.7937. 0.8060. 0.8100. 0.8102. 0.8146. 0.8299. 0.00691. 1.00. 0.8227. 0.8362. 0.8406. 0.8406. 0.8442. 0.8621. 0.00657. 1.25. 0.8487. 0.8594. 0.8643. 0.8636. 0.8673. 0.8816. 0.00621. 1.50. 0.8690. 0.8782. 0.8819. 0.8816. 0.8852. 0.8939. 0.00542. 0.75. 0.8000. 0.8063. 0.8104. 0.8106. 0.8147. 0.8303. 0.00564. 1.00. 0.8276. 0.8385. 0.8417. 0.8415. 0.8444. 0.8537. 0.00490. 1.25. 0.8527. 0.8604. 0.8631. 0.8632. 0.8661. 0.8754. 0.00452. 1.50. 0.8733. 0.8789. 0.8816. 0.8812. 0.8836. 0.8889. 0.00343. 0.75. 0.7997. 0.8069. 0.8096. 0.8101. 0.8133. 0.8260. 0.00462. 1.00. 0.8314. 0.8402. 0.8422. 0.8423. 0.8447. 0.8529. 0.00379. 1.25. 0.8540. 0.8618. 0.8732. 0.00370. 1.50. 0.8753. 0.8785. 0.8891. 0.00296. 立. 0.8640 治 0.8642 0.8664 政 0.8807 0.8809 大0.8828. 1.00. ‧ 國. 1.25. 0.6992. 0.7317. 0.7391. 0.7390. 0.7454. y. 0.7821. 1.50. 0.7463. 0.7720. 0.7798. 0.7790. 0.7873. sit. 0.8090. 0.01183. 0.75. 0.5684. 0.6009. 0.5999. er. N. 0.6484. 0.01476. 1.00. 0.6517. 0.7113. 0.01113. 1.25. 0.7131. 0.7625. 0.01011. 1.50. 0.7621. al iv 0.6771 C h 0.6861 0.6847U n0.6924 0.7311 0.7383 0.7433 e hi n g c 0.7377 0.7737. 0.7788. 0.7784. 0.7837. 0.7957. 0.00762. 0.75. 0.5751. 0.5910. 0.5982. 0.5992. 0.6066. 0.6349. 0.01206. 1.00. 0.6639. 0.6806. 0.6853. 0.6861. 0.6925. 0.7064. 0.00871. 1.25. 0.7182. 0.7342. 0.7399. 0.7396. 0.7453. 0.7581. 0.00815. 1.50. 0.7630. 0.7739. 0.7771. 0.7780. 0.7824. 0.7980. 0.00672. 𝛼. Median. Mean. 3rd Qu.. Max.. SD. 0.5580. 0.5862. 0.5974. 0.5976. 0.6100. 0.6450. 0.01855. 0.6451. 0.6717. 0.6832. 0.6818. 0.6927. 0.7270. 0.01580 0.01424. io. 0.5893. n. 3000. 1st Qu.. Nat. 2000. Min.. ‧. 0.75 1000. 學. 表 4.1. 2 未加權情況下，受試者潛在特質和測驗總分之相關係數. 0.6094. 上表的數字資訊藉由圖形的繪製，應該可以比較容易判斷出符合 SOM 性質正確率和相關係數如何隨著受試者樣本數(𝑁)或鑑別參數(𝛼)的改變而有所變化。從圖 4.1.1 至圖 4.1.3 可以發現，我們固定受試者樣本數時，當鑑別參數越大，受試者潛在特質和答題總分的相關係數會越大，符合 SOM 性質正確率也會 24.

(26) 越大。從圖 4.1.4 至圖 4.1.7 可以發現，我們固定鑑別參數時，當受試者樣本數越大，受試者潛在特質與答題總分的相關係數和符合 SOM 性質正確率的分佈會越集中。. 受試者樣本數 1000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. 𝛼 = 0.75. 立. 𝛼 = 1.50. 政治大. ‧ 國. 學. 圖 4.1. 1 受試者樣本數 1000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈. ‧ y. sit. io. n. al. 𝛼 = 1.50. er. Nat. 𝛼 = 0.75. 受試者樣本數 2000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. Ch. engchi. i Un. v. 圖 4.1. 2 受試者樣本數 2000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈. 25.

(27) 受試者樣本數 3000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. 𝛼 = 0.75. 𝛼 = 1.50. 圖 4.1. 3 受試者樣本數 3000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈. 𝑁 = 1000. 立. 鑑別參數值(𝛼) = 0.75 給定：受試者樣本數 𝑁 = 2000. 政治大. 𝑁 = 3000. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 4.1. 4 鑑別參數為 0.75，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. 𝑁 = 1000. Ch. engchi. 鑑別參數值(𝛼) = 1.00 給定：受試者樣本數 𝑁 = 2000. i Un. v. 𝑁 = 3000. 圖 4.1. 5 鑑別參數為 1.00，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. 26.

(28) 鑑別參數值(𝛼) = 1.25 給定：受試者樣本數 𝑁 = 2000. 𝑁 = 1000. 𝑁 = 3000. 圖 4.1. 6 鑑別參數為 1.25，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. 𝑁 = 1000. 立. 鑑別參數值(𝛼) = 1.50 給定：受試者樣本數 𝑁 = 2000. 政治大. 𝑁 = 3000. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. er. 圖 4.1. 7 鑑別參數為 1.50，不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. Ch. engchi. i Un. v. 現今在實務上 Mokken 量表已被廣泛地使用，就反應值為二元反應的 Mokken 量表之下，我們知道潛在特質與測驗總分分別具有 MLR 性質，因此也符合了 SOM 及 SOL 這兩個性質。即便如此，我們仍不清楚實務應用上符合這兩個 SO 性質的正確率會有多高。我們利用此小節得到的結果可以了解，鑑別參數越高，符合 SOM 性質的正確率也會越高，而正確率的範圍大約在 80%至 90%之間。而受試者潛在特質與測驗總分的相關係數，也會隨著鑑別參數的上升而上升。相關係數的最小值接近 55%，而最高值則接近 80%，大致上來說也符合 Mokken (1971,. pp.140-141) 提到在 Mokken 量表下，受試者試題回答的測驗總分高低 27.

(29) 與受試者的能力或潛在特質程度有高度相關。. 4.1.2 加權情況下符合 SOM 性質之正確率探討 I.. 加權總分之 SOM 性質令隨機變數 𝑋𝑖 為受試者在第 𝑖 試題回答的反應值， 𝑥𝑖 為受試者在第 𝑖. 試題回答的實際值，𝑊𝑖 為第 𝑖 試題加權權重，𝑃(𝑋𝑖 |𝜃) 代表在人的能力或潛在特質給定為 θ 之下，受試者在第 𝑖 試題的回答的反應條件機率。假定總共有 𝑘 個二元反應的試題，則受試者的加權總分我們可以用以下式子來表示 𝑘. 𝑊𝑋 政= ∑治大. 𝑋+𝑊. 立. 𝑖 𝑖. 𝑖=1. 我們想要證明加權總分𝑋+𝑊 也具有 SOM 性質，亦即. ‧ 國. 學. P (𝑋+𝑊 = ∑ 𝑊𝑖 𝑋𝑖 ≥ 𝑥+𝑊 |θ = 𝜃𝑎 ) ≤ P (𝑋+𝑊 = ∑ 𝑊𝑖 𝑋𝑖 ≥ 𝑥+𝑊 |θ = 𝜃𝑏 ) , 𝜃𝑎 < 𝜃𝑏. sit. y. Nat. 因此. 𝑖. ‧. 𝑖. 𝑖. Ch 由於在沒有加權的時候，我們已知. engchi. er. al. n. 𝑖. io. E (𝑋+ = ∑ 𝑊𝑖 𝑋𝑖 |θ = 𝜃𝑎 ) ≤ E (𝑋+ = ∑ 𝑊𝑖 𝑋𝑖 |θ = 𝜃𝑏 ) , 𝜃𝑎 < 𝜃𝑏. i Un. v. E (𝑋+ = ∑ 𝑋𝑖 |𝜃 = 𝜃𝑎 ) ≤ E (𝑋+ = ∑ 𝑋𝑖 |𝜃 = 𝜃𝑏 ) , 𝜃𝑎 < 𝜃𝑏 𝑖. 𝑖. 因此 E (∑ 𝑋𝑖 |𝜃𝑏 ) − E (∑ 𝑋𝑖 |𝜃𝑎 ) ≥ 0 , 𝜃𝑎 < 𝜃𝑏 𝑖. 𝑖. 令 𝑃(𝑋𝑖 |𝜃) = 𝑃𝑖 (𝜃) 在給定 𝜃 的情況下，隨機變數 𝑋𝑖 服從Bernoulli(𝑃𝑖 (𝜃))分配，因此 E(𝑋𝑖 | 𝜃) = 𝑃𝑖 (𝜃) 28.

(30) 由於𝑃𝑖 (𝜃)符合單調性的假設，亦即 P(𝑋𝑖 = 1|𝜃𝑎 ) ≤ P(𝑋𝑖 = 1|𝜃𝑏 ), 𝜃𝑎 < 𝜃𝑏 ，所以 𝑃𝑖 (𝜃𝑏 ) − 𝑃𝑖 (𝜃𝑎 ) ≥ 0。再者，由於權重 𝑊𝑖 為一正值，因此 𝑊𝑖 𝑃𝑖 (𝜃𝑏 ) − 𝑊𝑖 𝑃𝑖 (𝜃𝑎 ) = 𝑊𝑖 (𝑃𝑖 (𝜃𝑏 ) − 𝑃𝑖 (𝜃𝑎 )) ≥ 0, 𝜃𝑎 < 𝜃𝑏 我們進而可以得出 ∑ 𝑊𝑖 𝑃𝑖 (𝜃𝑏 ) − ∑ 𝑊𝑖 𝑃𝑖 (𝜃𝑎 ) ≥ 0, 𝜃𝑎 < 𝜃𝑏 𝑖. 𝑖. 也就是說 E (∑ 𝑊𝑖 𝑋𝑖 |𝜃𝑎 ) ≤ E (∑ 𝑊𝑖 𝑋𝑖 |𝜃𝑏 ), 𝜃𝑎 < 𝜃𝑏. 政治大因此不管加權值為何，受試者的潛在特質(𝜃)越高，則受試者的預期回答加權總立 𝑖. 𝑖. ‧ 國. II.. 學. 分(𝑋+𝑊 )也會越高。. 模擬資料符合 SOM 性質之正確率探討. ‧. sit. y. Nat. 接著我們進行加權分數正確率與相關係數的探討，我們本來也想討論多種加. io. er. 權方式，但因為時間的關係，我們這裡就只看一組加權方式。我們考慮試題難度越高，試題權重越高；試題總共 5 題，試題難度從簡單排至難，權重為 1、1、1、. n. al. 2、3。. Ch. engchi. i Un. v. 與原始未加權資料探討的方式相同，影響因子為受試者樣本數(𝑁)及鑑別參數(𝛼)，受試者樣本數分別考慮 1000、2000 及 3000 人三種情況，而鑑別參數分別考慮 0.75、1.00、1.25 及 1.50 四種情況。在這 12 種組合情況之下，藉以了解符合 SOM 性質正確率及受試者潛在特質與加權總分相關係數的可能變化，我們模擬次數仍然是 100 次。表 4.1.3 為符合 SOM 性質正確率的模擬結果，表 4.1.4 則為相關係數的結果，分別列出包含最小值、第一四分位數、中位數、平均數、第三四分位數、最大值及標準差等具代表性的統計量。由表 4.1.3 來看，符合 SOM 性質正確率的最小值為 0.7387，最大值為 0.8675。. 29.

(31) 若我們固定受試者樣本數時，當鑑別參數越大，符合 SOM 性質正確率也會越大，但標準差部分不一定會漸減；若固定鑑別參數，來看受試者樣本數改變會對正確率造成的影響，受試者樣本數越大，符合 SOM 性質正確率數值的變化不大，但標準差會漸減，表示固定鑑別參數時，受試者樣本數越大，符合 SOM 性質正確率數值的分佈會越集中。由表 4.1.4 來看受試者潛在特質與加權總分相關係數的最小值為 0.5064，最大值為 0.7738，若現在固定受試者樣本數，則鑑別參數越大，相關係數也會越大，且標準差也有漸減趨勢；若固定鑑別參數，受試者樣本數改變對相關係數數值也不會有太大的改變，但因為標準差有漸減的趨勢，我們可以說受試者樣本數. 學. ‧ 國. 治政越大，相關係數的分佈會越集中。大立表 4.1. 3 加權情況下，符合 SOM 性質正確率. 3rd Qu.. Max.. SD. 0.7387. 0.7547. 0.7595. 0.7595. 0.7635. 0.7818. 0.7758. 0.7923. 0.7959. 0.7965. 0.8019. 0.8094. 0.00696. 1.25. 0.8097. 0.8221. 0.8251. 0.8264. 0.8312. 0.8464. 0.00714. 1.50. 0.8370. 0.8476. 0.8509. 0.8513. 0.8550. 0.8675. 0.00604. 0.75. 0.7474. 0.7548. 0.7590. 0.7594. 0.7771. 0.00628. 1.00. 0.7826. 0.8100. 0.00534. 1.25. 0.8131. 0.8379. 0.00530. 1.50. 0.8400. 0.8489. 0.8513. 0.8512. 0.8541. 0.8611. 0.00419. 0.75. 0.7481. 0.7555. 0.7584. 0.7591. 0.7623. 0.7708. 0.00452. 1.00. 0.7877. 0.7958. 0.7985. 0.7986. 0.8015. 0.8086. 0.00408. 1.25. 0.8196. 0.8252. 0.8274. 0.8278. 0.8302. 0.8378. 0.00420. 1.50. 0.8441. 0.8479. 0.8507. 0.8506. 0.8527. 0.8611. 0.00346. 1.00. al. sit. 0.00758. 0.7633. iv 0.7951 C h 0.7983 0.7979U n0.8017 e 0.8233 0.8271 0.8300 hi n g c 0.8267. n. 3000. Mean. io. 2000. Median. Nat. 1000. 1st Qu.. ‧. 0.75. Min.. y. α. er. N. 30.

(32) 表 4.1. 4 加權情況下，受試者潛在特質與加權總分之相關係數 α. Min.. 1st Qu.. Median. Mean. 3rd Qu.. Max.. SD. 0.75. 0.5064. 0.5441. 0.5571. 0.5563. 0.5705. 0.6167. 0.02048. 1.00. 0.5970. 0.6304. 0.6407. 0.6404. 0.6508. 0.6752. 0.01640. 1.25. 0.6574. 0.6899. 0.6994. 0.6996. 0.7097. 0.7467. 0.01611. 1.50. 0.7038. 0.7346. 0.7429. 0.7421. 0.7504. 0.7738. 0.01319. 0.75. 0.5281. 0.5456. 0.5573. 0.5577. 0.5682. 0.6089. 0.01604. 1.00. 0.6125. 0.6356. 0.6444. 0.6442. 0.6538. 0.6716. 0.01231. 1.25. 0.6662. 0.6924. 0.6989. 0.6994. 0.7073. 0.7268. 0.01176. 1.50. 0.7224. 0.7366. 0.7430. 0.7426. 0.7476. 0.7662. 0.00885. 0.75. 0.5295. 0.5475. 0.5565. 0.5574. 0.5664. 0.5901. 0.01185. 1.00. 0.6216. 0.6382. 0.6450. 0.6446. 0.6506. 0.6730. 0.00929. 1.25. 0.6807. 0.6944. 0.7006. 0.7231. 0.00918. 1.50. 0.7267. 0.7373. 0.7008 0.7064 治政 0.7410 0.7417 大0.7458. 0.7636. 0.00690. N. 1000. 2000. 3000. 立. ‧ 國. 學. 同樣的，我們希望藉由圖形的呈現，可以較為清楚了解受試者樣本數(𝑁)及鑑別參數(𝛼)對符合 SOM 性質正確率及相關係數的影響。從圖 4.1.8 至圖 4.1.10. ‧. 來看，受試者樣本數固定時，當鑑別參數越大時，受試者潛在特質與加權總分的. sit. y. Nat. 相關係數越大，符合 SOM 性質正確率也會越高；從圖 4.1.11 至圖 4.1.14 來看，. al. n. 和符合 SOM 性質正確率的分佈會越集中。. 𝛼 = 0.75. Ch. engchi. er. io. 鑑別參數固定時，當受試者樣本數越大，受試者潛在特質與加權總分的相關係數. i Un. 受試者樣本數 1000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. v. 𝛼 = 1.50. 圖 4.1. 8 加權情況下，受試者樣本數 1000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈. 31.

(33) 受試者樣本數 2000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. 𝛼 = 0.75. 𝛼 = 1.50. 圖 4.1. 9 加權情況下，受試者樣本數 2000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈. 受試者樣本數 3000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. 𝛼 = 0.75. 立. 政治大. 𝛼 = 1.50. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. 𝑁 = 1000. er. 圖 4.1. 10 加權情況下，受試者樣本數 3000 人，在不同鑑別參數下，相關係數和符合 SOM 性質正確率的關係分佈. i n C鑑別參數值(𝛼) U h e n g c=h0.75i 給定：受試者樣本數 𝑁 = 2000. v. 𝑁 = 3000. 圖 4.1. 11 加權情況下，鑑別參數 0.75，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. 32.

(34) 鑑別參數值(𝛼) = 1.00 給定：受試者樣本數 𝑁 = 2000. 𝑁 = 1000. 𝑁 = 3000. 圖 4.1. 12 加權情況下，鑑別參數 1.00，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. 𝑁 = 1000. 立. 鑑別參數值(𝛼) = 1.25 給定：受試者樣本數 𝑁 = 2000. 政治大. 𝑁 = 3000. ‧. ‧ 國. 學. io. sit. y. Nat. n. al. 𝑁 = 1000. er. 圖 4.1. 13 加權情況下，鑑別參數 1.25，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. i n C鑑別參數值(𝛼) U h e n g c=h1.50i 給定：受試者樣本數 𝑁 = 2000. v. 𝑁 = 3000. 圖 4.1. 14 加權情況下，鑑別參數 1.50，在不同受試者樣本數下，相關係數和符合 SOM 性質正確率的關係分佈. 33.

(35) 4.1.3 未加權與加權情況下符合 SOM 性質之正確率比較我們經由前面兩小節的探討，在有限的模擬情況下，可以發現不管在未加權還是加權情況下，受試者樣本數和鑑別參數對符合 SOM 性質正確率或是受試者潛在特質與測驗總分的相關係數的影響程度大致相當。這一節中，我們想了解加權與否何者會比較好，表 4.1.5 為 100 次的模擬資料中，加權總分符合 SOM 性質正確率比原始總分符合 SOM 性質正確率高的比例，表 4.1.6 則為 100 次的模擬資料中，加權相關係數比未加權相關係數來的高的比例。表 4.1. 5 模擬 100 次資料中，加權總分正確率比原始總分正確率來得高的比例. 治 N=2000 政 N=1000 大. 受試者樣本數(𝑁). 立. N=3000. 0.75. 0.00. 0.00. 0.00. 1.00. 0.00. 0.00. 0.00. 1.25. 0.00. 0.00. 1.50. 0.00. 0.00. 學. 0.00 0.00. Nat. y. ‧. ‧ 國. 鑑別參數(𝛼). io. sit. 經由表 4.1.5 發現不管在鑑別參數為何或是受試者樣本數大小，在加權分數. n. al. er. 分別為 1, 1, 1, 2, 3 的情況下，加權總分符合 SOM 性質正確率比原始分數符合 SOM. Ch. i Un. v. 性質正確率來的高的比例都為 0，也就是 SOM 性質在此種加權情況下，加權似乎沒有其必要性。. engchi. 即便如此，但因為發現每次模擬實驗中加權總分符合 SOM 性質正確率與原始分數符合 SOM 性質正確率的真實差距其實都不大，所以我們列出 100 次模擬的最小值、第一四分位數、中位數、平均值、第三四分位數、最大值和標準差來看他們是否真的有差異，結果如表 4.1.6 所示。我們可以觀察到加權總分符合 SOM 性質正確率的第三四分位數都會小於原始總分符合 SOM 性質正確率的第一四分位數，表示他們之間是有顯著差異的，因此在此種加權情況下，使用原始總分會比加權總分來的好。. 34.

(36) 表 4.1. 6 未加權和加權情況下的符合 SOM 性質正確率. 1000 1.25. 1.50. 0.75. 1.00 2000 1.25. 1.50. SD. No. 0.7937. 0.8060. 0.8100. 0.8102. 0.8146. 0.8299. 0.00691. Yes. 0.7387. 0.7547. 0.7595. 0.7595. 0.7635. 0.7818. 0.00758. No. 0.8227. 0.8362. 0.8406. 0.8406. 0.8442. 0.8621. 0.00657. Yes. 0.7758. 0.7923. 0.7959. 0.7965. 0.8019. 0.8094. 0.00696. No. 0.8487. 0.8594. 0.8643. 0.8636. 0.8673. 0.8816. 0.00621. Yes. 0.8097. 0.8221. 0.8251. 0.8264. 0.8312. 0.8464. 0.00714. No. 0.8690. 0.8782. 0.8819. 0.8816. 0.8852. 0.8939. 0.00542. Yes. 0.8370. 0.8476. 0.8509. 0.8513. 0.8550. 0.8675. 0.00604. No. 0.8000. 0.8063. 0.8104. 0.8106. 0.8147. 0.8303. 0.00564. Yes. 0.7474. 0.7548. 0.7590. 0.7594. 0.7633. 0.7771. 0.00628. No. 0.8276. 0.8385. 0.8417. 0.8444. 0.8537. 0.00490. Yes. 0.7826. 0.8017. 0.8100. 0.00534. No. 0.8527. 0.8415 治政 0.7983 0.7979 0.7951 大 0.8604 0.8631 0.8632. 0.8661. 0.8754. 0.00452. Yes. 0.8131. 0.8233. 0.8271. 0.8267. 0.8300. 0.8379. 0.00530. No. 0.8733. 0.8789. 0.8816. 0.8812. 0.8836. 0.8889. 0.00343. Yes. 0.8400. 0.8489. 0.8513. 0.8512. 0.8541. 0.8611. 0.00419. No. 0.7997. 0.8069. 0.8096. 0.8101. 0.8133. 0.8260. 0.00462. Yes. 0.7481. 0.7555. 0.7584. 0.7591. 0.7623. 0.7708. 0.00452. 立. No. 0.8314. 0.8402. 0.8422. 0.8423. 0.8447. 0.8529. 0.00379. Yes. 0.7877. 0.7958. 0.7985. 0.7986. 0.8086. 0.00408. 0.8618. 0.8640. 0.8642. 0.8732. 0.00370. 0.8378. 0.00420. 0.8828. 0.8891. 0.00296. 0.8527. 0.8611. 0.00346. No. 0.8540. al 0.8196. n. 1.25. Max.. io. 3000. 3rd Qu.. Nat. 1.00. Mean. ‧. 0.75. Median. 學. 1.50. 1st Qu.. y. 1.00. Min.. sit. 0.75. Weight. 0.8274 0.8278 i n C0.8252 U h e n g0.8807 i 0.8753 0.8785 0.8809 h c. Yes No Yes. 0.8441. 0.8479. 0.8507. 0.8015. er. α. ‧ 國. N. 0.8664. v 0.8302. 0.8506. 表 4.1. 7 模擬 100 次資料中，加權總分相關係數比原始總分相關係數來得高的比例受試者樣本數(𝑁). N=1000. N=2000. N=3000. 0.75. 0.00. 0.00. 0.00. 1.00. 0.00. 0.00. 0.00. 1.25. 0.00. 0.00. 0.00. 1.50. 0.00. 0.00. 0.00. 鑑別參數(𝛼). 35.

(37) 由表 4.1.7 我們發現受試者潛在特質與原始總分的相關係數比受試者潛在特質與加權總分的相關係數高。由於 100 次模擬資料中所顯示出來的差異依然很小，我們也列出在是否有加權的情況下的幾個統計量來比較。如表 4.1.8 所示，受試者潛在特質與原始總分的相關係數第一四分位數都比受試者潛在特質與加權總分的相關係數第三四分位數高，再次顯示在此種加權情況下，加權似乎沒有其必要性。. 1.25. 1.50. 1.25. 1.50. 0.75. 1.00 3000 1.25. 1.50. SD. 0.5580. 0.5862. 0.5974 0.5976 治政 0.5441 0.5571 0.5563 大. 0.6100. 0.6450. 0.01855. Yes. 0.5064. 0.5705. 0.6167. 0.02048. No. 0.6451. 0.6717. 0.6832. 0.6818. 0.6927. 0.7270. 0.01580. Yes. 0.5970. 0.6304. 0.6407. 0.6404. 0.6508. 0.6752. 0.01640. No. 0.6992. 0.7317. 0.7391. 0.7390. 0.7454. 0.7821. 0.01424. Yes. 0.6574. 0.6899. 0.6994. 0.6996. 0.7097. 0.7467. 0.01611. No. 0.7463. 0.7720. 0.7798. 0.7790. 0.7873. 0.8090. 0.01183. Yes. 0.7038. 0.7346. 0.7429. 0.7421. 0.7504. 0.7738. 0.01319. No. 0.5684. 0.5893. 0.6009. 0.5999. 0.6094. 0.6484. 0.01476. Yes. 0.5281. 0.5456. 0.5573. 0.5577. 0.5682. 0.6089. 0.01604. 0.6771. 0.6861. 0.6847. 0.6924 v i. 0.7113. 0.01113. 0.6538. 0.6716. 0.01231. 0.7433. 0.7625. 0.01011. 立. No. al. 0.6517. n. 2000. Max.. io. 1.00. 3rd Qu.. Nat. 0.75. No. Median. Mean. 學. 1000. 1st Qu.. sit. 1.00. Min.. er. 0.75. Weight. ‧ 國. α. ‧. N. y. 表 4.1. 8 未加權和加權情況下的相關係數. No. 0.6444 0.6442 n C0.6356 U h i e h 0.7131 0.7311n g 0.7383 c 0.7377. Yes. 0.6662. 0.6924. 0.6989. 0.6994. 0.7073. 0.7268. 0.01176. No. 0.7621. 0.7737. 0.7788. 0.7784. 0.7837. 0.7957. 0.00762. Yes. 0.7224. 0.7366. 0.7430. 0.7426. 0.7476. 0.7662. 0.00885. No. 0.5751. 0.5910. 0.5982. 0.5992. 0.6066. 0.6349. 0.01206. Yes. 0.5295. 0.5475. 0.5565. 0.5574. 0.5664. 0.5901. 0.01185. No. 0.6639. 0.6806. 0.6853. 0.6861. 0.6925. 0.7064. 0.00871. Yes. 0.6216. 0.6382. 0.6450. 0.6446. 0.6506. 0.6730. 0.00929. No. 0.7182. 0.7342. 0.7399. 0.7396. 0.7453. 0.7581. 0.00815. Yes. 0.6807. 0.6944. 0.7006. 0.7008. 0.7064. 0.7231. 0.00918. No. 0.7630. 0.7739. 0.7771. 0.7780. 0.7824. 0.7980. 0.00672. Yes. 0.7267. 0.7373. 0.7410. 0.7417. 0.7458. 0.7636. 0.00690. Yes. 0.6125. 36.

(38) 我們用圖形來加以說明，由圖 4.1.15 至圖 4.1.17 來看，當固定受試者樣本數時，鑑別參數越高，相關係數與符合 SOM 性質正確率都會越大，而原始總分都會比加權總分來的好；鑑別參數越高，符合 SOM 性質正確率的差距越來越小，而相關係數的分佈差距越顯著有差異。由圖 4.1.18 至圖 4.1.21 來看，當固定鑑別參數時，受試者樣本數越大，不管是原始總分或加權總分，相關係數與符合 SOM 性質正確率的分佈會越集中。以符合 SOM 性質正確率來看，受試者樣本數越大，原始總分與加權總分的正確率差距沒有明顯變化；但以相關係數來說，受試者樣本數越大，原始總分與加權總分的相關係數差距越顯著有差異。. 立. ‧ 國. 上：未加權下：加權. 上：未加權下：加權. ‧. 上：未加權下：加權. 受試者樣本數 1000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. 學. 𝛼 = 0.75. 政治大 𝛼 = 1.50. Nat. n. al. er. io. sit. y. 上：未加權下：加權. Ch. engchi. i Un. v. 圖 4.1. 15 受試者樣本數 1000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈. 𝛼 = 0.75 上：未加權下：加權. 受試者樣本數 2000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25 上：未加權下：加權. 上：未加權下：加權. 𝛼 = 1.50 上：未加權下：加權. 圖 4.1. 16 受試者樣本數 2000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈 37.

(39) 受試者樣本數 3000 人給定：鑑別參數值(𝛼) 𝛼 = 1.00 𝛼 = 1.25. 𝛼 = 0.75. 上：未加權下：加權. 上：未加權下：加權. 𝛼 = 1.50 上：未加權下：加權. 上：未加權下：加權. 圖 4.1. 17 受試者樣本數 3000 人，不同鑑別參數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈. 鑑別參數值(𝛼) = 0.75 給定：受試者樣本數 𝑁 = 2000. 𝑁 = 1000. 立. 上：未加權下：加權. 政治大. 𝑁 = 3000 上：未加權下：加權. 上：未加權下：加權. ‧. ‧ 國. 學 sit. y. Nat. n. al. i n C鑑別參數值(𝛼) U h e n g c=h1.00i 給定：受試者樣本數. 𝑁 = 1000 上：未加權下：加權. er. io. 圖 4.1. 18 鑑別參數為 0.75，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈. v. 𝑁 = 2000 上：未加權下：加權. 𝑁 = 3000 上：未加權下：加權. 圖 4.1. 19 鑑別參數為 1.00，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈. 38.

(40) 鑑別參數值(𝛼) = 1.25 給定：受試者樣本數 𝑁 = 2000. 𝑁 = 1000 上：未加權下：加權. 𝑁 = 3000 上：未加權下：加權. 上：未加權下：加權. 圖 4.1. 20 鑑別參數為 1.25，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈. 鑑別參數值(𝛼) = 1.50 給定：受試者樣本數 𝑁 = 2000. 𝑁 = 1000. 立. 上：未加權下：加權. 政治大. 𝑁 = 3000 上：未加權下：加權. 上：未加權下：加權. ‧. ‧ 國. 學 sit. y. Nat. er. io. 圖 4.1. 21 鑑別參數為 1.50，不同受試者樣本數下，未加權和加權的相關係數與符合 SOM 性質正確率的分佈. n. al. 4.2. ni Ch 符合 SOL 性質之正確率探討 U engchi. v. 4.2.1 未加權情況下符合 SOL 性質之正確率探討與 4.1.1 小節討論步驟相同，我們所要探討的影響因子有受試者樣本數(𝑁)跟鑑別參數(𝛼)，影響因子考慮的情況也與 4.1.1 小節相同。同樣地，在這兩種影響因子的不同組合之下，我們希望了解符合 SOL 性質正確率及受試者潛在特質和測驗總分相關係數有甚麼變化。在受試者樣本數(𝑁)跟鑑別參數(𝛼)的各種組合之下，依據模擬 100 次的資料，列出包括最小值、第一四分位數、中位數、平均數、第三四分位數、最大值及標準差等具代表性的統計量，我們得到符合 SOL 性質正確率的模擬結果如表 4.2.1 所示，而相關係數的模擬結果則呈現於表 39.

(41) 4.2.2。由表 4.2.1 可以發現，整體而言，符合 SOL 性質正確率的最小值為 0.7268，而最大值為 0.8711。當固定受試者樣本數時，鑑別參數越大，符合 SOL 性質正確率也會越大，而標準差則會越小；當固定鑑別參數時，受試者樣本數越大，符合 SOL 性質正確率沒有太大的變化，但標準差會越小，表示當固定鑑別參數時，受試者樣本數越大，符合 SOL 性質正確率的分布會越集中。由表 4.2.2 可以發現，整體而言，相關係數的最小值為 0.5311，最大值為 0.8082。當固定受試者樣本數時，鑑別參數越大，相關係數也會越大，標準差則會越小，表示當固定受試者樣本數時，鑑別參數越大，受試者潛在特質和測驗分. 試者樣本數越大，相關係數的分佈會越集中。. ‧. 表 4.2. 1 未加權情況下，符合 SOL 性質正確率 1st Qu.. Median. Mean. 3rd Qu.. 0.75. 0.7268. 0.7519. 0.7578. 0.7575. 1.00. 0.7798. 0.7995. 0.7993. 1.25. 0.8134. 1.50. 0.8369. 0.75. 0.7396. 1.00. SD. 0.7649. 0.7784. 0.01041. al iv 0.8232 C h 0.8288 0.8283U n0.8337 0.8473 0.8510 0.8553 e hi n g c 0.8513. 0.8172. 0.00830. 0.8461. 0.00737. 0.8711. 0.00684. 0.7529. 0.7566. 0.7570. 0.7622. 0.7695. 0.00643. 0.7814. 0.7949. 0.7998. 0.7995. 0.8039. 0.8122. 0.00646. 1.25. 0.8108. 0.8262. 0.8297. 0.8295. 0.8329. 0.8430. 0.00545. 1.50. 0.8395. 0.8481. 0.8507. 0.8507. 0.8528. 0.8699. 0.00486. 0.75. 0.7420. 0.7543. 0.7580. 0.7581. 0.7619. 0.7749. 0.00627. 1.00. 0.7845. 0.7943. 0.7980. 0.7983. 0.8024. 0.8110. 0.00549. 1.25. 0.8197. 0.8262. 0.8294. 0.8291. 0.8321. 0.8379. 0.00426. 1.50. 0.8378. 0.8487. 0.8511. 0.8511. 0.8543. 0.8632. 0.00468. 0.7933. 40. sit. y. Max.. er. 3000. Min.. n. 2000. 𝛼. io. 1000. Nat. N. 學. ‧ 國. 治政數的相關性會越高；當固定鑑別參數時，受試者樣本數不同，相關係數數值的變大立化不大，但當受試者樣本數越大時，標準差會變小，表示當固定鑑別參數時，受. 0.8047.