第四章 研究結果
4.3 附加探討
4.3.3 受試者樣本數減少情況下之正確率探討
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
60
4.3.3 受試者樣本數減少情況下之正確率探討
因為我們原先受試者樣本數分別考慮 1000、2000 及 3000 人的情況,但結 果發現受試者樣本數在這三種情況設定下,受試者樣本數對符合SO 性質正確率 及受試者潛在特質和測驗總分相關係數沒有顯著的影響,因此我們考慮將受試者 樣本數減少,考慮受試者樣本數為100、300 及 500 人三種情況,也經由 4.3.2 小節的探討發現我們原先考慮的試題加權權重(1、1、1、2、3)符合 SO 性質的 正確率較高,五個試題加權權重我們依然用1、1、1、2、3,來看在有無加權情 況下,受試者樣本數對符合SO 性質正確率及受試者潛在特質和測驗總分相關係 數的影響。
I. 符合SOM 性質之正確率探討
(1) 未加權情況下符合 SOM 性質之正確率探討
現在我們所要探討的影響因子有受試者樣本數(𝑁)跟鑑別參數(𝛼),受試者樣 本數分別考慮100、300 及 500 人的情況,而鑑別參數(𝛼)則是考慮 0.75、1.00、
1.25 及 1.50 四種情況。在這兩種影響因子的不同組合之下,我們希望了解符合 SOM 性質正確率及受試者潛在特質和測驗總分相關係數有甚麼變化。在受試者 樣本數(𝑁)跟鑑別參數(𝛼)的各種組合之下,依據模擬 100 次的資料,列出包括 最小值、第一四分位數、中位數、平均數、第三四分位數、最大值及標準差等具 代表性的統計量,我們得到符合SOM 性質正確率的模擬結果如表 4.3.7 所示,受 試者樣本數1000 人符合 SOM 性質正確率的模擬結果如表 4.3.8 所示,由表 4.1.1 節錄而得,而相關係數的模擬結果則呈現於表4.3.9。
由表 4.3.7 可以發現,整體而言,符合 SOM 性質正確率,當固定受試者樣本 數時,鑑別參數越大,符合 SOM 性質正確率也會越大,而標準差則會越小;當 固定鑑別參數時,受試者樣本數越大,正確率標準差會越小,表示當固定鑑別參 數時,受試者樣本數越大,符合 SOM 性質正確率的分佈會越集中。與表 4.3.8
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
61
來做比較,受試者樣本數越小,符合SOM 性質正確率標準差越大,符合 SOM 性 質正確率的分布會越廣泛,當受試者樣本數為100 人以上,符合 SOM 性質正確 率約有七成五以上。
由表 4.3.9 可以發現,當固定受試者樣本數時,鑑別參數越大,相關係數也 會越大,標準差則會越小,表示當固定受試者樣本數時,鑑別參數越大,受試者 潛在特質和測驗分數的相關性會越高;當固定鑑別參數時,受試者樣本數越大時,
相關係數標準差會變小,表示當固定鑑別參數時,受試者樣本數越大,相關係數 的分佈會越集中。受試者樣本數為 300 人以上,受試者潛在特質和測驗分數的 相關係數約有0.50 以上,但當受試者樣本數減少至 100 人,受試者潛在特質和 測驗分數的相關係數會有低於0.50 的情況發生,雖然受試者樣本數為 100 人時,
符合 SOM 性質正確率至少約有七成五以上,但是受試者潛在特質和測驗分數可 能不會有高相關性的情況。
表4.3. 7 未加權情況下,受試者樣本數減少時,符合 SOM 性質正確率
N 𝛼 Min. 1st Qu. Median Mean 3rd Qu. Max. SD
100
0.75 0.7582 0.7975 0.8085 0.8113 0.8253 0.8725 0.02219 1.00 0.7857 0.8259 0.8401 0.8408 0.8561 0.9014 0.02230 1.25 0.8257 0.8528 0.8643 0.8667 0.8829 0.9067 0.01864 1.50 0.8273 0.8739 0.8828 0.8841 0.8970 0.9265 0.01829
300
0.75 0.7741 0.8005 0.8088 0.8098 0.8179 0.8401 0.01337 1.00 0.7984 0.8360 0.8432 0.8426 0.8510 0.8699 0.01135 1.25 0.8339 0.8570 0.8640 0.8638 0.8707 0.8931 0.01129 1.50 0.8512 0.8744 0.8804 0.8813 0.8892 0.9027 0.01072
500
0.75 0.7811 0.8023 0.8094 0.8107 0.8182 0.8377 0.01119 1.00 0.8216 0.8358 0.8427 0.8418 0.8466 0.8673 0.00952 1.25 0.8412 0.8554 0.8634 0.8625 0.8695 0.8781 0.00885 1.50 0.8601 0.8766 0.8827 0.8814 0.8861 0.8999 0.00801
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
63
(2) 加權情況下符合 SOM 性質之正確率探討
接著我們進行加權分數正確率與相關係數的探討,試題總共 5 題,試題難度 從簡單排至難,權重為1、1、1、2、3。
與原始未加權資料探討的方式相同,影響因子為受試者樣本數(𝑁)及鑑別參 數(𝛼),受試者樣本數分別考慮 100、300 及 500 人三種情況,而鑑別參數分別 考慮0.75、1.00、1.25 及 1.50 四種情況。在這 12 種組合情況之下,藉以了解符 合SOM 性質正確率及受試者潛在特質與加權總分相關係數的可能變化,我們模 擬次數仍然是100 次。表 4.3.10 為符合 SOM 性質正確率的模擬結果,表 4.3.11 由表4.1.3 節錄受試者樣本數 1000 人符合 SOM 性質正確率的模擬結果,表 4.3.12 則為相關係數的結果,分別列出包含最小值、第一四分位數、中位數、平均數、
第三四分位數、最大值及標準差等具代表性的統計量。
由表 4.3.10 來看,若我們固定受試者樣本數時,當鑑別參數越大,符合 SOM 性質正確率也會越大,但標準差部分不一定會漸減;若固定鑑別參數,符合SOM 性質正確率數值的標準差會漸減,表示固定鑑別參數時,受試者樣本數越大,符 合SOM 性質正確率數值的分佈會越集中。與表 4.3.11 來做比較,受試者樣本數 越小,符合SOM 性質正確率標準差越大,符合 SOM 性質正確率的分布會越廣泛,
當受試者樣本數為100 人以上,符合 SOM 性質正確率約有六成八以上。
由表 4.3.12 來看受試者潛在特質與加權總分相關係數,若現在固定受試者 樣本數,則鑑別參數越大,相關係數也會越大,且標準差也有漸減趨勢;若固定 鑑別參數,受試者樣本數改變,相關係數標準差有漸減的趨勢,我們可以說受試 者樣本數越大,相關係數的分佈會越集中。受試者樣本數越小,受試者潛在特質 和測驗分數的相關係數會有越低於0.50 的情況發生,雖然受試者樣本數為 100 人以上,符合SOM 性質正確率至少約有六成八以上,但是受試者樣本數越小,
受試者潛在特質和測驗分數可能不會有高相關性的情況。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
64
表4.3. 10 加權情況下,受試者樣本數減少時,符合 SOM 性質正確率
N 𝛼 Min. 1st Qu. Median Mean 3rd Qu. Max. SD
100
0.75 0.6879 0.7427 0.7604 0.7605 0.7767 0.8208 0.02539 1.00 0.7442 0.7821 0.7993 0.7989 0.8146 0.8545 0.02247 1.25 0.7610 0.8169 0.8297 0.8307 0.8483 0.8812 0.02227 1.50 0.7984 0.8404 0.8533 0.8534 0.8696 0.9042 0.02098
300
0.75 0.7261 0.7493 0.7576 0.7583 0.7683 0.7920 0.01441 1.00 0.7580 0.7869 0.7998 0.7980 0.8077 0.8259 0.01351 1.25 0.7868 0.8188 0.8274 0.8268 0.8363 0.8561 0.01273 1.50 0.8203 0.8433 0.8513 0.8511 0.8602 0.8822 0.01251
500
0.75 0.7315 0.7517 0.7605 0.7604 0.7689 0.7991 0.01310 1.00 0.7717 0.7910 0.7985 0.7979 0.8030 0.8227 0.01008 1.25 0.7968 0.8208 0.8270 0.8262 0.8346 0.8455 0.01056 1.50 0.8242 0.8451 0.8510 0.8511 0.8574 0.8764 0.00939
表4.3. 11 加權情況下,受試者樣本數 1000 人,符合 SOM 性質正確率
N α Min. 1st Qu. Median Mean 3rd Qu. Max. SD
1000
0.75 0.7387 0.7547 0.7595 0.7595 0.7635 0.7818 0.00758 1.00 0.7758 0.7923 0.7959 0.7965 0.8019 0.8094 0.00696 1.25 0.8097 0.8221 0.8251 0.8264 0.8312 0.8464 0.00714 1.50 0.8370 0.8476 0.8509 0.8513 0.8550 0.8675 0.00604
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
66
II. 符合 SOL 性質之正確率探討
(1) 未加權情況下符合 SOL 性質之正確率探討
與 4.3.3 小節第 I 部分討論步驟相同,我們所要探討的影響因子有受試者樣 本數(𝑁)跟鑑別參數(𝛼),影響因子考慮的情況也與 4.3.3 小節相同。同樣地,在 這兩種影響因子的不同組合之下,我們希望了解符合 SOL 性質正確率有甚麼變 化,因為我們使用同樣的受試者資料來計算模擬結果,受試者的潛在特質與測驗 分數與4.3.3 小節第 I 部分討論相關係數相同,此處就不再多做討論。在受試者 樣本數(𝑁)跟鑑別參數(𝛼)的各種組合之下,依據模擬 100 次的資料,列出包括 最小值、第一四分位數、中位數、平均數、第三四分位數、最大值及標準差等具 代表性的統計量,我們得到符合 SOL 性質正確率的模擬結果如表 4.3.13 所示,
表4.3.14 由表 4.2.1 節錄受試者 1000 人符合 SOL 性質正確率的模擬結果。
由表 4.3.13 可以發現,整體而言,符合 SOL 性質正確率,當固定受試者樣 本數時,鑑別參數越大,符合 SOL 性質正確率也會越大,而標準差則會越小;
當固定鑑別參數時,受試者樣本數越大,正確率標準差會越小,表示當固定鑑別 參數時,受試者樣本數越大,符合SOL 性質正確率的分布會越集中。與表 4.3.14 來做比較,受試者樣本數越小,符合 SOL 性質正確率標準差越大,符合 SOL 性 質正確率的分佈會越廣泛,當受試者樣本數為100 人以上,符合 SOM 性質正確 率約有六成八以上。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
68
由表 4.3.15 來看,符合 SOL 性質正確率,當鑑別參數越大,正確率也會越 大,標準差部分不一定會漸減;若固定鑑別參數,來看受試者樣本數改變會對正 確率造成的影響,受試者樣本數越大,正確率標準差會漸減,表示固定鑑別參數 時,受試者樣本數越大,正確率數值的分佈會越集中。與表 4.3.16 來做比較,
受試者樣本數越小,符合 SOL 性質正確率標準差越大,符合 SOL 性質正確率的 分布會越廣泛,當受試者樣本數為100 人以上,符合 SOM 性質正確率約有六成 三以上。
不管在有無加權情況下,受試者樣本數越小,受試者潛在特質和測驗分數的 相關係數會有越低於0.50 的情況發生,受試者樣本數為 100 人以上,在沒有加 權情況下,符合SOL 性質正確率至少約有六成八以上;在加權情況下,符合 SOL 性質正確率至少約有六成三以上,但是受試者樣本數越小,受試者潛在特質和測 驗分數可能不會有高相關性的情況。
表4.3. 15 加權情況下,符合 SOL 性質正確率
N 𝛼 Min. 1st Qu. Median Mean 3rd Qu. Max. SD
100
0.75 0.6353 0.7013 0.7234 0.7224 0.7392 0.7948 0.02977 1.00 0.7047 0.7468 0.7662 0.7656 0.7863 0.8271 0.02615 1.25 0.7181 0.7860 0.7998 0.8017 0.8228 0.8625 0.02611 1.50 0.7635 0.8119 0.8274 0.8274 0.8465 0.8889 0.02524
300
0.75 0.6810 0.7081 0.7192 0.7199 0.7320 0.7614 0.01724 1.00 0.7179 0.7528 0.7674 0.7648 0.7761 0.7978 0.01609 1.25 0.7508 0.7867 0.7977 0.7969 0.8092 0.8281 0.01499 1.50 0.7886 0.8157 0.8245 0.8244 0.8359 0.8599 0.01470
500
0.75 0.6891 0.7115 0.7218 0.7223 0.7327 0.7663 0.01542 1.00 0.7345 0.7558 0.7657 0.7648 0.7715 0.7937 0.01185 1.25 0.7625 0.7890 0.7972 0.7963 0.8060 0.8198 0.01268 1.50 0.7922 0.8177 0.8237 0.8242 0.8315 0.8551 0.01106
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
69
表4.3. 16 加權情況下,受試者樣本數 1000 人,符合 SOL 性質正確率
N α Min. 1st Qu. Median Mean 3rd Qu. Max. SD
1000
0.75 0.6950 0.7145 0.7203 0.7200 0.7264 0.7370 0.00959 1.00 0.7408 0.7585 0.7646 0.7644 0.7708 0.7834 0.00895 1.25 0.7798 0.7912 0.7977 0.7971 0.8015 0.8144 0.00713 1.50 0.8049 0.8208 0.8247 0.8250 0.8299 0.8440 0.00712
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
70