• 沒有找到結果。

第四章 研究結果與討論

第二節 延伸討論

4.2.2 其它試題階段式反應函數參數值設定

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

4.2.2 其它試題階段式反應函數參數值設定

在第三章第二節的模擬條件設定中,對於試題階段式反應函數的參數值,

事實上我們假設了第一題的階段難度完全低於第二題的階段難度,第二題的階 段難度完全低於第三題的階段難度等等,但此假設有可能過於嚴苛,致使我們 第四章第一節的結果無法廣泛應用,因此此處我們考慮另一種階段難度的排序 狀況。

我們依然考慮試題階段式反應函數的階段難度參數具有四種分佈狀況,分 別為等距的階段難度、常態的階段難度、右偏的階段難度,以及左偏的階段難 度,且這些參數的取值方式與第三章第二節的模擬條件設定相同,只是排序不 同 。 以 試 題 三 題 , 每 題 三 反 應 類 別 為 例 , 第 三 章 第 二 節 假 設

32 31 22 21 12

11

    

     

( 參 見 圖 3-1) , 而 此 處 我 們 考 慮

32 22 12 31 21

11

    

     

的情況,則不同階段難度參數分佈下的

f

ix

(  )

) ( 

ix 如圖 4-84 所示。

此外,由於時間上的不允許,此處模擬次數設為 500 次,且僅就每題三反 應類別的三題試題,每題四反應類別的五題試題,以及每題五反應類別的十題 試題進行探討。

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

75

圖 4-84 試題三題,每題三反應類別,不同階段難度參數分佈但排序改變之 fix()與ix()

一、 多元計分總分與二元計分總分排序潛在特質之整體正確率

從表 4-18 我們發現在以上這些模擬條件組合下,使用多元計分總分排序 受試者潛在特質的最低整體正確率為 76.92%,出現在試題三題、反應類別三 類,且試題階段式反應函數參數右偏分佈時;從中位數與平均數來看,此組合 與試題三題每題三反應類別且試題階段式反應函數參數左偏分佈下也容易出 現較低的整體正確率。而在試題十題、反應類別五類,且試題階段式反應函數

(a) 階段難度參數等距分佈 (b) 階段難度參數常態分佈

(c) 階段難度參數右偏分佈 (d) 階段難度參數左偏分佈

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

77

(a) 試題三題,每題三反應類別時

(b) 試題五題,每題四反應類別時

(c) 試題十題,每題五反應類別時

圖 4-85 參數排序改變後,不同參數分佈的多元計分整體正確率Pp

0.76 0.78 0.80 0.82 0.84

01020304050

Pp

Frequency

參數等距分佈 參數常態分佈 參數右偏分佈 參數左偏分佈

0.82 0.84 0.86 0.88

020406080

Pp

Frequency

參數等距分佈 參數常態分佈 參數右偏分佈 參數左偏分佈

0.86 0.87 0.88 0.89 0.90 0.91 0.92 0.93

020406080100120

Pp

Frequency

參數等距分佈 參數常態分佈 參數右偏分佈 參數左偏分佈

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

在目前的階段難度參數順序設計下,若使用的是轉化為二元計分的總分

X

.d以排序受試者的潛在特質

,從表 4-19 至表 4-27 可發現,二元計分總分 排序受試者潛在特質的整體正確率最低為 76.23%;當試題數與反應類別數愈 多時,整體正確率也有上升的趨勢;而模擬結果中使用二元計分總分排序受試 者潛在特質的整體正確率最高為 95.77%。此外,大致而言,當轉化為二元計 分的方式為三反應類別的(0, 1 ,1)、四反應類別的(0, 1, 1, 1)與五反應類別的(0, 1, 1, 1, 1),則在試題階段式反應函數參數右偏分佈時,易於得到較高的整體正確 率,但整體正確率的標準差較大;當轉化為二元計分的方式為三反應類別的(0, 0 ,1)、四反應類別的(0, 0, 0, 1)或五反應類別的(0, 0, 0, 0, 1)時,在試題階段式反 應函數參數左偏分佈下,容易獲得較高的整體正確率,雖然其標準差亦較大;

而當多元計分轉化為二元計分的方式為四反應類別的(0, 0, 1, 1)與五反應類別 的(0, 0, 1, 1, 1)或(0, 0, 0, 1, 1)轉化方式時,則從平均整體正確率的角度,在試 題階段式反應函數參數為常態分佈時,整體正確率

P

d較高,且標準差會最小。

此部分結論亦與 4.1.1 節時差距不大,只是調整成現在的階段難度參數順 序後,使用二元計分總分排序受試者潛在特質的整體正確率

P

d的標準差普遍比 在 4.1.1 節時高,且試題階段式反應函數參數分佈與多元計分化為二元計分方 式之間對於整體正確率

P

d的效果更加明顯。

表 4-19 參數排序改變後,試題三題,每題三反應類別,不同參數分佈時,使用(0, 1, 1)轉化方式 的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.7623 0.7885 0.7954 0.7957 0.8039 0.8350 0.01121 常態 0.7930 0.8150 0.8219 0.8217 0.8283 0.8497 0.00983 右偏 0.7828 0.8235 0.8358 0.8358 0.8478 0.8729 0.01658 左偏 0.7665 0.7894 0.7964 0.7962 0.8031 0.8247 0.00982

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

79

表 4-20 參數排序改變後,試題三題,每題三反應類別,不同參數分佈時,使用(0, 0, 1)轉化方式 的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.7643 0.7885 0.7964 0.7957 0.8031 0.8261 0.01128 常態 0.7958 0.8149 0.8216 0.8216 0.8283 0.8481 0.00970 右偏 0.7664 0.7894 0.7964 0.7959 0.8037 0.8235 0.01035 左偏 0.7832 0.8261 0.8355 0.8352 0.8452 0.8822 0.01470

表 4-21 參數排序改變後,試題五題,每題四反應類別,不同參數分佈時,使用(0, 1, 1, 1)轉化方 式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8055 0.8314 0.8383 0.8385 0.8461 0.8689 0.01049 常態 0.8423 0.8599 0.8656 0.8650 0.8703 0.8856 0.00748 右偏 0.8433 0.8837 0.8929 0.8927 0.9018 0.9296 0.01323 左偏 0.8132 0.8302 0.8354 0.8345 0.8389 0.8534 0.00691

表 4-22 參數排序改變後,試題五題,每題四反應類別,不同參數分佈時,使用(0, 0, 1, 1)轉化方 式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8181 0.8388 0.8437 0.8436 0.8484 0.8656 0.00704 常態 0.8492 0.8660 0.8698 0.8702 0.8747 0.8868 0.00622 右偏 0.8223 0.8491 0.8547 0.8543 0.8600 0.8778 0.00902 左偏 0.8274 0.8476 0.8537 0.8535 0.8592 0.8793 0.00891

表 4-23 參數排序改變後,試題五題,每題四反應類別,不同參數分佈時,使用(0, 0, 0, 1)轉化方 式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8084 0.8308 0.8380 0.8379 0.8453 0.8658 0.01032 常態 0.8396 0.8596 0.8648 0.8648 0.8704 0.8903 0.00766 右偏 0.8115 0.8290 0.8341 0.8340 0.8394 0.8532 0.00720 左偏 0.8545 0.8848 0.8939 0.8933 0.9026 0.9266 0.01321

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

表 4-24 參數排序改變後,試題十題,每題五反應類別,不同參數分佈時,使用(0, 1, 1, 1, 1)轉化 方式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8454 0.8718 0.8768 0.8769 0.8825 0.8994 0.00836 常態 0.8786 0.8954 0.8995 0.8992 0.9032 0.9131 0.00561 右偏 0.9014 0.9226 0.9297 0.9292 0.9369 0.9577 0.01013 左偏 0.8560 0.8692 0.8729 0.8727 0.8764 0.8849 0.00520

表 4-25 參數排序改變後,試題十題,每題五反應類別,不同參數分佈時,使用(0, 0, 1, 1, 1)轉化 方式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8652 0.8804 0.8841 0.8836 0.8869 0.8963 0.00491 常態 0.8961 0.9044 0.9075 0.9073 0.9102 0.9212 0.00401 右偏 0.8769 0.8954 0.8999 0.9001 0.9047 0.9250 0.00730 左偏 0.8668 0.8779 0.8814 0.8814 0.8851 0.8974 0.00550

表 4-26 參數排序改變後,試題十題,每題五反應類別,不同參數分佈時,使用(0, 0, 0, 1, 1)轉化 方式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8677 0.8802 0.8836 0.8835 0.8870 0.8960 0.00492 常態 0.8937 0.9045 0.9072 0.9072 0.9100 0.9200 0.00395 右偏 0.8633 0.8770 0.8809 0.8808 0.8849 0.8951 0.00583 左偏 0.8756 0.8951 0.8998 0.9003 0.9056 0.9219 0.00792

表 4-27 參數排序改變後,試題十題,每題五反應類別,不同參數分佈時,使用(0, 0, 0, 0, 1)轉化 方式的二元計分總分排序受試者潛在特質的整體正確率

參數分佈 Min. 𝑸𝟏 Med. Mean 𝑸𝟑 Max. Std.

等距 0.8515 0.8709 0.8770 0.8771 0.8829 0.9000 0.00858 常態 0.8830 0.8955 0.9000 0.8998 0.9042 0.9177 0.00597 右偏 0.8526 0.8695 0.8728 0.8727 0.8762 0.8872 0.00526 左偏 0.8898 0.9231 0.9304 0.9295 0.9368 0.9571 0.01049

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

81

二、 多元計分總分與二元計分總分排序潛在特質正確率比較

我們發現改變階段難度參數的順序後,根據圖 4-86 至圖 4-109 的結果,與 4.1.2 節比較發現,條件正確率在數值上有些差異,且試題階段式反應函數參 數分佈與多元計分化為二元計分方式間的效果更加明顯(如圖 4-106)。當試題 階段式反應函數參數為右偏分佈時,多元計分化為二元計分的方式為(0, 0, 0, 0, 1)或(0, 0, 0, 1, 1)時會使二元計分總分的條件正確率最接近多元計分總分的條 件正確率,化為二元計分的方式為 (0, 0, 1, 1, 1)時次之;而在 4.1.2 節時則呈現 化為二元計分的方式為(0, 0, 0, 1, 1)會使二元計分總分的條件正確率最接近多 元計分總分,化為二元計分的方式(0, 0, 1, 1, 1)次之,化為二元計分的方式(0, 0, 0, 0, 1)再次之(見圖 4-76)。除此之外,其餘結果大致與 4.1.2 節類似。整體而言,

依然呈現不論題數、反應類別數、試題階段式反應函數參數分佈或多元計分如 何轉化為二元計分的方式,都顯示兩種計分總分共同可排序的正確率在多元計 分總分上均不低於二元計分總分時,且兩種計分總分個別額外可排序的正確率 亦是使用多元計分總分時較高。

圖 4-86 參數排序改變後,試題三題,反應 類別三類,參數等距分佈之共同可排序正確率 點圖

圖 4-87 參數排序改變後,試題三題,反應 類別三類,參數等距分佈之個別額外可排序正 確率點圖

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

圖 4-88 參數排序改變後,試題三題,反應 類別三類,參數常態分佈之共同可排序正確率 點圖

圖 4-89 參數排序改變後,試題三題,反應 類別三類,參數常態分佈之個別額外可排序正 確率點圖

圖 4-90 參數排序改變後,試題三題,反應 類別三類,參數右偏分佈之共同可排序正確率 點圖

圖 4-91 參數排序改變後,試題三題,反應 類別三類,參數右偏分佈之個別額外可排序正 確率點圖

圖 4-92 參數排序改變後,試題三題,反應 類別三類,參數左偏分佈之共同可排序正確率 點圖

圖 4-93 參數排序改變後,試題三題,反應 類別三類,參數左偏分佈之個別額外可排序正 確率點圖

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

83 圖 4-94 參數排序改變後,試題五題,反應 類別四類,參數等距分佈之共同可排序正確率 點圖

圖 4-95 參數排序改變後,試題五題,反應 類別四類,參數等距分佈之個別額外可排序正 確率點圖

圖 4-96 參數排序改變後,試題五題,反應 類別四類,參數常態分佈之共同可排序正確率 點圖

圖 4-97 參數排序改變後,試題五題,反應 類別四類,參數常態分佈之個別額外可排序正 確率點圖

圖 4-98 參數排序改變後,試題五題,反應 類別四類,參數右偏分佈之共同可排序正確率 點圖

圖 4-99 參數排序改變後,試題五題,反應 類別四類,參數右偏分佈之個別額外可排序正 確率點圖

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

圖 4-100 參數排序改變後,試題五題,反應 類別四類,參數左偏分佈之共同可排序正確率 點圖

圖 4-101 參數排序改變後,試題五題,反應 類別四類,參數左偏分佈之個別額外可排序正 確率點圖

圖 4-102 參數排序改變後,試題十題,反應 類別五類,參數等距分佈之共同可排序正確率 點圖

圖 4-103 參數排序改變後,試題十題,反應 類別五類,參數等距分佈之個別額外可排序正 確率點圖

圖 4-104 參數排序改變後,試題十題,反應 類別五類,參數常態分佈之共同可排序正確率 點圖

圖 4-105 參數排序改變後,試題十題,反應 類別五類,參數常態分佈之個別額外可排序正 確率點圖

‧ 國

立 政 治 大 學

N a tio na

l C h engchi U ni ve rs it y

85 圖 4-106 參數排序改變後,試題十題,反應 類別五類,參數右偏分佈之共同可排序正確率 點圖

圖 4-107 參數排序改變後,試題十題,反應 類別五類,參數右偏分佈之個別額外可排序正 確率點圖

圖 4-108 參數排序改變後,試題十題,反應 類別五類,參數左偏分佈之共同可排序正確率 點圖

圖 4-109 參數排序改變後,試題十題,反應

圖 4-109 參數排序改變後,試題十題,反應

相關文件