第四章 結果與討論
本章共分四節,將各種的分析結果呈現並討論,前二節為初選測驗的 CTT 分析、
IRT 分析,第三節為複選測驗分析,最後以對照組比對進行討論。各節詳述如下:
第一節 初選測驗 CTT 分析結果
一、 初選測驗試題檢核:本次測驗內容,試題題號概述如表 4-1。
表4-1 初選測驗試題題號概述表
科目 地質 地物 大氣 海洋 天文
選擇題 1-10 11-20 21-30 31-40 41-50
問答題 9、10 3、4 6、7 5、8 1、2
(一) 選擇題難度:試題所得的難度(P)如表 4-2 所示。難度分析值 P
最大為 0.97,最小值 0.13。P 值大於 0.8 以上的簡單題目有第 1、3、4、
5、7、11、12、16、24、26、32、40、47、49、50 題,計有 15 題。P 值 小於 0.3 的有第 8、20、36、39 題,計有 4 題。難度題數分布如圖 4-1,
呈現雙峰分布。
表4-2 選擇題難度分析表
選擇題 27%Ph 27%Pl P 選擇題 27%Ph 27%Pl P
選 1 1.00 0.88 0.94 選 26 1.00 0.80 0.90
選 2 0.76 0.51 0.64 選 27 0.92 0.54 0.73
選 3 0.99 0.86 0.93 選 28 0.80 0.56 0.68
選 4 0.99 0.94 0.97 選 29 0.93 0.58 0.76
選 5 0.98 0.94 0.96 選 30 0.90 0.43 0.67
選 6 0.92 0.66 0.79 選 31 0.62 0.27 0.45
選 7 0.96 0.81 0.89 選 32 0.97 0.80 0.89
選 8 0.19 0.06 0.13 選 33 0.75 0.66 0.71
選 9 0.49 0.18 0.34 選 34 0.76 0.48 0.62
選 10 0.82 0.43 0.63 選 35 0.42 0.19 0.31
選 11 0.96 0.66 0.81 選 36 0.51 0.07 0.29
選 12 0.97 0.79 0.88 選 37 0.87 0.58 0.73
選 13 0.70 0.36 0.53 選 38 0.50 0.27 0.39
選 14 0.70 0.76 0.73 選 39 0.25 0.15 0.20
選 15 0.93 0.64 0.79 選 40 0.93 0.66 0.80
選 16 0.97 0.74 0.86 選 41 0.46 0.21 0.34 選 17 0.50 0.30 0.40 選 42 0.39 0.23 0.31 選 18 0.86 0.54 0.70 選 43 0.76 0.40 0.58 選 19 0.65 0.29 0.47 選 44 0.57 0.07 0.32 選 20 0.31 0.19 0.25 選 45 0.86 0.42 0.64 選 21 0.57 0.48 0.53 選 46 0.66 0.19 0.43 選 22 0.49 0.25 0.37 選 47 0.97 0.72 0.85 選 23 0.71 0.59 0.65 選 48 0.92 0.50 0.71 選 24 0.93 0.72 0.83 選 49 0.91 0.68 0.80 選 25 0.90 0.62 0.76 選 50 0.91 0.72 0.82
0 2 4 6 8 10 12 14
0-0.1 0.1-0.2 0.2-0.3 0.3-0.4 0.4-0.5 0.5-0.6 0.6-0.7 0.7-0.8 0.8-0.9 0.9-1 難度
題 數
圖 4-1 選擇題難度題數分布
(二) 選擇題鑑別度:試題所得的鑑別度(D)如表 4-3 所示。鑑別度 D
<0.1 的有第 4、5、14、33 題,共計 4 題,其中在第 14 題呈現負鑑別 度。
表4-3 選擇題鑑別度分析表
選擇題 27%Ph 27%Pl D 選擇題 27%Ph 27%Pl D
選 1 1.00 0.88 0.12 選 26 1.00 0.80 0.20
選 2 0.76 0.51 0.25 選 27 0.92 0.54 0.38
選 3 0.99 0.86 0.13 選 28 0.80 0.56 0.24
選 4 0.99 0.94 0.05 選 29 0.93 0.58 0.35
選 5 0.98 0.94 0.04 選 30 0.90 0.43 0.47 選 6 0.92 0.66 0.26 選 31 0.62 0.27 0.35 選 7 0.96 0.81 0.15 選 32 0.97 0.80 0.17 選 8 0.19 0.06 0.13 選 33 0.75 0.66 0.09 選 9 0.49 0.18 0.31 選 34 0.76 0.48 0.28 選 10 0.82 0.43 0.39 選 35 0.42 0.19 0.23 選 11 0.96 0.66 0.30 選 36 0.51 0.07 0.44 選 12 0.97 0.79 0.18 選 37 0.87 0.58 0.29 選 13 0.70 0.36 0.34 選 38 0.50 0.27 0.23 選 14 0.70 0.76 -0.06 選 39 0.25 0.15 0.10 選 15 0.93 0.64 0.29 選 40 0.93 0.66 0.27 選 16 0.97 0.74 0.23 選 41 0.46 0.21 0.25 選 17 0.50 0.30 0.20 選 42 0.39 0.23 0.16 選 18 0.86 0.54 0.32 選 43 0.76 0.40 0.36 選 19 0.65 0.29 0.36 選 44 0.57 0.07 0.50 選 20 0.31 0.19 0.12 選 45 0.86 0.42 0.44 選 21 0.57 0.48 0.09 選 46 0.66 0.19 0.47 選 22 0.49 0.25 0.24 選 47 0.97 0.72 0.25 選 23 0.71 0.59 0.12 選 48 0.92 0.50 0.42 選 24 0.93 0.72 0.21 選 49 0.91 0.68 0.23 選 25 0.90 0.62 0.28 選 50 0.91 0.72 0.19
(三) 選擇題鑑別度-難度分布:選擇題的難度及鑑別度的分布如圖
4-2,難度-鑑別度分布圖顯示,題目難度涵蓋廣,從簡單的 0.975 到困 難的 0.125 都有。鑑別度上多落在 0.1-0.5 之間。
表4-4選擇題鑑別度及難度統計表
難度 鑑別度
平均數 0.633 0.248 標準誤 0.034 0.017 標準差 0.243 0.123 最小值 0.125 -0.06
最大值 0.975 0.5
個數 50
IESO初選題目 鑑別度-難度 分布
-0.10 0.00 0.10 0.20 0.30 0.40 0.50 0.60
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
難度參數 鑑
別 度 參 數
圖 4-2 選擇題鑑別度-難度分布圖
以科目區分得到的分析結果如表 4-5 顯示,難度上地質及地物試題偏易,
天文及海洋試題難易度較分散。鑑別度上天文及地物試題有較佳的鑑別度,地質 試題的鑑別度偏低。
表4-5 選擇題各科難度及鑑別度分配表
科目 地質(▲) 地物(◆) 大氣(*) 海洋(■) 天文(●)
偏易 P≧0.8 5 4 2 2 2
難
度 偏難 P<0.2 2 1 0 3 3
高 D≧0.3 2 4 1 2 5
鑑 別
度 低 D<0.1 2 1 0 1 0
(四) 選擇題選項誘答分析
表 4-6 列出初選選擇題在高分群(前 50%)的錯誤選項誘答率高於 25%之 試題,選項分析需特別注意是否有敘述不清楚或錯誤,其中在第 9、14、20、21、
33、39、41、42 題均出現高分組的受試者有較多誤選,尤其是第 41 題的 A 選項
最明顯,第 14 題的C選項居次。
表4-6高誘答率試題及選項描述表
題號 選項 全體(%) 高分群(%) 低分群(%) 鑑別 科目
8 D 61.3 60.51 61.54 1.03 地質
9 A 29.23 31.28 27.18 -4.1 地質
9 C 35.15 28.21 42.05 13.84 地質
14 C 21.79 25.64 17.95 -7.69 地物
17 D 59.97 54.36 63.59 9.23 地物
20 C 33.33 34.36 32.31 -2.05 地物
20 D 27.95 25.13 30.77 5.64 地物
21 D 31.03 32.31 29.74 -2.57 大氣 28 B 32.56 25.64 39.49 13.85 大氣
31 B 35.38 31.79 38.97 7.18 海洋
33 D 24.87 26.15 23.59 -2.56 海洋 35 A 72.82 67.18 78.46 11.28 海洋
36 D 50.26 47.18 53.33 6.15 海洋
38 C 34.87 31.79 37.97 6.18 海洋
39 C 39.49 38.46 40.51 2.05 海洋
39 D 36.15 36.92 35.38 -1.54 海洋
41 A 25.64 29.74 21.54 -8.2 天文
41 B 39.74 32.31 47.18 14.87 天文 42 C 30.51 31.79 29.23 -2.56 天文
42 D 27.95 26.15 29.74 3.59 天文
44 A 42.82 27.69 57.95 30.26 天文
(五) 問答題得分概述
表 4-7 為問答題得分概況表,問答題配分每題均為 10 分,從平均得分可看出笫 1 題最難只有 0.18 分,第 7 題最簡單高達 7.35 分,落差大;其中第 3 題最高分 為 10.5 分,出現分數超給的現象;第 1、5、8 題難度高,平均分數不到 2 分。
部分問答題需回答的答題數較多,題目是由 2 個以上的小題所構成,如第 3 題答
題數為 2 個,第 6 題及第 9 題的答題數各有 3 個。雖然每題配分為 10 分,但每
位專家給分的級段不同,如第 1 題的得分有 0 分、1 分、2 分、3 分、7 分、9 分
共六種,則得分有 6 個級段。但部分題目的題數較多,其級段可能會偏高,因此
在級段上採用平均級段來瞭解平均每個問答題給分級段,平均級段偏大者表示分
段愈細,如第 2 題及第 7 題的得分,均將選手答題區分為 10 級,而第 9 題的平
均級段最小,答題區分為 3 級。
表4-7 問答題得分概況表
題目 1 2 3 4 5 6 7 8 9 10
最高分 9 9 10.5 10 10 10 10 10 8 10
最低分 0 0 0 0 0 0 0 0 0 0
平均值 0.18 2.09 3.21 3.26 1.55 2.46 7.35 1.91 2.44 5.37 標準差 0.75 1.83 3.62 4.29 3.37 3.19 1.79 3.31 1.78 3.09
答題數 1 1 2 1 1 3 1 1 3 1
給分級段 6 10 12 6 7 13 10 8 9 6
平均級段 6 10 6 6 7 4.3 10 8 3 6
二、 選手得分分布統計:本研究為挑選高能力代表台灣區的參賽選手,試題 需具有高難度及高鑑別度才能達到目的,最好能呈 L 型或 U 型分布來區 分選手能力。
(一) 選擇題:敘述統計分析表(表 4-8)顯示,受試者平均得分為 63.31 分,選擇題得分分布為常態偏態的低闊峰,測驗試題難度及鑑別度皆 適中。從各科得分分析顯示,地質、大氣呈負偏態的峰度大,試題對 多數初選選手而言,略為偏易且分數集中,在高分群選手鑑別度較不 好。海洋及天文平均得分偏低且為正偏態,試題對多數初選選手而言,
略為偏難;另外天文呈輕微正偏態的低闊峰,標準差大,有良好的鑑 別度。
表4-8選擇題得分統計表
平均數 中間值 眾數 標準差 峰度 偏態 最小值 最大值 全距 個數 選擇題
63.31 64 70 10.23 -0.20 -0.02 38 92 54 390
選擇題得分人數分布
5
24
108
131
99
21
2 0
20 40 60 80 100 120 140
30-40 40-50 50-60 60-70 70-80 80-90 ≧90
選擇題原始得分 人
數
圖 4-3 選擇題得分人數分布圖 表4-9 選擇題分科統計表
科目 地質 地物 大氣 海洋 天文
平均數 14.53 13.09 13.97 10.53 11.18
中位數 14 14 14 10 12
眾數 14 14 14 10 8
標準差 2.50 3.04 3.15 3.10 3.60
峰度 0.40 0.08 0.30 0.08 -0.67
偏態 -0.53 -0.34 -0.55 0.22 0.22
最小值 6 4 2 2 4
最大值 20 20 20 20 20
選 擇 題
全距 14 16 18 18 16
(二) 問答題:問答題敘述統計分析顯示(表 4-10),受試者平均得分為 29.81
分,問答題得分分布為正偏態的低闊峰分布,反映測驗試題對多數選
手整份試題難度偏高,鑑別度適中。各科表現上,地質及地物為低闊
峰,分布較廣,鑑別度佳。海洋及天文試題偏難,平均分數偏低,均
呈峰度大的正偏態;但在海洋部分得分的標準差大,得分分布凌亂呈
雙峰以上的分布(如圖 4-5);天文部分得分的標準差小,難度較高
且集中呈現地板效應,不易鑑別出低分群選手;對選手而言,若能在
海洋及天文試題有良好表現,就可清楚把分數拉開,形成成績上的分
岐點。
表4-10 問答題得分統計表
平均數 中間值 眾數 標準差 峰度 偏態 最小值 最大值
全距
個數問答題
29.81 28 16 13.13 -0.22 0.49 1 74 73 390
問答題得分人數分布
10
87
114
85
64
21
8
1 0
20 40 60 80 100 120
<10 10-20 20-30 30-40 40-50 50-60 60-70 70-80
得分 人
數
圖 4-4 問答題得分人數分布圖
0 10 20 30 40 50 60
0 - 2 2 - 4 4 - 6 6 - 8 8 - 10 10 - 12 12 - 14 14 - 16 16 - 18 18 - 20
得分 人
數
圖 4-5 問答題海洋部分得分人數分布圖
表4-11 問答題分科得分統計表
科目 地質
(9.10)
地物 (3.4)
大氣 (6.7)
海洋 (5.8)
天文 (1.2)
平均數 7.81 6.47 9.80 3.46 2.26
中
間數 8 5 9 0 2
眾數 8 0 8 0 0
標準差 3.63 6.15 3.74 5.23 2.14
峰度 -0.48 -0.92 0.28 1.60 3.04
偏態 -0.21 0.53 0.45 1.54 1.33
最小值 0 0 0 0 0
最大值 16 20 19 20 14
問 答 題
全距 16 20 19 20 14
(三) 原始總分:原始總分敘述統計分析(表 4-12)顯示,受試者平均得分為 93.11 分,原始總分為正偏態的低闊峰分布,反映測驗試題難度及鑑 別度皆適中,較能有效地區分受試者。
表4-12原始總分得分統計表
平均數 中間值 眾數 標準差 峰度 偏態 最小值 最大值 全距 個數 原始總分
93.11 92 103 20.76 -0.31 0.23 44 156 112 390
原始總分人數分布
4 11
38 52
67 71
59
49
19 13
6 1 0
10 20 30 40 50 60 70 80
40-50 50-60 60-70 70-80 80-90 90-100 100-110 110-120 120-130 130-140 140-150 150-160 原始總分
人 數
圖 4-6 原始總分人數分布圖
(四) 問答題-選擇題選手得分相關分析:理論上無論何種類型試題評估
選手的能力,得分表現均能一致。本分析主要針對問答題得分及選擇題 得分來評估兩類試題得分的一致性。
1. 實驗組全體成績分析:在全體參加初選的選手中,表 4-13 分析結果 顯示,兩者類型的選手得分呈中度正相關,相關係數約為 0.57。
表4-13 問答題-選擇題全體選手得分相關性分析表
相關性分析 問答題分
Pearson 相關 .573 顯著性 (雙尾) .000 選擇題分
個數 390
2. 實驗組高分群成績分析:為前 27%高分群的選手 105 人的表現,表 4-14 分析結果顯示,兩種類型的選手得分表現不一致,得分相關微 弱且不顯著,係數約-0.10。
表4-14 問答題-選擇題高分群選手得分相關性分析表
相關性分析 問答題分
Pearson 相關 -.101
顯著性 (雙尾) .306
選擇題分
個數 105
3. 對照組成績分析:為對照組選手的表現,表 4-15 分析結果顯示此兩 種題型得分相關,呈現低度負相關,顯著性低,係數約為-0.30。
表4-15 問答題-選擇題對照組選手得分相關性分析表
相關性分析 問答題分
Pearson 相關 -.304
顯著性 (雙尾) .139
選擇題分
個數 25
在全體選手的表現,有顯著性的中度相關,顯示兩份試題測驗向度一 致。但針對高分群選手(前 27%)表現,顯示兩種試題測驗得分幾乎沒有 相關性,甚至於在對照組(前 6.4%)更出現低度負相關的現象,為何出現 如此不一致的現象?可能高分群選手同質性太高而題目不足以鑑別出差 異,或是對高分群選手兩試題有不同向度的差異所導致。
三、 第一節總結:
(一) 選擇題部分分析顯示,多數試題表現良好,除第 14 題有較大的誤差,
建議需要修改或刪除。各科表現分析上,天文試題表現最佳,海洋試 題居次,均具有高鑑別度及高難度的優點。
(二) 問答題部分分析顯示,試題表現不一致,海洋、天文試題有高難度及 得分範圍廣的優點;地質、地物試題難度適中,鑑別度佳;大氣試題 難度較易,鑑別度較低。
(三) 從選擇題及問答題得分分布顯示,海洋及天文試題的難度偏高,在高 分群選手有不錯的鑑別度,為初選選手是否能進入複試的得分關鍵。
(四) 問答題的給分標準會影響得分,效度上由命題專家統一批改,較無爭 議;但在批改受測者答題內容時部分題目分級較細,平均級段在第 2 題達 10 級,是否會過度區別選手能力時產生評分誤差,造成信度偏低 的問題。 在第 3 題有分數超給的現象,亦需注意。
(五) 在選擇題和問答題的相關分析,高分群得分顯示出兩者得分表現不一 致,可能為選手同質性高或測驗向度不同所造成。
第二節 初選測驗 IRT 分析結果 一、Rasch 模式假設考驗
(一) 殘差主成分分析(principal components analysis of residuals):
在殘差主成分分析結果中,variance explained by measures 的比例越
高,表示單向性的假設越能成立。unexplained variance(total)是指剩 下未被解釋的部分就是隨機誤差加上其他可能的向度,unexpl var explained by 1st factor,將未被解釋的部分進行主成分分析所得到的 第一個向度的比例,也就是除了假定的單向性以外的向度,其比例越小,
單向性假設越能成立。在 WINSTEPS 說明書(P299)認為:
以試題的難度為橫軸,縱軸是各題在從殘差萃取出來第一個成分上的因素負 荷量,來表示殘差主成分分析圖。若為單向性時,我們期望在此圖上的分布 是隨機的,也就是沒有任何型式(pattern)出現。圖中的字母代表題目,
排列順序依第一殘差向度因素負荷量的大小,從 A.B.C…到…c.b.a 為止,
其中 A 與 a 代表這兩題在此第一殘差向度的對比是最為明顯的一對。
1. 選擇題殘差主成分分析:從分析結果顯示,從單向性指標中 unexpl var
explained by 1st factor 只有 2.4,占 2.3%。圖 4-7 是選擇題的殘差
主成分分析圖顯示,這 50 題在此圖上的分布是隨機的。因此本測驗可視
為單向性測驗。
圖 4-7 初選測驗選擇題 IRT 分析殘差主成分分析圖
2. 問答題殘差主成分分析:從分析結果顯示,從單向性指標中 variance explained by measures 占 82.6%,而 unexpl var explained by 1st factor 只有 1.9,占 3.3%。圖 4-8 是問答題的殘差主成分分析圖顯示,
這 10 題在此圖上的分布是隨機的。本測驗可視為單向性測驗。
圖 4-8 初選測驗問答題 IRT 分析殘差主成分分析圖
(二) 最小猜測度檢定:針對選擇題部分檢定,根據檢定公式 4-1,刪除能 力特低的受試者。最小猜測度的檢定在上述公式 (Wright,1982) 來刪除能力特低的受試者。
S = 0.25 K + 2 ((0.25)(0.8)K)^0.5 (公式 4-1)
其中總題數為 K, S 為刪除的臨界分數
已知總題數為 K=50,代入後可得刪除的臨界分數 S =18.8 本次測驗答對題數最低分數為 19,符合最小猜測檢定。
二、IRT 個別試題檢核 (一) 試題模式符合度檢定
WINSTEPS 所採用的適合度統計量有兩大類:Mean Square(MNSQ) 及 Z
Standardized t statistics (ZSTD);MNSQ 是將殘差標準化平方和的平
均值,服從卡方分配,MNSQ 應集中在 1.0 左右。若將 MNSQ 的數值標準 化轉為 t 分配的型態後就可得到 ZSTD,以便利用 t 分配來進行統計機率 的判讀。
為了得到不同變異狀況的 MNSQ 值,可分為兩種狀況:INFIT 及 OUTFIT;INFIT 為以變異數加權後的 MNSQ,反應當受試者能力和試題難 度大致相同時的模式適合度,OUTFIT 為未加權的 MNSQ,反應當受試者能 力和試題難度差異較大時模式的模式適合度。
INFIT 的 MNSQ 值過大或過小可以指在試題難度附近的作答反應不符 合理論預期;對 INFIT 而言,MNSQ 小於 1 是指資料有相依性,大於 1 是 指有噪音(noise) ,MNSQ 太小表示在試題難度附近的作答反應太過完美,
即在 ICC 斜率變化很快(鑑別度過高) ,試題相依性高,題目有重疊的可
能性;MNSQ 太大表示在試題難度附近的作答反應太過不規則,出現 ICC 斜率變化不明顯(鑑別度過低) ,試題測量可能非單一向度。INFIT 的 MNSQ 並沒有一個絶對的範圍,根據 Trevor Bond(2001)所訂的標準,在大 樣本時,將 INFIT 的 MNSQ 應介於 0.6 到 1.4 之間。除了上述所訂定的標 準外,亦可用傳統 t 檢定來考驗,以 p=0.05 為臨界標準的雙尾考驗,ZSTD 介於±2.0 內都表示該題作答組型與 IRT 理論模式適配,超過範圍則為不 佳。
1. 選擇題:表 4-16 顯示,在 INFIT 的 MNSQ 均在訂定的標準範圍內,模式 完全符合。在 ZSTD 考驗,第 44、48 題則有模式適配度太高的現象,第 14、21、33 題則有模式符合度不佳的現象,顯示這三題所測量的能力摻 雜其他未知的能力,在作答反應與模式不適配時,其估計出來的參數可 信度較低,但在 MNSQ 統計量符合標準,仍可保留其估計的結果。在相關 性分析顯示,在 PTMEA CORR. 出現負值表示潛在能力越高者答對該題 的機率反而較低,建議第 14 題應該排除不予計分或考慮將該題刪除。
表4-16 初選選擇題IRT分析模式符合度及相關分析參數表
INFIT OUTFIT INFIT OUTFIT
題號 MNSQ ZSTD MNSQ ZSTD
PTMEA CORR. 題號
MNSQ ZSTD MNSQ ZSTD
PTMEA CORR.
44 0.85 -2.57 0.80 -2.77 0.50 49 0.99 -0.18 0.95 -0.59 0.27
48 0.89 -2.07 0.82 -2.59 0.43 4 1.00 0.10 0.90 -0.15 0.10
27 0.91 -1.36 0.83 -1.96 0.39 5 1.00 0.11 1.04 0.22 0.08
30 0.93 -1.25 0.90 -1.45 0.36 7 1.00 0.04 0.94 -0.32 0.18
36 0.93 -1.16 0.88 -1.72 0.38 9 1.00 -0.07 0.99 -0.07 0.28
11 0.94 -0.63 0.87 -1.14 0.31 25 1.00 -0.05 0.97 -0.35 0.26
12 0.94 -0.34 0.84 -0.84 0.26 31 1.01 0.17 1.00 -0.06 0.29
26 0.94 -0.35 0.73 -1.55 0.29 32 1.01 0.13 0.95 -0.35 0.19
40 0.94 -0.79 0.86 -1.36 0.33 13 1.02 0.54 1.02 0.62 0.26 3 0.95 -0.20 0.77 -0.92 0.24 28 1.02 0.55 1.00 0.11 0.24 6 0.95 -0.52 0.90 -0.77 0.29 34 1.03 0.87 1.04 0.76 0.22 15 0.95 -0.60 0.90 -1.05 0.31 50 1.03 0.47 1.01 0.09 0.18 29 0.95 -0.77 0.88 -1.40 0.33 8 1.04 0.40 1.02 0.21 0.17 46 0.95 -1.73 0.94 -1.68 0.37 2 1.05 1.25 1.04 0.83 0.21 10 0.96 -1.18 0.95 -1.05 0.34 17 1.05 1.46 1.07 1.53 0.20 47 0.96 -0.37 0.85 -1.13 0.28 22 1.05 1.21 1.05 0.97 0.21 16 0.97 -0.23 0.87 -0.88 0.26 38 1.05 1.27 1.07 1.59 0.21 1 0.98 -0.05 0.70 -1.13 0.21 41 1.05 0.97 1.08 1.26 0.19 24 0.98 -0.17 0.93 -0.55 0.24 42 1.06 1.07 1.14 1.93 0.16 43 0.98 -0.51 0.97 -0.76 0.31 39 1.07 0.86 1.18 1.68 0.11 45 0.98 -0.59 0.97 -0.58 0.31 23 1.08 1.84 1.15 2.46 0.12 18 0.99 -0.23 1.00 -0.02 0.27 20 1.09 1.71 1.14 1.95 0.12 19 0.99 -0.44 0.97 -0.70 0.31 21 1.11 3.84 1.12 3.30 0.12 35 0.99 -0.14 1.06 0.79 0.25 33 1.12 2.48 1.15 2.29 0.07 37 0.99 -0.23 0.98 -0.27 0.27 14 1.18 3.09 1.47 5.66 -0.08 mean 1.00 0.10 0.97 0.00 S.D 0.06 1.19 0.13 1.53
2. 問答題:表 4-17 顯示,在 INFIT 的 MNSQ 值在標準範圍內只有第 3、6、
8、10 題符合模式,第 1、4、5 題的 MNSQ 值大於 1.4,第 2、7、9 題的 MNSQ 值小於 0.6;在 ZSTD 考驗,第 2、7、9 題的模式適配度太高,第 4、
5、8 題的模式符合度差;無論上述何種標準,均有 60%的題目在試題難 度附近的作答反應不符合模式預期,整體估計出來的參數可信度較差。
MNSQ 大代表該試題得分無法測得選手能力,但試題又符合單向性假設,
推測可能是給分級段差異所造成。
表4-17 初選問答題IRT分析模式符合度及相關分析參數表
INFIT OUTFIT
題號 MNSQ ZSTD MNSQ ZSTD
PTMEA CORR.
2 0.5 -7.94 0.58 -4.68 0.43
9 0.52 -8.15 0.64 -4.25 0.35
7 0.54 -7.26 0.65 -4.27 0.35
10 1.02 0.33 1.08 1.2 0.35
3 1.04 0.68 0.99 -0.15 0.57
6 1.1 1.33 1.01 0.09 0.48
8 1.3 3.4 1.05 0.51 0.53
1 1.45 1.57 0.81 -0.68 0.26 4 1.48 6.65 1.29 3.31 0.58 5 1.88 7.51 1.42 3.04 0.43 MEAN 1.08 -0.19 0.95 -0.59
S.D. 0.44 5.47 0.27 2.78
(二) 試題難度參數分析:依據受試者與試題的答題反應,以單參數 IRT
(Rasch)模式進行最大概似估計法,對試題進行試題困難度參數估計來 得到等距邏輯斯分數(logit)
1. 選擇題:表 4-18 顯示,以第 5 題最易(-3.93 logit) ,第 8 題最難(2.06 logit) ,在難度分布上跨越約 6 logit,可明確將不同程度的選手區分。
表4-18 初選選擇題IRT分析試題原始得分及試題難度參數表
題號 RAW
SCORE MEASURE 題號 RAW
SCORE MEASURE
5 381 -3.93 33 272 -0.91
4 380 -3.82 23 264 -0.81
1 372 -3.2 34 256 -0.71
3 369 -3.03 28 254 -0.68
12 357 -2.54 45 247 -0.6
26 356 -2.5 2 246 -0.59
7 350 -2.32 10 242 -0.54
16 344 -2.16 13 216 -0.24
32 337 -1.99 43 215 -0.23
47 334 -1.92 21 202 -0.08
6 333 -1.9 19 178 0.19
24 327 -1.77 31 169 0.29
11 323 -1.7 46 168 0.3
40 316 -1.57 17 150 0.51
50 313 -1.52 38 149 0.52
15 311 -1.48 22 139 0.64
27 305 -1.38 41 115 0.94
29 304 -1.37 9 111 1
49 300 -1.31 20 110 1.01
25 291 -1.17 42 107 1.05
14 285 -1.09 36 103 1.11
37 284 -1.07 44 97 1.2
48 284 -1.07 35 96 1.21
30 283 -1.06 39 71 1.62
18 279 -1 8 50 2.06
MEAN 246.9 -0.79 S.D. 93.7 1.39 2. 問答題:表 4-19 顯示,以第 7 題最易(0.15 logit) ,第 1 題最難(0.93
logit) ,難度分布上只有 0.78 logit。但模式符合度差,模式所估計的 參數可信度低。
表4-19 初選問答題IRT分析試題原始得分及試題難度參數表
題號