• 沒有找到結果。

不同難度組型等化結果比較

第四章 研究結果與討論

第三節 不同難度組型等化結果比較

本節選定 Stocking/Lord 等化方法,利用 ST_V2.0 連結所得轉換常數,搭配線性 轉換公式,以 PIE_V2.0 軟體估算四種不同難度組型下之真分數與觀察分數,並以各 題真分數與觀察分數結果與各題號基準分數差值,代表等化結果 Bias,並彙整如下 列各圖表。

附錄 1 至附錄 7 代表 mean 、random、 mean_wt、 random_wt 等四種難度分布 組型下(各難度組型定義詳見第三章第二節),題本一至題本七真分數等化結果 Bias 數據彙整表,並將數據結果以圖 4-3、圖 4-5、圖 4-7、圖 4-9、圖 4-11、圖 4-13、圖 4-15 呈現;附錄 8 至附錄 14 代表 mean 、random、 mean_wt、 random_wt 等四種 難度組型下,題本一至題本七觀察分數等化結果 Bias 數據彙整表,並將數據結果以 圖 4-4、圖 4-6、圖 4-8、圖 4-10、圖 4-12、圖 4-14、圖 4-16 呈現。

圖圖

圖 4-3 各難度組型題本一真分數等化結果 Bias 圖圖圖圖 4-4 各難度組型題本一觀察分數等化結果 Bias

圖圖

圖 4-5 各難度組型題本二真分數等化結果 Bias圖 4-6 各難度組型題本二觀察分數等化結果 Bias 圖圖

圖圖

圖 4-7 各難度組型題本三真分數等化結果 Bias圖 4-8 各難度組型題本三觀察分數等化結果 Bias圖圖

圖圖

圖 4-9 各難度組型題本四真分數等化結果 Bias圖 4-10 各難度組型題本四觀察分數等化結果 Bias圖圖

圖圖

圖 4-11 各難度組型題本五真分數等化結果 Bias圖 4-12 各難度組型題本五觀察分數等化結果 Bias圖圖

圖圖

圖 4-13 各難度組型題本六真分數等化結果 Bias圖 4-14 各難度組型題本六觀察分數等化結果 Bias圖圖

圖圖

圖 4-15 各難度組型題本七真分數等化結果 Bias圖 4-16 各難度組型題本七觀察分數等化結果 Bias圖圖

將圖 4-3 至圖 4-16 等化結果 Bias 情形,搭配表 4-6 Bias > 1 檢核表觀察,發現 接受的難度組題方式,等化效果最佳的為 mean_wt、 random_wt 兩種微調形式的難 度組題方式,偏差值都維持在正負 0.5 以內,等化效果良好,且穩定性相當高。

而若放寬標準由表 4-7 Bias > 1.5 檢核表來看,等化效果最差亦為 random,尚有 三個題本發生,偏差值>1.5 的情形,其他三種難度組型都沒有題本發生偏差值>1.5 的情形,但若考量等化效果與穩定性,mean_wt、 random_wt 兩種微調形式的難度 組題方式較佳。

綜合上述,BIB 題本設計之大型測驗組卷相當不容易,若要達到較佳的等化效 果,各卷之間試題組卷形式建議採用以題對題間難度微調差距在一定範圍內(本研究 設定難度微調差距在正負 0.25 以內),再來以鎖定各試題區塊平均值為 0 之難度組型 組卷形式,等化效果次之,最後以整卷常態分配並隨機分派各 block 之難度組型等 化效果最差。