研究步驟

第二節 第二節 研究步驟 研究步驟 研究步驟 研究步驟

本研究依據試題反應理論編製量尺化試題庫的程序，主要有「建立測驗題 數細目表」、「依據命題原則設計試題、審查及挑選試題」、「舉行預試」、「測驗 結果試題分析」、「修審並篩選試題」、「將試題內容與試題參數輸入電腦資料庫」

等幾個步驟（Wainer, H. et al., 1990)。各研究步驟內容詳述如下：

一、 建立測驗題數細目表

此步驟主要工作項目有二：一是針對 95 暫綱和 99 課綱的能力指標進行分 析；二是透過學效學會組成命題委員會訂定命題架構並進行測驗題數的分配。

在第一項工作中，透過蒐集 17 年 19 卷的學科能力測驗高中社會科歷屆試題完 成資料分析，95 暫綱的能力指標和 99 課綱的能力指標整理於附錄二；第二項 工作項目的完成，則透過財團法人大學入學考試中心公布的參考試卷說明及各 章節建議授課時數，依照「教材內容」和「教學目標」作規劃，以教材內容為 橫軸，進一步訂定本研究命題架構之測驗題數細目表。

二、 依據命題原則設計試題、審查及挑選試題

學效學會組成的命題委員會，將根據上述步驟建立的命題架構，並參考正 式學科能力測驗社會科的命題方向及命題原則編製試題；在試題審查方面，具 有歷史、地理、公民與社會之各學科教學經驗專家教師將配合附錄一的命題適 切檢查表逐項確認之；在試題挑選方面，則根據以上建立完成的測驗題數細目 表進行各試卷的試題挑選。

三、 舉行預試

命題委員會根據以上命題程序將完成的社會科試題編製成紙筆試卷，題型 為選擇題，仿照聯合模擬考方式舉辦全省高中生預試，以即將參考學科能力測 驗的高三學生為主要邀請對象。

四、 測驗結果試題分析

在建置量尺化題庫的過程，將測驗結果進行試題分析是非常重要的研究步 驟，經由測量模式估計試題參數、受試者能力值以得知試題特性，或利用一般

性描述統計方法分析試題各項參數以得知測驗的穩定度，透過以上回饋資訊可 以提高試題庫的施測品質，讓學科能力測驗社會科的學習成就預測上更具成效。

五、 修審並篩選試題

本研究將剔除無效預試樣本，以有效樣本資料並進行試題的參數分析，進 行各試題分析方式與各試題選項的點二系列相關得到以上的估計參數值，依照 臺灣學生學習成就評量資料庫（Taiwan Assessment of Student Achievement, TASA）對於不良試題的選擇標準（郭伯臣、曾建銘、吳慧珉，2011）進行檢測，

分別採古典測驗理論（classical test theory, CTT）及試題反應理論探討試題特性 及受試者能力分析，作為試題修審或篩選入庫的依據。研究者將標記為不良的 試題惠與學科專家進行剔除或需修審入庫的判斷；另本研究針對不良試題標記 的標準如下：

1. 依據古典測驗理論訂定的標準：

(1) 試題通過率低於 0.25。

(2) 試題鑑別度指數介於 0 ~ 0.2 之間。

2. 依據試題反應理論訂定的標準：

(1) 試題鑑別度參數介於 0 ~ 0.4 之間。

(2) 試題難度參數小於或等於-3 或試題難度參數大於或等於 3。

(3) 試題猜測度參數大於或等於 0.3。

六、 將試題內容與試題參數輸入電腦資料庫

將不良試題刪除或重新修審以得到符合入庫標準的試題數量，然合格的試 題需再配合 99 課綱之命題原則，進行題數細目分配，重新配題或修審試題，不 足的題數需經過命題檢核…等命題的審視步驟進行補題動作，最後完成課綱轉 換始可入試題的資料庫。