預試實施與試題分析篩選

研究準備度評量編制的第六個步驟為預試實施與試題分析篩選，預試

（pretest）是指在正式實施測驗前，先從研究母群體中找出少量的受測者來施測，

以了解題目是否有問題、是否需要修改或刪除（陳柏熹，2011）。本節將預試樣 本選取與實施、試題鑑別度與難易度分析以及受試者答題表現分析之情形分別說 明如下。

一、 預試樣本選取與實施

本研究之研究母群為修習社會學科碩士學位研究所，並預備獨立進行學術研 究及論文撰寫之學生，包含各年級碩士學生以及碩士在職專班學生。由於預試主 要目的在檢測評量試題是否有需要修改的地方，除了預試成績可提供量化資料作 為分析檢驗試題品質功能之外，研究者也期望可以獲得對試題修改較有幫助的意 見回饋，因此預試樣本採立意取樣方式，根據文獻回顧結果，長久以來圖書資訊 學研究領域對資訊素養、研究素養議題頗有關注，故挑選國內圖書資訊學研究領 域之碩士研究生作為本研究預試樣本。

將經由專家審查，並依照專家建議修改之後的題庫，製成「研究準備度評量 預試問卷」，並以線上評量方式呈現（如附錄七）。預試實施方式是透過社群網路

管道與電子郵件發放研究邀請函和「研究準備度評量預試問卷」予國內圖書資訊 學研究領域之碩士研究生，活動日期自 2013 年 9 月 17 日起至 9 月 27 日止，共 計 10 天。問卷回收情形，總計回收 60 份有效問卷，其中受試者有 18 名為碩士 一年級生；25 名為碩士二年級生；17 名為碩士三年級或以上學生，分佈比例如 圖 5-1。

圖 5- 1 預試受試者就讀年級比例分佈

二、 試題鑑別度與難易度分析

試題鑑別度與難易度分析的部分，是針對 42 個單一選擇題型的能力測驗問 項，亦即研究準備度評量試題部分進行分析，計算各問項之難易度以及鑑別度，

做為評量篩選不良問項的參考。本研究採計算各試題相關係數方式，以評量總得 分的高分組（前 25%的受試者 ）和低分組（後 25%的受試者）在每一題得分的 平均數進行差異比較，依照鑑別度指數之判斷標準，通常鑑別度 0.2 以下代表題 目不佳，很可能需要修改；0.2 以上未達.03 表示試題尚可；0.3 以上未達 0.4，表 示試題優良可用；而 0.4 以上表示試題非常優良試題（陳柏熹，2011）。本研究 預試分析 42 個單一選擇題型的能力測驗問項結果，整體鑑別度為 0.32，各試題 鑑別度分布統計如表 5-8。

表 5- 8 預試分析之研究準備度評量試題鑑別度分布

鑑別度指數 試題判斷標準 題數(比例) 題號試題編號

0.2 以下 試題不佳 14(0.33)

Q05、Q08、Q13、Q14、Q15、Q16、

Q22、Q24、Q25、Q38、Q40、Q43、

Q46、Q48

0.2~0.29 試題尚可 9(0.21) Q06、Q18、Q20、Q28、Q32、Q39、

Q41、Q44、Q47 0.3~0.39 試題優良可用 2(0.05) Q07、Q12

0.4 以上 試題非常優良 17(0.40)

Q09、Q10、Q11、Q17、Q19、Q21、

Q23、Q26、Q27、Q29、Q30、Q31、

Q33、Q42、Q45、Q49、Q50。

由於本研究發展之評量試題屬於二元計分題，試題難易度通常以該題的答對 率來表示，計算方法為將答對該題的人數除以總受測人數，本評量問卷平均答對 率為 0.72，最高分為答對 40 題，換算為答對率為 0.95，最低分為答對 11 題，換 算百分比為 0.26，依照測驗難易度指標，根據難易度指標屬於偏易題型，符合研 究準備度評量之需求。本評量之難易度統計如表 5-9。

表 5- 9 預試分析之研究準備度評量試題難易度分布

答對率 難易度 題數(比例) 試題編號

0.5 以下 困難題 7(0.17) Q15、Q19、Q20、Q27、Q28、Q30、Q48 0.5~0.75 中等難度題 12(0.29) Q07、Q09、Q10、Q11、Q12、Q21、Q23、

Q24、Q29、Q31、Q45、Q50、

0.75 以上 容易題 23(0.55)

Q05、Q06、Q08、Q13、Q14、Q16、Q17、

Q18、Q22、Q25、Q26、Q32、Q33、Q38、

Q39、Q40、Q41、Q42、

Q43、Q44、Q46、Q47、Q49

提升整體評量之品質，因此參考試題鑑別度與難易度進行試題篩選，本研究 篩選試題之原則，首先刪除鑑別度低於 0.2 之不良試題，再來刪除難度過高，意 即答對率低於 0.4，不適合做為準備度測驗之試題。初步篩選後，統計分析受試 者在填答經初步篩選所保留下來的試題時的答題表現，檢測篩選後的試題是否可 有效鑑別不同研究準備程度之受試者。

三、 試題篩選結果

根據此次預試實施結果，鑑別度在 0.2 以下試題共有 14 題，其中設計用來 檢測「資訊倫理」和「資料蒐集方法」概念的試題（試題編號 Q05、Q38 和試題 編號 Q16、Q46），4 題鑑別度與難易度表現皆不佳，但是考慮每個研究準備度 面相皆須受到檢測，因此在此 4 題不良試題中，挑選經專家內容效度檢驗較為合 適的 Q05 與 Q16 試題進行修改，其餘鑑別度在 0.2 以下之 12 題皆刪除，另外刪 除答對率低於 0.4 試題 1 題，並將 10 題自評式量表題型之試題（Q01、Q02、Q03、

Q04、Q34、Q35、Q36、Q37、Q51、Q52），將試題中預檢測的研究倫理概念的 內容進行合併，修改為單一選擇題型呈現，試題編號為 Q53，各試題評估與篩選 細節詳如附錄九。最終定稿本研究準備度評量之測驗題共計 30 題（詳如附錄十）， 研究準備度評量內容架構與試題分布如表 5-10。

表 5- 10 研究準備度評量定稿內容架構與試題分布

測驗內容 能力面向

概念 認知層面 技能層面 總計

試題編號 題數(比例) 試題編號 題數(比例) 題數(比例)

研究基 本概念

資訊倫理 Q05 1 (0.03) -- -- 1 (0.03) 研究倫理 Q53 1 (0.03) -- -- 1 (0.03) 方法論與研究取向 Q06、Q39 2 (0.07) -- -- 2 (0.07) 測量、樣本與信效度 Q44 1 (0.03) -- -- 1 (0.03) 研究意識與研究問題 Q11、Q42 2 (0.07) Q12 1 (0.03) 3 (0.10)

小計 8(0.27)

文獻 回顧

資訊需求的釐清與辨識 -- -- Q07 1 (0.03) 1 (0.03) 資訊獲取 Q09 1 (0.03) Q10、Q41 2 (0.07) 3(0.10) 資訊分析評估與內化 Q18 1 (0.03) -- -- 1 (0.03) 學術文獻蒐集與評析 Q30 1 (0.03) -- -- 1 (0.03)

小計 6(0.20)

實徵資 料蒐集

取樣方法 Q45 1 (0.03) -- -- 1 (0.03) 資料蒐集方法 Q16 1 (0.03) Q17、Q47 2 (0.07) 3 (0.10) 小計 4 (0.13)

（續）

表 5- 10 研究準備度評量定稿內容架構與試題分布（續）

測驗內容 能力面向

概念 認知層面 技能層面 總計

試題編號 題數(比例) 試題編號 題數(比例) 題數(比例

實徵資 料分析

質性資料分析方法 Q19、Q20 2 (0.07) -- -- 2 (0.07) 量化資料分析方法 Q21 1 (0.03) -- -- 1 (0.03) 混合式資料分析方法 Q33 1 (0.03) Q23 1 (0.03) 2 (0.07) 小計 5 (0.17) 報告

撰寫

資訊利用能力 Q26 1 (0.03) Q27 1 (0.03) 2 (0.07) 學術書寫 Q29、Q49 2 (0.07) Q31、Q50 2 (0.07) 4 (0.13) 學術報告與研討 Q32 1 (0.03) -- -- 1 (0.03) 小計 7 (0.23)

總計 20(0.67) 10(0.33) 30(1.00)