第六章 研究測驗實施與資料分析
第三節 「碩士研究生研究準備度評量」適切性分析
本節主要探討「碩士研究生研究準備度評量」的適切性如何，是否能有效發 揮預期的檢測作用，亦即探討評量之信度與效度，信度代表評量工具具有可靠性、
穩定性與一致性，意指當在同樣或相似的條件之下使用評量工具測量的結果是可 以重複或再次發生的；而效度則是代表評量工具的真實性，指的評量中研究者所 欲測量的構念與實際可測量出的狀況契合度，因此信度與效度的相關討論是為了 提供本評量工具適切性與可行性的重要佐證資料，分析項目包含評量試題難易度 分析、試題鑑別度分析、內部一致性信度分析、內容效度分析、受試者填答表現 與同時效度分析與評量填答感受意見調查分析。
21%
79%
申請計劃書口試(論文初審)
有33人 無126人
16%
84%
通過計劃書口試(論文初審)
是25人 否133人
難易度分析
本研究發展之評量試題屬於二元計分題，試題難易度以該題的答對率來表示，
計算方法為答對該題的人數除以總受測人數，根據陳柏熹（2011）提出的測驗難 易度指標，可依照各個試題的答對率將之分為困難題、中等難度題或容易題三種，
而一份理想的評量應包含各種不同難易度的題目，才能對不同能力的受試者發揮 測量功能，題數比例建議困難、中等與容易試題分別為 25%、50%、25%為佳。
經由正式施測資料蒐集結果，分析「碩士研究生研究準備度評量」各試題之 難易度，統計評量中共包含困難題 6 題，中等難度題 16 題，容易題 8 題，試題 難易度分布比例如表 6-4 所示。
表 6- 4 研究準備度評量試題難易度分配
答對率 難易度 題數(比例) 試題編號
0.5 以下 困難題 6(0.20) Q12、Q20、Q27、Q30、Q19、Q31 0.5~0.75 中等難
度題 16(0.53) Q23、Q45、Q50、Q10、Q09、Q11、Q29、Q07、
Q21、Q41、Q17、Q26、Q49、Q06、Q42 0.75 以上 容易題 8(0.27) Q47、Q53、Q33、Q44、Q18、Q05、Q16、Q32
總計 30(1.00)
不同難易度的試題數分布比例接近學者建議之 25%、50%、25%，但容易題 數較多出 2 題，因此整體而言評量難易度屬中等偏易難度。
受試者的成績表現分布也是觀察評量整體難易度是否合適的方法，由各受試 者於本評量的試題答對率為成績，針對不同成績（答對率）區間的人數進行統計，
如圖 6-6 所示。
圖 6- 6 評量成績答對率
評量整體的平均答對率為 0.66，由圖 6-6 可看出不同成績區間的人數分布曲 線，高峰偏右表示試題難易度偏易（陳柏熹，2011）。綜合試題難易度鑑別指標 與受試者成績表現結果，分析本研究準備度評量之難易度，屬於中間偏易的難度，
符合本研究發展準備度測驗類型評量之難易度需求。
鑑別度分析
試題鑑別度是指題目是否能有效區分不同能力高低者，檢測方法為求出評量 極端組樣本在每個題項平均分數的分的差異，極端組樣本選取通常取成績於前後 33%至 25%者（吳明隆、涂金堂，2005），由於本研究樣本數較少，因此極端組 取成績於前後 25%之樣本，計算方式以評量總得分的高分組和低分組在每一題得 分的平均數相減，所得數值即為其鑑別度，本研究準備度評量各試題極端組平均 答對率與鑑別度如表 6-5。
表 6- 5 研究準備度評量各試題極端組平均答對率與鑑別度
試題編號 高分組平均 低分組平均 鑑別度
Q05 1.00 0.75 0.25
Q06 0.93 0.45 0.48
Q07 0.83 0.48 0.35
Q09 0.85 0.25 0.60
Q10 0.83 0.30 0.53
Q11 0.85 0.38 0.48
Q12 0.70 0.18 0.53
Q16 0.98 0.80 0.18
Q17 0.90 0.50 0.40
Q18 0.93 0.80 0.13
Q19 0.70 0.28 0.43
Q20 0.60 0.28 0.33
Q21 0.93 0.30 0.63
Q23 0.95 0.15 0.80
Q26 0.88 0.55 0.33
Q27 0.68 0.15 0.53
Q29 0.80 0.30 0.50
Q30 0.58 0.20 0.38
（續）
表 6- 5 研究準備度評量各試題極端組平均答對率與鑑別度（續）
試題編號 高分組平均 低分組平均 鑑別度
Q31 0.73 0.33 0.40
Q32 1.00 0.83 0.18
Q33 0.98 0.55 0.43
Q39 0.85 0.58 0.28
Q41 0.93 0.35 0.58
Q42 0.98 0.45 0.53
Q44 0.98 0.55 0.43
Q45 0.90 0.23 0.68
Q47 1.00 0.48 0.53
Q49 0.88 0.40 0.48
Q50 0.88 0.33 0.55
Q53 0.98 0.50 0.48
總平均 0.86 0.42 0.44
鑑別度指數之判斷標準，通常鑑別度 0.2 以下代表題目不佳，很可能需要修 改；0.2 以上未達.03 表示試題尚可；0.3 以上未達 0.4，表示試題優良可用；而 0.4 以上表示試題非常優良試題（陳柏熹，2011），統計本研究準備度評量各試題 之鑑別度分佈，如表 6-6 所示。
表 6- 6 研究準備度評量試題鑑別度分析
鑑別度指數 試題判斷標準 題數(比例) 題號 0.2 以下 試題不佳 3(0.10)Q16、Q18、Q32
0.2~0.29 試題尚可 2(0.07)Q05、Q39
0.3~0.39 試題優良可用 6(0.20)Q07、Q17、Q20、Q26、Q30、Q31
0.4 以上 試題非常優良 19(0.63)
Q06、Q09、Q10、Q11、Q12、Q19、Q21、
Q23、Q27、Q29、Q33、Q41、Q42、Q44、
Q45、Q47、Q49、Q50、Q53
發現鑑別度 0.2 以下，屬於不佳題目的有 3 題，未來應予以修正或刪除，整 體而言，評量高分組平均答對率 0.86；低分組平均答對率 0.42，整體評量鑑別度 為 0.44，較預試時的 0.32 提高 0.12，根據鑑別度指標來看整體評量的鑑別度表 現也達到非常優良之標準。
內部一致性信度分析
內部一致性是指同一份評量中所有試題的相關程度，本研究發展研究準備度 評量工具，因此評量中的試題都應具備檢測研究準備度相關認知技能之潛在特質，
若本評量內部一致性越高，則表示各試題所具備的潛在特質一致，也符合當初設 計評量的目的，測驗內部一致性指標有很多種，常見的有採折半法和Cronbach’s α 係數作為計算其內部一致性的方法，通常兩者所算出的信對質會十分相似，可 相互作為驗證，判定量表內部一致性之優劣標準（陳柏熹，2011），因此本研究 採取兩種檢驗方法同時進行，以折半信度與Cronbach’s α 係數作為交互參考。
折半信度是將一分評量分為兩組半評量，奇數題一組、偶數題一組，分別計 算受測群體在這兩分半評量中的得分，接著再求出兩組半評量分數的積差相關係 數，但由於此積差相關的題數僅為原來的一半，因此還要再根據史比校正
（Spearman-Brown）公式，來計算原測驗題數的信度；Cronbach’s α 係數是以考 量所有題目彼此間之相關係數，也就是計算所有題目兩兩間的相關係數，算出其 平均值，再根據史比校正公式，來計算原評量的內部一致性信度，經由統計軟體 計算結果如圖 6-7 所示。
圖 6- 7 折半信度與 Cronbach’s α 係數計算結果
折半信度為 0.80，而 Cronbach’s α 係數為 0.81，整體而言，研究準備度評量 內部一致性信度達 0.8 以上，根據學者 DeVellis (1991/1999)所提出的看法，認為 α 係數介於 0.70 於 0.80 之間屬於相當不錯，0.80 以上則非常好。
內容效度
「內容效度」則是評估一個測量是否能測量如其所宣稱的概念之所有面向
（陳柏熹，2011）。本研究發展之研究準備度評量，是經由研究素養相關文獻探 討、Lehigh University 的「研究技能測驗」 (Research Skills Assessment)與 Ivanitskaya 和 Casey 研究團隊於 Central Michigan University 所發展之「研究準備 度自我評量」(Research Readiness Self-Assessment, RRSA)研究準備度評量工具試 題內容分析，以及「研究法」課程教學大綱內容分析之結果，歸納研究準備度評 量內容架構包含「研究基本概念」、「文獻回顧」、「實徵資料蒐集」、「實徵資料分 析」與「報告撰寫」五個面向。
依照標準測驗編製程序，首先詳列評量目標，接著進行雙向細目表規劃，依 照研究目的與評量目標選擇試題題型後，開始設計試題，發展研究準備度題庫 33 題，研究準備度評量之測驗內容包含檢測基礎能力的基礎研究準備度問題，
以及鑑測研究專業能力的的專業研究準備度問題，基礎研究準備度問題以資訊素 養能力項目內涵為試題發展依據；專業研究準備度問題以「研究法」課程專業認 知技能為依據，確保每一試題與其預檢測之準備度內涵相關。
為審視評量內容效度，邀請兩位研究素養相關研究領域，且皆具有多年教授 研究方法課經驗，並且致力於資訊素養教育的推廣與發展活動的學科專家協助，
針對本研究所編擬之評量內容進行審查，檢測本評量內容是否符合研究準備度之 內涵，請每位專家就每一題內容之意義及和研究主題的相關性給予計分，採三點 計分：3 分表示「適合」、2 分表示「修正後適合」、1 分表示「不適合」。再依 據專家給分計算內容效度指標 CVI（Content Validity Index），本研究之 CVI 採 專家給分是 3 分者為計算之標準。將所有得分為 3 分之題數相加後，除以量表 總題數，計算結果兩位專家之 CVI 值分別為 0.67 與 0.82 ，平均值為 0.74，並 且依照專家給予的意見，新增備用試題、修改試題陳述使之流暢明確，最後經預 試之試題分析結果進行修改與刪題，定稿研究準備度評量試題共 30 題。
本研究發展之「碩士研究生研究準備度評量」是根據文獻探討與研究法課程 教學大綱內容分析為基礎，依照標準評量編製程序編製，並接受專家協助審查與 修改，建立本評量之內容效度。
建構效度-團體差異比較法
建構效度的部分，本研究利用團體差異比較法，本研究發展評量工具之目 的是為檢測碩士研究生之研究準備度如何，是否具備進行社會科學研究之先備知 識和技能，因此，若透過本研究發展的評量工具，可以鑑別出研究準備度不同的 受試者，則表示評量可有效檢驗受試者研究準備度的差異。
參與本研究測驗的受試者，共包含接觸研究所教育時間不同的碩士一年級生 45 名；碩士二年級以上學生 114 名，其中有 30 名學生表示在求學經驗中沒有修 過研究法相關課程，129 名學生則有修過研究法相關課程，分別統計接觸研究所 教育時間不同的碩士一年級生與二年級以上學生的答題表現；以及有學習過研究 法課程經驗與沒有修過研究法課程經驗的受試者的答題表現是否有差異，若接受 研究所教育時間較久的同學，以及有修過研究法相關課程經驗的同學之答題表現 較優，則表示本評量工具可鑑別出研究準備度不同者的差異。
以受試者答對題數除以總題數的百分比為成績，統計有修過研究法課程經驗 與沒有修過研究法課程經驗的兩組受試者成績表現，統計結果有修研究法課程課 經驗之 129 位受試者平均成績為 68.06，無修課經驗之 30 位受試者平均成績為 55.55，兩組平均數差異為 12.41，為檢測兩組受試者之成績表現是否有差異，因 此將兩組受試者之成績表現利用 SPSS 統計軟體進行獨立樣本 t 檢定，採 95%的 信賴區間，分析結果如表 6-7。
表 6- 7 有與無修過研究法課程經驗的兩組受試者成績表現 t 檢定摘要表
變項 組別（修課經驗） 個數 平均數 標準差 t 值 成績 是 129 68.06 17.33 3.66
變項 組別（修課經驗） 個數 平均數 標準差 t 值 成績 是 129 68.06 17.33 3.66