第三章 第三章
第三章 研究設計與方法 研究設計與方法 研究設計與方法 研究設計與方法
本研究針對「高雄市九十三學年度小三國語學習成就評量試題」
作試題分析，以期日後能提供一套有效可行之試題分析模式，並依研 究結果提出一些意見作為教師命題或教學之參考。此章共分為四節敘 述，分別為：第一節研究設計，第二節研究對象，第三節研究工具，
第四節資料處理與統計方法。
第一節 第一節 第一節
第一節 研究設計 研究設計 研究設計 研究設計
本研究依據研究目的、待答問題及參考相關資料後，進行「高雄 市九十三學年度小三國語學習成就評量試題」的相關分析研究。研究 設計主要可分為下列五個部分（如圖一）：
一、針對「高雄市九十三學年度小三國語學習成就評量試題」之 作答資料分析全市受試者的學習成就，其中包括了整體的通過情形、
各主題能力指標的學習情形、個別試題的回答型態，及不同性別和不 同學校規模的學生在試題上的表現差異情形等四部份之分析。
二、針對「高雄市九十三學年度小三國語學習成就評量試題」之 作答資料與 IRT 模式作相關的模式符合度檢測，包含了模式單向性假 設的檢定及模式適合度檢定。
三、針對「高雄市九十三學年度小三國語學習成就評量試題」之 作答資料用 IRT 模式進行量的統計分析，包括了難易度、鑑別度、猜 測度及整份測驗的信度和效度。
四、利用雙向細目表與試題檢核表等檢核工具對「高雄市九十三 學年度小三國語學習成就評量試題」進行質的分析。
五、將前述質的分析與量的分析所做出來的結果做一個綜合分 析。
圖 3-1 研究設計圖
學習成就分析 量的分析 質的分析
整體通過率分析
試題回答型態分析
不同性別、學校規模 表現差異情形分析
難度、鑑別度、猜 測度、信度和效度
雙向細目表
選項分析 試題檢核表
綜 合 分 析 高雄市九十三學年度 小三國語學習成就評量試題
第二節 第二節 第二節
第二節 研究對象 研究對象 研究對象 研究對象
「高雄市九十三學年度小三國語學習成就評量試題」是高雄市政 府教育局為了解與改進九年一貫課程實施下的學生學習成效所設計 的試題，抽樣的方式乃針對全市國小三年級學生進行全面普測，因此 本研究是以參加本次施測的國小三年級學生之作答資料進行分析。
本次測驗中的受試者為全市 88 所國民小學三年級學生，其中包 含大型（54 班以上）學校 24 所；中型（27－53 班）學校 34 所及小 型（26 班以下）學校 30 所，共有 19335 人。
第三節 第三節 第三節
第三節 研究工具 研究工具 研究工具 研究工具
本研究是以「高雄市九十三學年度小三國語學習成就評量試題」
為基準，以雙向細目表和試題檢核表為工具來檢視試題，進行質的分 析；以試題反應理論來分析此份試題之作答資料，進行量的分析。由 於試題反應理論在第二章已作詳盡的介紹，本節將針對雙向細目表和 試題檢核表進行說明。
壹、雙向細目表
本研究是針對「高雄市九十三學年度小三國語學習成就評量試
題」，在試題層次的分類上，命題型式為四選一的選擇題。而在 Gronlund（1993）所提出的選擇型試題與補充型試題（如簡答題和申 論題）之比較中得知：選擇型試題適於測量知識、理解、應用與分析 的能力；但比較不適合於測量綜合和評鑑的能力。基於聽、說、讀、
寫、作和注音符號的部份學習能力不易以選擇題來彰顯為考量，因 此，僅就「注音符號」、「識字寫字」、「閱讀」、「寫作」四大項目為測 驗內容，而每項測驗內容偏重知識、理解、應用及分析四個能力層次，
進而依據教材內容與能力層次指標製作「雙向細目表」，依據所設計 的雙向細目表來檢測，試題的取材是否能夠充份涵蓋所要評量的教材 內容和能力層次指標的範圍。
貳、試題檢核表
試題檢核表是用來檢查試題是否符合命題原則，包含一系列的檢 查項目，使命題者可以很清楚的知道試題的缺失以作為改進試題的依 據；以及檢視命題的內容是否符合測驗的目標，以作為進行試題評鑑 時的效度指標。
本研究中的試題檢核表(如表 3-1)之編製是參考國中基本學力測 驗之命題原則（2005）而來，其中對個別試題的目的、表達方式與取 材的適切性可歸納為內容要項；對於題幹敘述表達與正確性可歸納為 題幹要項；選項描述的方式、內容及邏輯性則可歸納為選項要項。
表
第四節 第四節 第四節
第四節 資料處理與統計方法 資料處理與統計方法 資料處理與統計方法 資料處理與統計方法
本研究採用的資料分析工具為統計分析軟體 SPSS for Window 10.0 以及試題分析軟體 BILOG-MG for Window 3.0，藉此進行資料 分析，以達研究目的。
壹、學習成就分析部分
本研究以統計分析軟體 SPSS for Window 10.0 進行下列統計分 析：
一、經由描述統計量（含平均數、標準差、百分率等）進行整體受試 者學習情形、各主題能力指標學習情形及個別試題回答型態之分析。
二、經由 t 考驗（t-test）統計方法考驗不同性別學生在「高雄市九十 三學年度小三國語學習成就評量試題」上表現之差異。
三、經由單因子變異數分析（One-way ANOVA）統計方法檢定不同 學校規模學生在「高雄市九十三學年度小三國語學習成就評量試題」
上表現之差異。
貳、測驗分析部分
一、試題分析
（一）質的分析
在質的分析方面，本研究採針對此次試題所設計的試題檢核表來 檢視試題是否符合命題原則及測驗目標，以作為進行試題評鑑的內容 效度指標。
（二）量的分析
在量的分析方面，本研究是以試題分析軟體 BILOG-MG for
Window 3.0 先進行模式適合度檢測，分析 IRT 三種常用的模式中，
哪一種模式較適合用來分析本研究的作答資料，藉以選取適合的模式 後再進行量的分析，包括了難易度、鑑別度與猜測度等主要參數，並 估計受試者的能力參數。同時利用上述參數和能力估計值對個別試題 作選項分析。
二、試卷分析
（一）質的分析
在質的分析方面，本研究以所設計的雙向細目表來檢測試題的取 材是否能夠充份涵蓋所要評量的教材內容和能力層次指標的範圍，藉 以確定此份測驗的內容效度及適當性。
（二）量的分析
在量的分析方面，將進行整份測驗的信度和效度之分析：
1.信度分析：以α係數、 KR20係數與折半信度係數來考驗本試 卷的內在信度。
2.效度分析：以內部一致性分析法來驗證本試卷的建構效度。