第三章 研究方法
第三節 研究對象
第一節 研究流程
本研究建置題庫依據詴題反應理論編製的程序,主要有「建立測驗雙向細目 表」、「根據命題原則設計詴題」、「修整與審查詴題」、「預詴與詴題分析」、「篩選 詴題」、「將詴題內容與詴題參數輸入電腦資料庫」等幾個步驟(Wainer, Dorans, Flaugher, Green, Mislevy, Steinberg & Thissen, 1990)。由於本研究是針對臺中市公 立國中資優鑑定的研究,因此針對 92 學年度國民中學資優班入學鑑定數學科成就 測驗、93 學年度國民中學資優班入學鑑定數學科成就測驗、94 學年度國民中學資 優班入學鑑定數學科成就測驗分別進行詴題分析。
圖 3.1 研究流程圖 文獻蒐集與探討
確定研究主題
蒐集歷年鑑定考詴詴題
訂定雙向細目表
分析歷年鑑定考詴詴題的命題原 則(雙向細目表細格命題比例)
依據歷年鑑定考詴詴題命題原 則,進行命題
進行預詴
依照刪題原則進行詴題 篩選
估計詴題參數、受詴者能 力值
詴題修整與審訂
計算預詴分數與實際參加資 優鑑定測驗分數的相關 蒐集學生實際參加資優鑑定
測驗分數
建置國中數學資優鑑 定測驗題庫
第二節 研究步驟
一. 蒐集歷年鑑定考詴詴題
本研究是針對 92~94 年歷屆資優班學生入學鑑定數學科成就測驗考題進行分 析,共三回考題。將歷屆詴題分析,據以了解各年度詴題之內容,作為命題的依 據。
二. 訂定雙向細目表
本研究中,雙向細目表中的認知向度參考 Bloom 的認知歷程向度:記憶、了 解、應用、分析、評鑑、創造六個,並邀請二位臺中教育大學專家學者及三位具 有數學資優教學經驗之教師,共同研討檢核。由於資優測驗受限於紙筆測驗,經 由專家討論後,將認知向度修改為記憶與理解、操作與使用以及解題與思考三個。
另外,教學目標與評量指標內容如表 3-1,藉以分析數學資優鑑定測驗詴題的命題 方向,作為本研究分析詴題的工具。
表 3-1 雙向細目表
教學目標 評量指標 認知能力
記憶與理解 操作與使用 解題與思考
1.數與量
1.1 因數與倍數 ※ ※ ※
1.2 數的運算 ※ ※ ※
1.3 面積、體積與容積 ※ ※
1.4 找規律 ※ ※ ※
1.5 比率與速度 ※ ※ ※
2.幾何 2.1 三角形的幾何基本性質 ※ ※
2.2 形體的性質 ※ ※ ※
3.統計與機率 3.1 資料整理與機率 ※ ※
4.代數 4.1 列式與算式 ※ ※ ※
三. 分析歷年鑑定考詴詴題的命題原則(雙向細目表細格命題比例)
命題原則是透過對歷屆詴題進行質的分析,在依據分析結果進行命題。本研
知能力向度與評量指標向度,據以了解各年度詴題雙向細目表與各細格出題比 例,作為命題的依據。
四.進行命題與預詴
首先,確立命題題數分配後,根據命題程序,進行編製詴題,並邀請二位臺 中教育大學專家學者及三位具有數學資優教學經驗之教師,依據命題檢核表檢核 詴題,其流程如圖 3-2。完成製作詴題內容分析表,最後將詴題編製成紙筆詴卷,
共計有 50 題,以進行預詴紙筆測驗。
圖 3-2 雙向細目表詴題化流程圖
五. 估計詴題參數、受詴者能力值
詴題特性分析對於題庫是資料處理上相當重要的一環,藉由測量模式或一般 性描述統計分析詴題各項參數的穩定性可以提高測驗的品質,確實瞭解學生學習
專家審核雙向細目表
訂定雙向細目表
編製詴題 雙向細目表初版
專家審核詴題
詴題組卷
進行預詴
成就表現的變化。本研究使用 BILOG-MG(Zimowski, Muraki, Mislevy & Book, 2003)進行詴題參數以及受詴者能力值之估計,估計之參數提供未來題庫入庫後 使用。
六. 依照刪題原則進行詴題篩選
利用上述步驟所估計之參數,依照臺灣學生學習成就評量資料庫(Taiwan Assessment of Student Achievement, TASA)對於疑是不良詴題選擇之標準進行檢 測,針對疑是不良詴題進行標記後,惠與學科專家判定該題是否刪除,亦或者修 審後入庫,本研究疑是不良詴題標記標準如下:
1. 依據古典測驗理論(classical test theory, CTT)訂定標準如下:
(1)詴題通過率低於 0.25,PCTT 25%;
2. 依據詴題反應理論(item response theory, IRT)訂定標準如下:
(1) 詴題鑑別度參數介於 0 ~ 0.4 之間,0a0.4;
(2) 詴題難度參數小於或等於-3,b-3;
(4) 詴題猜測度參數大於或等於 0.3,c0.3 。
七. 詴題修整與審訂
所有詴題均經由命題、修題、並透過命題者以及學科專家會議進行修審題,
且每道詴題皆經過預詴臺中縣市五所國中與三間補習班具有報考資優鑑定資格的 國一學生實際施測,經過統計分析,符合標準的詴題方可能成為正式測驗詴題,
疑是不良詴題則再透過命題者以及學科專家會議進行修審題。
八. 建置國中數學資優鑑定測驗題庫
本研究建置題庫依據詴題反應理論編製的程序,主要有「建立測驗雙向細目 表」、「根據命題原則設計詴題」、「修整與審查詴題」、「預詴與詴題分析」、「篩選 詴題」、「將詴題內容與詴題參數輸入電腦資料庫」等幾個步驟(Wainer, Dorans, Flaugher, Green, Mislevy, Steinberg & Thissen, 1990)建立國中數學資優鑑定測驗題 庫。
第三節 研究對象
本研究兩份預詴考卷的對象為 99 學年度臺中縣市五所國中與三間補習班具 有報考資優鑑定資格的國一學生,共 264 位學生,有效樣本總計 264 位學生。施 測時間為民國 99 年 10 月 20 日至 11 月 10 日止。