• 沒有找到結果。

依據研究動機、研究目的、研究問題、參考文獻及相關資料,以下各節將就 本研究之研究架構、研究對象、研究工具及資料處理與分析等加以說明。

第一節 研究架構

本研究針對「100 學年度技術校院四年制與專科學校二年制統一入學測驗第一 次聯合模擬考」商業類的數學科試題的研究架構,如圖 3-1 所示:

圖 3-1 研究架構圖

綜合分析

100 學年度四技二專統一入學測驗第一次 聯合模擬考商業類 數學科 測驗題本

測驗資料 個別試題檢核

試題題本檢核

量的檢核 質的檢核

量的檢核 質的檢核

內容效度 風格要素 雙向細目表

信度 內容要素

題幹要素 選項要素 選項分析

難易度 鑑別度

從事 Testgraf98

試題分析

正確選項與 誘答選項

分析

- 55 -

第二節 研究對象

本研究將針對「100 學年度技術校院四年制與專科學校二年制統一入學測驗第 一次聯合模擬考」之考生在「商業類」的「數學科」測驗資料進行分析,此測驗 是由坊間出版社針對四技二專統一入學測驗所編製而成,以 95 暫綱所訂定之高職 課程第一冊及第四冊第一章教材內容為命題範圍,單元主題包含有直角坐標系、

三角函數以及三角形的解法,測驗時間 80 分鐘,共 25 題單選選擇題,每題有四 個選項。

本研究針對「商業類」考生之「數學科」作答資料來作相關統計分析,全國 商業類考生共有 97154 人,其應考背景包含有設計群、商管群、食品群、農業群、

外語群、餐旅群、海事群、水產群,共八種類別科系。本研究資料來源為北、中、

南各隨機抽取四所學校,並針對其 8473 筆有效樣本之答題情形進行相關統計分析。

第三節 研究方法

本研究施測採用之試題為坊間出版社所編製的「100 學年度技術校院四年制與 專科學校二年制統一入學測驗第一次聯合模擬考」,此測驗試題係數學科學習成就 測驗,為全國性之大會考,研究者選取北、中、南部各四所高職之學生共 8661 人 為受試樣本,刪除無效樣本(

<11

分)188 筆後,採計 8473 筆有效樣本進行分析。

以古典測驗理論、試題反應理論,進行試題分析與測驗分析,並分析學生能力參 數與試題參數在古典測驗理論與試題反應理論間之相關情形。

第四節 研究工具

本研究在質的分析方面使用試題檢核表、雙向細目表、內容效度檢核表等工 具來檢測試題;量的分析方面,測驗分析是利用 SPSS 進行統計分析後,計算出 Cronbach’s α 係數,並以應用軟體 TestGraf 98 繪製出信度曲線,探討受試者能力 值與成績分布密度;試題分析則是利用 EXCEL 2003 計算難易度指數、鑑別度指 數、各選項的正答力及誘答力後進行討論,另以無參數 TestGraf 98 軟體作輔,藉 由正答、誘答選項特徵曲線圖形來了解試題的難易度、鑑別度及猜測度。

由於試題反應理論在前章已作過介紹,本章將針對雙向細目表、試題檢核表、

- 56 -

內容效度檢核表及 TestGraf 98 軟體作簡要介紹。

壹、雙向細目表

雙向細目表的功用可用來作試題分析的工作,除了作為命題改善的研究,並 可根據雙向細目表來編寫試題,可以幫助命題者釐清教學目標和學習內容的關 係,以確保測驗能反映實際教材內容,並能夠真正評量到預期之教學目標,可以 瞭解試題是否符合課程內容和教學目標,並知道在各教學單元中所佔試題的比例 是否適當。

雙向細目表是測驗編製的藍圖和命題的依據,一般來說是將教學目標部分依 照布魯姆( Bloom, 1956 )等人將它分成知識、理解、應用、分析、綜合、評鑑等六 大層次,並以這六大層次為橫軸,而以教材內容為縱軸,根據教材內容的重要性 或教學時數之長短決定該內容的比重,並配合所欲達成的教學目標,分配每一欄 的試題數。而威爾森( Wilson, 1971 ),特別針對數學學科課程之雙向細目表提出,

有鑒於分析、綜合、評鑑三項目之重疊性,因此將布魯姆的六大層次修訂為計算、

理解、應用、分析,以此四類認知內容為雙向細目表的橫軸,縱軸的部分是以數 學領域中的數的系統( Number Systems )、代數( Algebra )、幾何學( Geometry ) 為 主。本研究的雙向細目表則是根據當初「技專校院入學測驗中心」與「台中師範 學院測驗統計中心」合作時所做的雙向細目表(劉湘川、許天維等,2001),將上 述的六大層次轉換為定義與基本概念之知識、定理及相關性質之理解、數式之轉 化應用、圖表及計算器具之瞭解與應用,而將教材內容改為學習內容,並依照教 學時數之長短決定該內容的比重。

貳、試題檢核表

用來檢查試題是否符合命題原則及測驗目標的檢核表。表中包含一系列的檢 查項目,經過對照來檢視命題的過程是否符合命題的原則,如題幹的敘述、試題 的編排、選項的誘答等,使命題者可以很清楚的知道命題的要訣,作為命題的依 據;以及檢視命題的內容是否符合測驗的目標,以做為進行試題評鑑時的效度指 標。

叁、內容效度檢核表

- 57 -

技專校院入學測驗中心所編製之「九十學年度技術校院四年制與專科學校二 年制統一入學測驗之命題參考手冊」係依據教育部頒訂高職各類科之課程標準及 教材內容,歸納出一般性命題原則,並列出命題注意事項,以利各科試題命題品 質之提升。本研究之內容效度檢核表係根據此命題參考手冊,所列出的一般性命 題原則、各項命題注意事項與所列出的試題檢核表,並且參酌台中師院(現台中 教育大學)測驗統計簡訊雙月刊第 44 期「微積分選擇題型的試題檢核及其參考示 例」(劉湘川、顧介梅,2001),以及本研究所使用的雙向細目表建製而成。內容 效度檢核表係用來進行整份測驗質的方面之分析,為檢視內容效度最主要的工具。

肆、Testgraf 98 試題分析軟體

Testgraf 98 是一套無參數 IRT 軟體且是 shareware 的軟體,由 Jim Ramsay( 1995 ) 所發展,可分析測驗、心理量表和問卷的資料,用於二元計分和多元計分的試題,

主要診斷試題和試題選項特徵。此試題分析軟體,提供給教育領域的研究者及教 師作量化試題分析時使用。TestGraf 98 藉由描繪選項特徵曲線來解釋試題特性,

除藉由判讀圖形中的位置、斜率、截距來解釋難度指數(item difficulty index)、鑑 別度指數(item discrimination index)、及猜測度之外,更扼要說明試題難易度和學 生答題能力的分水嶺。

第五節 資料處理與分析

壹、利用 SPSS 來進行資料的分析統計

先利用 Excel 將學生作答情形替換成 SPSS 所需格式,將作答正確選項改為 1,

錯誤選項改為 0,完成後匯入 SPSS,再利用 SPSS 來分析受試者之答題資料 中整份測驗的內部一致性信度(Cronbach

係數)、IRT 模型單向性假定的檢 驗。。

貳、利用 Excel 套裝軟體來進行資料的分析統計

利用 Excel 套裝軟體來分析受試者之答題資料中,個別試題之各選項的選答率 及高低分組的答對率作誘答力分析、難易度指數及鑑別度指數。

叁、以 TestGraf 98 之繪圖功能,繪製試題選項特徵曲線

- 58 -

先利用 Excel 將學生作答情形,選項(A)、(B)、(C)、(D)分別轉碼為「1、2、3、

4」,複製到記事本後,再使用 Ramsay 理論所發展的應用軟體 TestGraf 98,繪 出試題及選項特徵曲線、信度曲線,藉助圖形說明及診斷試題與選項的特性,

以期了解試題編製品質的好壞。

肆、利用 BILOG-MG 軟體進行資料的分析

將學生作答資料匯入記事本後,利用 BILOG-MG 軟體,繪製單參數、雙參數、

三參數的選項特徵曲線及測驗最大訊息量,並計算出三種參數值以分析說明 試題及選項的特性。

本研究即以此應用軟體用以分析測驗的試題資料,以診斷試題和其試題選項 的特徵,以期了解此試題編製品質的好壞。

- 59 -

相關文件