• 沒有找到結果。

研究二:93~98 年國中基本學力測驗英文科題組之局部試題依賴

第三章 研究方法

第二節 研究二:93~98 年國中基本學力測驗英文科題組之局部試題依賴

研究二為實徵研究,其目的主要是在於比較三種局部試題依賴偵測方法對於 93~98 年國中基本學力測驗英文科題組之局部試題依賴偵測結果的差異情形。

除此之外,研究者亦想瞭解 93~98 年國中基本學力測驗的英文科題組是否有局 部試題依賴的情形存在,並檢討造成題組局部試題依賴情形的可能原因。同樣地,

以下亦將分別針對研究二的設計、程序等部份進行說明。

一、 研究設計

(一)研究架構

研究二欲比較的局部試題依賴偵測方法仍是與研究一相同,包括:(一)Rasch 題組模式之題組效果估計(二)題組-殘差主成分分析及(三)Q3指標。其研究 架構將如如圖 3-2-1 所示。

(二)研究對象

由於研究二的目的旨在探討 93~98 年國中基本學力測驗之英文科題組是否有 局部試題依賴的問題存在,故研究的對象理應包含此六年度所抽取的有效應考樣 本。而經研究者向「國民中學學生基本學力測驗工作推展委員會」提出資料申請 需求後,即得到了 93~98 年國中基本學力測驗英文科的受測者作答反應,每次 各 5000 筆,各年度共 10000 筆。

32

圖 3-2-1 研究二架構圖

(三)測量工具

根據歷年來國民中學基本學力測驗推動工作委員會之試題發展組所公布的「國 民中學基本學力測驗試題說明」可以得知,該測驗主要是評量受測者在國中階段 所習得的基本核心知識與培養的基本能力,並非要測量艱深繁瑣與高專業的知識 技能,故各個題目的難度幾乎都維持在中間偏易左右,難題其實並不多。其命題 的特色主要是以能夠結合學生的生活與學習經驗為主,同時也強調必須以生動及 活潑化的方式來呈現題目,避免過於死板。該測驗的主要目的在於評量學生們的 能力表現及發展潛能,並在維持制度公平的前提之下,消除入學考試對國民中學 教育方針的不利影響,期能發揮充分發揮學生的學習潛能(教育部,2000)。

國民中學基本學力測驗(以下簡稱國中基測)之英文科測驗的試題結構主要包 研究二

使用資料:93~98 年國中基本學力測驗英文科 試題類型:二元計分試題共 45 題

試題結構:單題與題組混合

題組佔總題數之比例:約 50%~60%

受測者人數:每次 5000 人 題組內試題數:2~4 題不等

綜合歸納與分析

1、瞭解對於 93~98 年國中基本學力測驗的英文科 題組而言,不同局部試題依賴偵測方法之偵測結 果的差異情形。

2、瞭解 93~98 年國中基本學力測驗的英文科題組 的局部試題依賴情形並探討造成存有題組局部 試題依賴問題的可能原因。

Rasch 題組模式 題組-殘差主成分分析 Q3指標

33

含單題與題組部分,題組佔總題數的比例隨著各年度的不同而有所差異,但大致 而言皆佔有五成以上的比例。單題部分主要是測量受測者的語言基礎知識、字彙、

片語及語法結構的能力,而題組部分則是在測量受測者的閱讀理解、分析等綜合 判斷的能力。如前所述,其試題取材的內容相當生活化,除了涵蓋現階段受測者 的生活經驗外,也包括了日後可能發生的生活經驗,惟必須以受測者可以理解的 範圍為主。

二、 研究程序

研究二的研究程序主要是直接利用三種局部試題依賴偵測方法對 93~98 年國

中基測之英文科題組進行局部試題依賴的偵測,其目的除了在於比較不同偵測方 法之偵測結果是否有差異之外,也期瞭解 93~98 年國中基測之英文科題組的局 部試題依賴情形。以下將針對此程序的詳細作法做細部介紹:

(一) Rasch 題組模式之參數估計

與研究一相同,主要是使用 ACER ConQuest 對 93~98 年國中基測的英文科題 組資料進行參數估計。

(二) 題組-殘差主成分分析與 Q3指標的計算

與研究一相同,先利用 WINSTEPS 3.31 進行參數估計並輸出 93~98 年國中基 測英文科題組的標準化殘差分數,再以 SPSS 12 及 Excel 2007 進行題組-殘差主 成分分析與 Q3指標的計算,其中,題組-殘差主成分分析仍然是以第一與第二主 成分的比值作為各題組之局部試題依賴情形的判斷依據,而 Q3指標也同樣也是 以題組內兩兩試題配對之殘差分數相關的平均數作為各題組之局部試題依賴情 形的判斷依據。

(三) 不同局部試題依賴偵測方法之偵測結果比較

此部份除了直接針對不同局部試題依賴偵測方法的偵測結果進行比較之外,也

分別針對不同方法之偵測結果進行Spearman's ρ 係數的計算,以瞭解相對而言,

34

不同方法之偵測結果的差異情形。惟在 Rasch 題組模式之題組效果估計的偵測結 果部分,研究者是以題組效果變異數估計值與能力變異數估計值的比值做為各題 組之局部試題依賴情形的判斷指標,並以該指標和其他兩種偵測方法的偵測結果 進行比較。

三、 資料分析

由於所使用的資料分析方法與研究一相同,包含 Rasch 題組模式之題組效果估

計、題組-殘差主成分分析、Q3指標等三種局部試題依賴偵測方法,其相關的計 算細節請參考本研究第 29 至 30 頁,本節將省略此部分不再介紹。

35