• 沒有找到結果。

題組與局部試題依賴的概念

第二章 文獻探討

第一節 題組與局部試題依賴的概念

第二章 文獻探討

本研究的目的主要是在於探討不同局部試題依賴偵測方法在不同模擬情境之 下,對於題組局部試題依賴情形的偵測效果如何,因此本章將分別針對題組與局 部試題依賴的概念、不同的局部試題依賴偵測方法及影響這些方法之偵測效果的 可能因素進行說明,並歸納相關研究之發現,以作為研究參考之依據。

第一節 題組與局部試題依賴的概念

一、 題組的發展與定義

由於學者們普遍認定一般的選擇反應題型只適合用來測量受試者的背誦與記 憶能力,並無法反映出其高層次的思考能力究竟如何,因此,如果測驗的主要目 的是想要瞭解受試者之高層次思考能力的話,勢必要使用其他更適合的測驗題型 來編擬測驗,以避免缺乏建構效度。而又因為近年來有不少的研究文獻均指出,

題組的使用確實能夠有效地幫助了解受試者較為複雜的高層次認知能力(王文中、

呂金燮、吳毓瑩、張郁雯、張淑慧,2008;Mehrens & Lehman, 1978;Thissen, Steinberg, & Mooney, 1989;Wainer & Wang, 2000),是故,如果測驗的目的是要 測量受試者之高層次思考能力,該題型會是一個不錯選擇。其實早在 1951 年左 右,學者 Ebel 就已提出了所謂情境依賴試題組(context-dependent item set)的概 念,為的就是要測量受試者較高層次的學習成果。該情境依賴試題組是指,在該 試題組中,所有題目都必須參照一個共同刺激材料或訊息來進行回答(Allen &

Sudweek, 2001;Haladyna, 1992),其材料可以是某個情境或是圖表,端看測驗的 編製者如何設計。而關於「題組」此一指稱的確立,儘管從過去的研究中,研究 者發現有部分的學者並不是使用「題組」此一指稱方式來稱呼此概念,如 Cureton

(1965)即以超級試題(superitems)來指稱題組,而 Haladyna(1992)則以試 題集(item clusters)來稱呼題組,Yen(1993)更是直接以段落(passage)一詞

6

來指稱題組。然而,由於目前絕大部份的研究文獻皆是以「題組」的指稱來稱呼 此一概念,顯示這樣的指稱方式可能是目前最廣為學者接受且普遍被使用的說法,

故本研究仍是沿用此一稱呼方式。

對於題組之定義,不同學者之見解亦有所不同。如 Wainer 與 Kiely(1987)為 了要解決電腦化適性測驗(computerized adaptive testing)選題上的問題而將題組 定義為與單一內容領域相關的一組試題,並包含一些的預設路徑,受試者必須循 著這樣的路徑來進行測驗;Wainer、Sireci 與 Thissen(1991)則將題組定義為一 個可替代的測驗單位,而由於其本身是由一組相互有關的試題所組成,因此可以 將其視為是一個比個別試題還要大的測驗單位。雖然題組在發展的過程中曾被賦 予過不同的稱呼與定義,但是當提及題組在使用上優勢之處時,學者們的看法卻 是呈現出相當一致的情形,即其皆認為該題型一方面能夠幫助測量受試者的高層 次認知能力,另一方面還可以適用在大部分測驗的形式(選擇題、配合題等)之 中。除此之外,透過題組的使用,試題發展者也能以不同的觀點角度來檢視受試 者對於刺激材料的理解情況,獲得更多有關於受試者的學習訊息,這相較於以單 題的形式來得到這麼多的訊息而言,明顯經濟許多(Haladyna, 1992;Thissen, Steinberg, & Mooney, 1989;Wainer, Bradlow, & Du, 2000)。然而,在實際使用時,

題組卻很有可能會因為題材選用或子題設計的不當,而使得受測者能力的測量受 到其他非期望的共同因素所干擾,導致單向度的假設無法被滿足,產生局部試題 依賴的問題。

二、 局部試題依賴的概念

雖然測驗理論可以分成幾個不同的取向,且每種取向也各有不同的特色,綜觀 而言,它們還是會有一些共同點存在,其最大的共同點就是都會有一些基本的假 設。例如對於大部分的測驗理論而言,局部獨立性就是一個相當重要的假設,而 命題者在設計題目時也往往都會以滿足該假設為一項最基本的前提。就 IRT 的觀 點而言,局部獨立性的概念是指當模式使用恰當時,受試者答對不同題目的機率

7

應該是要互相獨立的,故受試者同時答對第 i 題與第 j 題的機率就等於把答對第 i 題的機率乘以答對第 j 題的機率,如公式(2.1)所示:

Pij(θk)=Pi(θk)Pj(θk) (2.1)

其 Pij為能力θk的受試者同時達對第 i 題與第 j 題的機率,而 Pi與 Pj則分別為 能力θk的受試者答對第 i 題與第 j 題的機率,也是因為局部獨立性假設的成立,

學者們才能夠根據受試者的反應組型(response pattern)以及反應的概似函數

(likelihood function),對試題參數及能力進行估計。其概似函數如公式(2.2)

所示:

(2.2)

其 Ui代表著受試者答對(U=1)或答錯(U=0)第 i 個題目,Pi指的是受試者 答對第 i 個題目的機率,此機率必須視選擇的模式而定(公式 2.2 是以 Rasch 模 式為例,其中, 是指受測者的能力,而 則是指第 i 個題目的難度),而 Qi是指受試者答錯第 i 個題目的機率,該機率會等於 1 減掉其答對第 i 個題目的機 率(即 1-Pi)。

然而,在題組測驗中,常會因為題材選用或子題設計的不當,而使得同一個題 組裡的題目受到一些非期望的共同因素所干擾,導致單向度的假設無法被滿足,

而間接使得局部獨立性的假設受到影響(因為局部獨立性基本上是奠基於單向度 假設之上的另一重要假設,即倘若題組裡的題目不是單向度的話,不同試題的答 對機率很可能就同時會受到非期望的因素所干擾),因而產生局部試題依賴的問 題,而此時,公式(2.2)亦無法成立。又這類非期望的干擾因素其實相當的多,

如 Ferrara 等人(1997)就指出當題組內的題目具有「比較-對比」(compare-contrast)

8

或「回答-解釋」(answer-explain)的脈絡特徵時,較容易導致題目彼此之間有 局部試題依賴的情形產生。除此之外,「多餘訊息的程度」、「段落中是否存有明 顯指引受試者的指示」、「隱喻語言的程度」也都是學者們認為導致題組產生局部 試題依賴問題的可能原因(Sheehan, Ginther & Schedl, 1999)。同樣地,Yen(1991)

也根據其研究發現,歸納了幾個導致題組產生局部試題依賴問題的可能原因,包 括外在的幫助或干擾、作答速度、疲勞、練習、題目或反應的形式、訊息依賴、

試題串、受試者對於先前答案的解釋、評分規則與評分者、題目所考到內容、知 識與能力。