• 沒有找到結果。

第二章 文獻探討

第一節 電腦適性測驗

電腦化適性測驗是一種電腦化的線上測驗,電腦可以依據受試者的反應,去 挑選適合該受試者作答的下一題試題,因此不同的受試者會有不同的施測題目。

受試者雖然依據不同作答類型,會有作答題目以及其作答題數都會有所不同,但 在一定的試題管制規則中,卻仍可以達到一定規範的診斷正確率,不會因為該受 試者的施測題數少或者施測題數的不同,而造成其診斷的正確率降彽。

當測驗的難度能夠適合考生的能力程度時,這時測驗所測量到的考生能力最 為精確。但通常一份測驗卷試題難度,很難滿足或適合每位考生的能力水準,因 此要能做到試題難度隨考生能力不同(即個別差異)而調整的測驗方式,唯有採 行適性測驗(余民寧,1993)。然而,早期這種適合個別情況的測驗方式,在實 施上相當困難,近年來,隨著電腦科技的進步,測驗方式逐漸由紙筆測驗演變成 電腦測驗,因此,適性測驗的理念遂得以與電腦測驗融合,使得此種能提高測驗 效率及提供最精確能力測量的理念能夠更順利實施,這便發展成為近年來相當熱 門的電腦化適性測驗。因此,所謂電腦化適性測驗(computerized adaptive testing, CAT),是指以電腦擔任施測員的工作,選擇一個試題,將試題呈現給考生,根

據考生對已施測試題的反應而對考生該項能力或特質作一評估,再基於此一能力 估計值有效選擇下一個題目,如此反覆進行選題、施測與能力估計之循環過程,

至達到穩定的能力或特質估計為止。因此,此種測驗可說是結合了測驗理論、適 性測驗、及電腦的智慧型施測方式,其中涉及題庫、起始點、測驗理論、試題選 擇方式、計分方式與中止標準等六大要素,每一種要素都有幾種可能的選擇。如 圖2-1所示。

圖 2-1 電腦適性施測流程圖

一般的電腦化適性測驗可以分為以試題反應理論(Item Response Theory, IRT)

為主的,以及利用知識或試題結構為主的兩種(郭伯臣,2004),以下將分別介 紹。

一、以試題反應理論為主的電腦適性測驗

以試題反應理論為主的電腦適性測驗,是應用試題反應理論所發展出來之一 種新的實施測驗方式。要實施適性測驗,也唯有在電腦誕生發明後,才有可能施 行。電腦科技的發達,日新月異,它的超大容量可以貯存測驗訊息(如:測驗試 題及其特徵指標)、編製、施測、和記錄測驗分數,因此使得推行適性測驗變得 愈來愈可行(Bunderson, Inouye & Olsen, 1989; Wainer, 1990)。

以試題反應理論為主的電腦化適性測驗(computerized adaptive testing, CAT)

裡,呈現給考生的試題順序,是依據考生在前一個試題上的表現好壞來作決定

初值設定 適性選題 作答反應 估計Profile 終止條件 結束測驗

開始測驗

成立 不成立

的。在開始進行電腦化適性測驗之時,先由電腦終端機隨機呈現一組測驗試題(也 許是兩題或三題),在考生作出反應之後,電腦便根據這些反應資料,估計出考 生的初步能力估計值(initial ability estimate);然後,電腦會根據這些初步能力估 計值,從現有的題庫(item bank)中挑選出最能對能力水準的估計發揮最大貢獻 力量的試題,再呈現這些試題給考生作答,根據考生先前的表現好壞,呈現下一 個要給考生作答的試題。

換句話說,根據考生先前的表現情形,來決定下一階段將呈現給受試者作答 的試題,而且這樣的試題是能對考生能力的估計精確性提供最大訊息量,循此原 則,直到滿足一個預先設定的信賴水準或終止標準時,測驗即結束。透過這樣的 機制,使得測驗的長度可以縮短,也不會犧牲測量精確性。換言之,對於高能力 的受試者無需提供較為容易的試題作答,對於低能力的受試者,也不會有試題難 度太高而造成心理上的打擊,因為這些試題是相對於他們的能力水準來選取的。

因此就電腦化適性測驗來說,不僅可以做到精確估計考生能力來進行「因材施 測」,更可節省許多施測時間和成本,優點相當明顯。

此種施測方式是採機動的選題方式去配合受測者的表現,換言之,需要從題 庫中根據試題的統計特質,即試題參數(item parameters)去選題,且受測者每 完成一個反應,能力水準要再被估計,涉及的計算過程頗為複雜,因此需藉助電 腦方能實施,所以此種測驗方式又稱為電腦化適性測驗。基於IRT理論的電腦適 性測驗,將根據受試者的作答情形,依照能力值的不同,給定不同的試題。換言 之,一般以試題反應理論為基礎的電腦化適性測驗,施測結果為一能力值或量尺 分數。由於學生的錯誤類型並不具順序性或線性排列,即並非所有學生皆會先出 現錯誤類型1而後才出現錯誤類型2,因此無法單獨將錯誤類型與某一分數進行對 應,只能根據受試者的作答情形,依照能力值的不同,給定不同試題。所以IRT 較適合用在成就測驗,如大學學力測驗。

二、以知識或試題結構為主的電腦適性測驗

以知識結構為基礎之適性化診斷測驗系統,首先需建立知識結構,並依據此 知識結構作為適性測驗的選題策略,能提供學生一個適性測驗立即的成績回饋,

並於測驗後給予學生個別化、量身訂作的補救教學,讓學生知識的建構能有最好 的效果。黃珮璇、王暄博、郭伯臣、劉湘川(2006)的研究證實了以知識結構為 主的國小數學科電腦化適性診斷測驗具強韌性(robustness),即電腦化適性診斷 測驗系統之成效在廣泛應用於各單元或其它相關主題時,依然存有良好的表現。

曾彥鈞、劉育隆、郭伯臣、楊智為(2006)實作開發出以知識結構為基礎的適性 化診斷測驗系統,目前系統實際上已有94、95年康軒、南一版數學各單元教材上 線,並由多位研究生進行實際使用、作為施測平台。許多研究(白曉珊、劉育隆、

郭伯臣、施慶麟,2006;林立敏、白曉珊、郭伯臣、劉育隆,2006;莊惠萍、劉 育隆、郭伯臣、曾彥鈞,2006;趙琬津,2006;盧炎成,2006)指出,以知識結 構為基礎之適性化診斷測驗系統根據學生知識結構設計適性施測流程,可依不同 受試者的作答情形而給予適當的試題,藉此節省大量的試題並可對學生的剖面圖 得到精確的估計,確實可以有效節省施測題數,並有適性化的功能,且提供個別 學習診斷報告書,讓學生可以立即知道自己的錯誤觀念,也有利教師進行補救教 學。