• 沒有找到結果。

本研究旨在結合古典測驗理論、試題反應理論、題庫、及資料庫管理技術等,

建構婦產科學電腦化適性測驗題庫,並探討 1.不同群體受試者對試題品質的影響,

2.試題經分析後,如何選擇及建置題庫,並作為適性測驗的基礎。3.題庫與線上適 性測驗系統間如何有效運作及估計受試者能力。本章共分四節,依次說明:「研究 動機」、「研究目的」、「名詞釋義」及「本研究的重要性」。

第一節 研究動機

「教、學、評、用」一直是教育的重大議題。

醫師臨床能力評量與專業執照考試制度的主要目的,在於確保醫師執照考試 能確實發揮其作用,確保醫療品質與維護民眾健康。近年來各國醫師考試改革之 主要發展包括:考試之種類與職權的統一與制度化、臨床表現能力評量的重視與 擴大電腦科技與實作評量技術的應用等。

醫學教育人士對於專業執照考試制度的批評一直持續存在,主要是擔心考試 技術不能有效評量受試者在專業素養、臨床實作、倫理道德及團體合作的能力。

而醫學院校及醫學生也以通過考試為目的的態度,減低對臨床學習的重視程度,

因而造成臨床經驗不足、醫病溝通技巧不良及臨床技能不熟等情況。

台灣醫界迷信資歷,並過度衍伸專科醫師的能力,而專科醫師也各自認為醫 學教育是他生而具有的專長,沒有真正下工夫去了解、學習及活用醫學教育的理 論與方法,造成測驗制度的僵化與便宜行事。台灣要發展醫學專業能力之評量制 度,其成敗關鍵在於是否能夠網羅學有專長的教育專家參與測驗的規劃及品質改 進(黃天祥、王維典,2005)。

隨著電腦科技的進步,測驗的電腦化已經是不可避免的趨勢(何榮桂, 1997)。 考選部於 91 年 8 月間,成立「採行電腦化測驗」專案小組,研修相關考試法規、

蒐集相關資訊並參訪國內相關試務機構,在不影響國家考試公正性、正確性、安 全性及效率性之要求下,配合考選部標準作業,而簡化試務流程、改進考試技術 (劉春明、鍾金燕,2007)。

考選部於 93 年 4 月 13 日至 15 日舉行之 93 年專門職業及技術人員特種考試 第 1 次航海人員考試開始正式實施至 99 年 1 月,業辦理 20 次專技人員航海人員 特考電腦化測驗考試與 6 次專技人員牙醫師、助產師、呼吸治療師、職能治療師、

獸醫師等 5 類科之電腦化測驗考試。而醫事放射師考試之電腦化測驗計畫將在民 國 99 年 7 月實施。

95 年 5 月 29 日考選部主辦「國家測驗發展趨勢與國家考試電腦化測驗研討

會」,國家考試電腦化測驗已是考選部之發展政策與長程規劃,而電腦適性測驗運

用在國家考試是考選部之長程規劃。雖然國外適性測驗技術發展多年,理論與技 術已成熟,其採行限制、民眾理解程度、命題作業、試題型態、實際考試措施及 相關法規等,在國內均須進一步深入探討,才能於國家考試施行電腦適性測驗。

因此,國內之電腦化測驗發展尚有可改進的空間。

在電腦化適性測驗中,由於挑選出適合受試者能力的試題讓他作答,只要一 半的試題數量就可以達到與傳統非適性測驗相同的測量精準度。所以電腦化適性 測驗是目前最新的測驗技術,因此目前國內外測驗的電腦化大多是以發展電腦化 適性測驗為最終的目標。

綜上所述,基於測驗是「教學評量」的一個重要過程,發展以網路技術為主 的測驗評量系統是未來數位學習的趨勢,本研究同時結合試題反應理論、題庫、

及線上動態網頁技術,試圖建立婦產科學適性題庫及發展線上適性測驗系統,並 透過適性測驗施測之結果,來印証適性測驗在醫學教育評量中之應用,以為將來 國內發展推廣醫學適性測驗之先期研究。

第二節 研究目的

基於上述研究動機,本研究旨在結合古典測驗理論、試題反應理論、試題與 測驗分析來檢視預試試題以及建立基本婦產科學題庫,並發展一個建構在全球資

訊網的「適性測驗系統」,以提供一個線上輔助教學測驗評量的平台,針對受試者

提供量身訂做的適性測驗。具體而言,本研究的目的如下:

壹、發展婦產科學適性測驗題庫;

貳、發展一套以 ASP.NET 技術為主的線上適性測驗系統;

參、評估線上適性系統成效。

第三節 名詞釋義

茲將本研究所涉及的重要名詞,分別界定如下:

壹、題庫(item pool、item bank)

題庫是指每道試題均經過編製、分析、系統編碼、測試、評論、修正、刪改 而建立起試題特徵資料的一群試題,並且可用來組成評量各種教學成果的工具。

動態的題庫主要是考慮新增試題的參數問題,利用不同時間所獲得的試題來進行 整個題庫之間的等化連結。

試題假如只是一群未依一定程序編製、分析、系統編碼的巿售題庫集或題庫 本,這些僅是將一堆試題(或考古題)彙整起來而已,並未能確知每道試題的可 用性,因此,嚴格說來,不能算是題庫,只能算是一種試題集。

試題集的功能就不如題庫,它無法用來組成評量各種教學成果的工具,更無 法配合電腦化適性測驗(computerized adaptive testing)的發展,成為電腦化題庫系 統,運用在等化(equating)分析、測驗編製、精熟測驗(mastery testing)、或診斷測驗 (diagnostic testing)等基礎應用的研究。

貳、電腦化測驗

電腦化測驗,顧名思義,是以電腦來輔助編輯試題、施測、計分、分析、報 告結果、與解釋的測驗方式。而線上測驗,更是能夠透過網路的雙向傳輸功能,

達到無遠弗屆的隨選施測(testing on demand)地步。它們不僅能夠節省測驗編輯和 施測時間,更能夠達到精確估計與報告受試者真正實力或潛在特質。

電腦化測驗可根據測驗理論基礎的不同,可分為適性與非適性兩類。

非適性的電腦化測驗(computer-based testing,簡稱 CBT),主要是以古典測驗 理論為依據,是一種將傳統紙筆測驗改成以電腦螢幕或網路當呈現介面的電腦輔 助施測方式。由於這種測驗不具有量身訂作的「因才施測」功能,所以不具適性 的本質。

從測驗理論來看,當測驗試題的困難度能夠適合受試者的能力時,這時測驗 所測量到的受試者能力最為精確。這種能夠適應個別化需求的測驗,便稱為「電

腦化適性測驗」(Computerized adaptive testing, CAT)。

電腦進行適性測驗的設計通常是由預期中等難度的試題開始施測,第二題及 後續試題則由受試者答題反應所決定。一般而言,若受試者答對前一題,下一題 電腦則會選擇稍難的試題施測;相反地,答錯下一題,電腦則會選擇稍微容易的 試題施測。當受試者表現達到某個事前決定的準確水準或已施測完畢程式設定的 最多試題,即停止施測。這種電腦化測驗即能夠針對不同程度的受試者及其不同 的作答速度,提供適合其能力作答的適當難度試題,以謀求估計受試者能力的最 大精確性,達到量身訂作的「因才施測」最高理想境界。

參、指數與參數

在教育測驗與評量中,指數、指標、參數名詞的使用,因各作者個人的解釋 而各異。為方便本研究的解釋,一律統一解釋如下。

傳統測驗中的難度(difficulty)等同難度指數(difficulty index)、難度指標;鑑別 度(discrimination)等同鑑別度指數(discrimination index)、鑑別度指標;試題反應理 論則為難度參數(difficulty parameter)、鑑別度參數(discrimination parameter)、猜測 度參數(pseudo-chance parameter)。

肆、位置分數

因金字塔型適性測驗的施測方式採固定分支方式,選題以單一試題為選擇單 位,受試者在任一階層只能對一道試題作答。以 15 階層的測驗而言,每位受試者 只需要作答 15 題,最後第 16 階為最後一階,是受試者最後到達的位置,由位置 所換算的成績,稱之為位置成績。分數的計算為 1601=0、1602=(1/15)=.06、

1603=(2/15)=.13、………、1615=(14/15)=.93、1616=(15/15)=1。

第四節 本研究的重要性

茲就本研究的重要性,分述如下:

壹、整合婦產科學適性題庫與適性測驗評量系統。

貳、探討題庫建置中試題的選擇與參數的估計。

參、探討不同測驗對受試者能力值估計之影響。

肆、探討適性測驗系統內參數設定對系統運作之影響。

伍、本研究為國內醫學教育適性測驗之先探研究。

相關文件