台灣學位電腦化測驗研究的回顧與展望
摘 要
本文以台灣碩博士學位論文為研究範圍,以內容分析法歸納整理有關 電腦化測驗的碩博士學位論文的研究成果與重點。分析架構採用何榮桂(
1997)將有關電腦化測驗領域的研究依測驗發展趨勢分為傳統的電腦化測 驗、電腦化適性測驗及線上測驗共三大類進行分類,搜尋到10篇傳統的電腦 化測驗、35篇電腦化適性測驗、33篇線上測驗,合計78篇碩博士學位論文。
研究結果顯示:(一)電腦化測驗相關研究以「電腦化適性測驗」及
「線上測驗」居多、(二)多數的線上測驗屬於傳統的電腦化測驗、(三)
近五年有關電腦化測驗的研究數量激增,且以碩士論文居多、(四)研究者 以資訊系所背景最多,其次是測驗統計背景的研究生、(五)研究主題以「
系統建置」及「系統效能評估」居多、(六)研究對象以國小學童為主、(
七)研究方法主要以系統分析居多。最後,研究者依據研究結果提出電腦化 測驗研究的未來方向。
關鍵詞:電腦化測驗、電腦化適性測驗、線上測驗。
陳新豐
國立屏東教育大㈻教育㈻系助理教授
Abstract
The purpose of this study was to analyze the research results and the focuses of the theses and dissertations on computer-based assessments in Taiwan. Ho(1997) classified the developmental tendency of computer-based assessments into three parts- - computer-based tests, computerized adaptive tests, and web-based tests. This analyzing structure was used in this study to analyze recent studies. Seventy-eight related theses and dissertations in Taiwan were found and analyzed. Ten of them were about computer-based tests, thirty-five of them were about computerized adaptive tests, and thirty-three of them were about web-based tests. The results showed seven important findings. First, The computer-based assessments mainly focused on computerized adaptive tests and web-based tests. Second, most of the web-based tests were traditional computer-based tests. Third, the number of studies on computer-based tests increased in the recent five years, especially in masters theses. Fourth, the main researchers on computer-based tests were from graduate schools of information, and the second source of the researchers came from graduate schools of assessment. Fifth, the research topics were focused on the construction of the system and the evaluation of system effectiveness. Sixth, the samples of the studies were children. Seventh, the main research method was systematic analysis.
In the end, some suggestions about the future directions of the computer-based studies were made.
Keywords: Computer Based Tests, Computerized Adaptive Tests, Web Based Tests.
Shin-Feng Chen
Assistant Professor, Department of Education, National Pingtung University of Education
Review and Expectation on the Studies of
Computer-Based Tests in Taiwan
前言
由於電腦資訊產業的發達,有關電腦化測驗、電腦化適性測驗與線 上測驗已漸趨常見,也能受到學習者及受測者的認同,如ETS的托福(
TOEFL)電腦版測驗於1998年7 月起開始實施,而臺灣也於2000年10月開始 採用電腦化適性測驗,但由我國政府單位或民間機構採用電腦化測驗自行 主辦的大型考試,卻不多見。雖然如此,政府單位(如考選部),已意識 到電子化政府時代的來臨,於2004年新制航海人員考試起實施電腦化測驗,
至2006年已辦理9次電腦化測驗,服務將近2,000多位的應考人(考選部,
2006)。其次,考選部積極辦理相關研討會,如考選部於2006年5月29日辦 理「電腦測驗發展趨勢與國家考試電腦化測驗考試研討會」,或是研擬電腦 化測驗試場可行性研究,如2006年2月公開徵求委託大專院校、研究機構、
顧問機構、法人團體或專家學者執行「國家考試電腦化測驗試場及試務委外 辦理可行性研究案」的研究,由上述三點可知,電腦化測驗已愈來愈受重 視,且正在研究實務上的可行性。
而實務需要依據理論研究做為依據,因此,本文旨在進行電腦化測驗 研究的回顧,做為推動實務的依據。在研究的回顧方面,研究者考量到資料 取得的可能性及研究數量的多寡,故以台灣碩博士論文為研究範圍,採用內 容分析法,分析有關電腦化測驗的碩博士學位論文的研究成果與重點,希望 能對電腦化測驗的未來研究提供一些可努力的方向。
文獻探討
本文旨在分析台灣有關電腦化測驗的碩博士論文的研究成果與重點,
因此以下依資訊科技與測驗發展、電腦化測驗的意義與類別分別說明如下。
一、資訊科技與測驗發展
資訊科技與網際網路的蓬勃發展,讓人們可以輕易地在網際網路上搜
尋、取得數位資訊,人與人之間的資訊交流也更為快速方便。社會各層面享 受著網路在生活上所帶來的益處,無不思索著如何使資訊科技與網際網路功 能發揮到極至,當然教育上的應用也不例外。當前教學評量發展的走向是結 合網路科技、教育測驗與評量的理論。這項突破讓受試者在遠端透過網路即 可接受測驗,不再侷限於空間或紙筆式的測驗。資訊科技的運用簡化了整個 試務流程,使得考試效率化及經濟化,也減輕了應考人負擔。隨著國家考試 電腦化測驗系統及電腦試場之啟用,考試也正式邁入電子化新時代。
電腦化測驗不僅是世界測驗發展的趨勢,也是甄選人才的重要工具。
國家考試自民國93年起航海人員考試採用電腦化測驗,目前考選部已成立了
「國家考試擴大實施電腦化測驗專案小組」,並預計持續在95年至97年選擇 部分考試類科來辦理,以民國95年為例國家考試選擇了「牙醫師」、「呼吸 治療師」、「助產師」、「助產士」為第一階段電腦化測驗的完成目標。這 些類科的考試人數除了可以國家考場所擁有的電腦設備足以應付外,其測驗 的形式也是以單一的測驗題為主,在電腦計分上是屬於比較容易的項目。但 真正的電腦化測驗,除了文字界面的題型之外,多媒體及以多元計分題等其 它題型外,甚至在構成測驗的要素中信度及效度議題上,美國心理學會亦鄭 重呼籲測驗專業和相關的企業,正視電腦化測驗上的效度及信度議題,而這 也是國家考試日後所需面臨的問題。
資訊科技的普及化發展,造成應用的人口日益增加,而在每一個專業 領域上都受到深遠的影響,當然國家考試的應用與發展也是其中的一環。電 腦化測驗如何充分發揮資訊科技的優勢,如何在考試試題題型及作業設計 上,發揮電腦的特殊能量,是目前電腦化測驗應用在選拔人才上極需要發展 的目標。
二、電腦化測驗的意義與類別
根據何榮桂(2006)的說法,測驗電腦化並非新的事物,早在1934 年,美國哥倫比亞大學教授Benjamin Wood即與IBM的工程師合作開始發展 電腦閱卷機,而後由一位高中的科學教師Reynold B. Johnson開發出類似目前
使用之電腦計分卡,這項發明除了使Ben Wood贏得教育改革的美譽外,也 因有電腦閱卷機的出現,減輕了人工閱卷的勞力負擔,刺激大規模測驗的實 施,以及增加選擇題計分的可靠性。
測驗電腦化即是運用電腦協助測驗的相關事宜,如上述閱卷機的發 明,降低人工閱卷的勞力,可使閱卷的效率提高。而電腦化測驗,則泛指 運用電腦為工具所進行的測驗,換言之,電腦化測驗的主要內涵即是利用 電腦科技間接地測量人類的某種心理特質,測量的內容廣泛,例如:學習 成就、認知能力及性向等。隨著網路頻寬加大及資料傳輸速度提高,透過 Internet實施電腦化適性測驗也都不是難事(何榮桂,1997;何榮桂、蘇建誠,
1997;何榮桂,2000;何榮桂、郭再興、蘇建誠、陳麗如,1999;何榮桂、
林一真、黃堅厚、蘇建誠,1999;陳新豐,1999)。且除了運用桌上型電 腦,也可運用各種行動載具(如PDA、行動電話、手提或平板電腦等)實 施測驗也都可算是電腦化測驗的一種。雖然電腦化測驗的定義如此簡明,但 有關電腦化測驗的類別卻十分繁多,如「傳統測驗的電腦化」、「電腦化輔 助測驗」、「電腦化適性測驗」、「線上測驗」等各代表不同的內容,茲說 明如下。
(一)傳統的電腦化測驗
傳統的電腦化測驗,狹義即指運用電腦來實施測驗。而廣義來說,
除運用電腦施測外,利用電腦來計分、解釋、儲存資料,與建立題庫、評 鑑試題等也都可算是傳統的電腦化測驗( 陳志信,1993)。換言之,只 要運用到電腦進行、協助或閱卷,都可稱為電腦化測驗(Computer-Based Tests,CBT),其內涵應包含日後發展的computerized adaptive tests或tailored tests等。為了避免混淆,通常將CBT專指傳統的電腦化測驗,主要是指狹義 的定義,運用電腦來實施測驗,也就是傳統紙筆版測驗之電腦版。
特別說明的是,運用電腦輔助測驗,亦有另一英文Computer-Assisted Tests,其簡寫與常用的電腦化適性測驗(Computerized Adaptive Tests,CAT)
相同。現已很少用CAT來表示Computer-Assisted Tests。
(二)電腦化適性測驗
電腦化適性測驗(Computerized Adaptive Tests,CAT)是以試題反應理 論(Item Response Theory,IRT)為理論基礎所建置而成的電腦化測驗,其 特性主要是以受試者能力高低來決定試題的內容,因此也被稱為量身定製之 電腦化測驗(tailored test)。實施電腦化適性測驗,不僅可節省施測時間與 成本,更具有精確估計考生能力或某種潛在特質的功能。
為什麼要針對每位考生的個別情況給予不同的試題?因為所謂個別化 的適性測驗,意指給受試者做符合其能力(或特質)水準的題目最能反映 她/他的能力或特質。對某一受試者而言,太難或太簡單的題目都沒有必 要,也就是說,對某一受試者而言,題目太難或太簡單,即使此受試者答了 這些題目,施測者也無法從受試者的答題反應獲得受試者之特質與能力,或 者說,這些題目並無法回饋受試者的訊息給施測者,這樣的測驗自然失去意 義。
因此,實施電腦化適性測驗的原理很簡單,當受試者做第一個試題後,
如果答對,則下一題會比較難一點;反之,若受試者答錯,則下一題會容易 一些。在這個過程中,會根據受試者的答題情況,來調整難易度,以選出最 適合受試者目前的能力,如此反覆進行,直到達到預先設定的終止標準(或 說測量誤差在可以容忍的程度)為止。從施測過程看,實施電腦化適性測驗 的過程是非線性的,受試者每做一題就是一個階段,每個階段的選題與能力 估計都涉及複雜的計算,如果沒有電腦的輔助,實施起來必定困難,目前電 腦硬體的功能相當完備,軟體也十分親和,此時發展電腦化適性測驗已是很 容易的事(何榮桂,2005)。
承前所述,適性測驗(adaptive test)是量身訂製的測驗(tailored test),也是個別測驗( individual test) ,也是真正的個別化測驗(
individualized test)。雖然進行電腦化適性測驗要牽涉到繁複的運算與能力 估計的過程,才能適切的提供下一題的題目,但因IRT的理論與資訊科技的 技術已十分成熟,一些常見的測驗工具(如ETS的托福測驗等)就以CAT的 方式施測,此外GRE、GMAT、CAT-ASVAB等,也都運用電腦化適性測驗。
(三)線上測驗
線上測驗即是以網路為基礎的電腦化測驗(Web Based Tests,WBT)。
就測驗環境而言,結合網際網路的進行測驗,可具有超越時空、隨選隨測、
高彈性的施測環境。再從網際網路的進步所帶來的遠距教學為例,遠距教學 的評量趨向於偏重學習經驗動態改變的記錄與解釋(李台玲,2001),再 加上「動態評量」理念與意義,運用網路進行的電腦化測驗將逐漸重視「評 量即學習」的理念,充份運用網路環境的優勢,讓被評量者在評量後可以立 即深入思考學習上的缺失,獲得學習成效,焦點擴及學生在學習歷程中的學 習與思考過程,而不只是測驗結果。以下茲將三種電腦化測驗的意義整理如 表1。
表1 電腦化測驗一覽表
傳統的電腦化測驗 電腦化適性測驗 線上測驗
英文全名 Computer Based Tests Computerized Adaptive Tests Web Based Tests
英文簡稱 CBT CAT WBT
意義 將傳統紙筆測驗改成以電腦
螢幕或網路當呈現介面,逐 一或全部呈現試題的電腦輔 助施測的方式
針對不同能力程度的考生及 其不同的作答速度,提供適 合其能力作答的適當難度試 題,以謀求估計考生能力的 最大精確性,達成量身訂作 的「因才施測」最高理想境 界
就 測 驗 環 境 而 言 , 結 合 網 際 網 路 的 優 點 , 將能夠提供超越時空、
隨 選 隨 測 、 高 彈 性 的 施測環境的測驗方式
理論基礎 古典測驗理論 試題反應理論 古典測驗理論/試題反
應理論
特色 1.與傳統紙筆測驗內容相同
2.施測及計分利用電腦輔助
1.量身訂製的施測內容 2.可以顯現個別的能力差異 3.施測流程非線性
4.無法跳答 5.施測長度不同
1.網際網路的施測環境 2.施測時間、地點彈性
實例 International Computer Driving Licence:
ICDL、Institute of Certified Management Accountants:
ICMA
TOEFL、GRE、SAT 目 前 尚 無 全 球 舉 辦 之 正式考試
方法與步驟
以下分述研究範圍、研究方法、及分析架構與研究歷程。
一、研究範圍
本文以台灣碩博士學位論文為對象,蒐集範圍為台灣研究有關電腦化 測驗的博碩士論文。因考量到資料取得的可能性及研究數量的多寡,本文內 容分析的範圍僅以台灣博碩士論文為主,並不列入相關性質的期刊、學報、
專書、研討會或國科會獎助論文等研究文獻。
二、研究方法
研究者於2006年3月25日使用國家圖書館「全國博碩士論文摘要檢索 系統」以「電腦化測驗」、「Computerized Testing」、「Computer-Based Testing」、「CBT」、「電腦化適性測驗」、「Computerized Adaptive Testing」、「CAT」、「線上測驗」、「On-Line Testing」、「On-Line Test」、「Web-Based Testing」等關鍵詞。查詢模式選用「精確」,查詢內 容為「論文名稱」、「關鍵詞」出現以上所輸入的關鍵字,經由研究者搜尋 研究所需要之論文摘要,再研閱、歸納、檢討與分析與電腦化測驗有關的論 文內容。
三、分析架構與研究歷程
依據何榮桂(1997)的看法,有關電腦化測驗領域的研究可依測驗發 展趨勢分為傳統的電腦化測驗(CBT)、電腦化適性測驗(CAT)及線上測 驗(WBT)三大類。本研究以此架構進行論文搜集與分析,共搜尋到10篇 傳統的電腦化測驗、35篇電腦化適性測驗及33篇線上測驗的學位論文。茲說 明搜尋過程及結果如下。
(一)傳統的電腦化測驗
傳統的電腦化測驗主要檢索之關鍵字為電腦化測驗、Computerized
Testing、Computer-Based Testing、CBT等四個。搜尋結果得到電腦化測驗10 篇、Computer-Based Testing2篇、CBT10篇,其中電腦化測驗為關鍵字之論 文經整理為10篇與主題相關,Computer-Based Testing為2篇,CBT為3篇;整 理重覆部分,電腦化測驗為10篇,Computer-Based Testing為2篇,CBT之3篇 論文皆與前三個關鍵字所檢索出的論文重覆,因此不計,合計10篇,茲參見 表2。
表2 CBT碩博士論文篇數摘要表
關鍵字 電腦化測驗 Computer-
Based Testing CBT 合計
首次檢索 10 2 10 23
主題相關 10 2 3 15
刪除重覆 10 0 0 10
(二)電腦化適性測驗
電腦化適性測驗主要檢索之關鍵字為電腦化適性測驗、Computerized Adaptive Testing及CAT等三個。其中以電腦化適性測驗計有23篇、
Computerized Adaptive Testing24篇、CAT85篇,其中電腦化適性測驗為關鍵 字之論文經整理為23篇與主題相關,Computerized Adaptive Testing為24篇,
CAT為6篇;整理重覆部分,電腦化適性測驗為23篇,Computerized Adaptive Testing為9篇,CAT為3篇,合計35篇。詳細資料如表3。
表3 CAT碩博士論文篇數摘要表
關鍵字 電腦化適性測驗 Computerized
Adaptive Testing CAT 合計
首次檢索 23 24 85 132
主題相關 23 24 6 53
刪除重覆 23 9 3 35
(三)線上測驗
線上測驗主要檢索之關鍵字為線上測驗、On-Line Testing、On-Line
Test、Web-Based Testing等四個。其中線上測驗39篇、On-Line Testing13篇、
On-Line Test8篇、Web-Based Testing1篇,其中線上測驗經整理為32篇與主題 相關,On-Line Testing為13篇,On-Line Test為7篇,Web-Based Testing為1篇;整 理重覆部分,線上測驗為32篇,On-Line Testing新增0篇,On-Line Test新增2 篇,Web-Based Testing新增1篇,合計33篇,詳細整理資料如表4。
表4 WBT碩博士論文篇數摘要表
關鍵字 線上測驗 On-Line Testing On-Line Test Web-Based Testing 合計
首次檢索 39 13 8 1 61
主題相關 32 13 7 1 53
刪除重覆 32 0 1 0 33
綜上所述,從論文的數量來看,「傳統的電腦化測驗」計有10篇、「
電腦化適性測驗」則有35篇,而「線上測驗」亦有33篇之多,合計78篇。
結果與討論
以下依電腦化測驗研究現況及內容分析說明如下。
一、電腦化測驗研究的現況分析
(一)電腦化測驗相關研究以「電腦化適性測驗」及「線上測驗」居多 根據何榮桂(1997)的分類,有關電腦化測驗領域的研究可依測驗 發展趨勢分為傳統的電腦化測驗(以下簡稱CBT)、電腦化適性測驗(以 下簡稱CAT)及線上測驗(以下簡稱WBT)三大類,共搜尋到78篇碩博 士論文。其中電腦化測驗CBT10篇、電腦化適性測驗CAT 35篇及線上測驗 WBT33篇,可知傳統的電腦化測驗相關研究以「電腦化適性測驗」及「線 上測驗」居多,顯示隨著電腦科技的進步與發展,適性(adaptive)及「線 上」(on-line)已是研究主流。
(二)多數的線上測驗屬於傳統的電腦化測驗
由於線上測驗可採用的理論基礎可為古典測驗理論,也可為試題反應 理論,因此線上測驗可能是傳統的電腦化測驗,也可能是電腦化適性測驗,
因此研究者進一步綜合比較傳統的電腦化測驗、電腦化適性測驗及線上測驗 的內容,再進行交叉分析,而有下列三點發現。
1.線上測驗33篇中,全部都是傳統的電腦化測驗。
2.電腦化適性測驗35篇中,有17篇屬於線上測驗。這17篇有14篇集中在 2003、2004、2005年。另外三篇則分別在1999年及2002年,分別是陳新豐(
2002)「線上題庫與適性測驗整合系統之發展研究」、陳雅慧(2002)「
使用試題反應理論建構個人化線上學習系統」和陳新豐(1999)的「多媒 體線上適性測驗系統發展及其相關研究」。
3.傳統的電腦化測驗10篇中,只有2篇以建置線上測驗為研究工具,分 別於2003年及2005年完成。這2篇是羅雅薇(2005)的「電腦化空間能力測 驗題庫之建置」和陳怡婷(2003)的「國小學童音樂性向測驗編製研究」。
綜上所述,線上測驗相關的篇數,應有線上測驗原有的33篇、電腦適 性測驗17篇、電腦化測驗驗2篇等,合計52篇,其中是屬於傳統的電腦化測 驗的有35篇,因此可知,多數的線上測驗屬於傳統的電腦化測驗。
(三)近五年研究數量激增,以碩士論文居多
根據上述的搜尋,有關電腦化測驗的博碩士論文合計78篇,以下將檢 索後的論文,依前述三類傳統的電腦化測驗、電腦化適性測驗及線上測驗分 別列出最早出現的論文以及最新出現的論文為範圍,並列出在出現的這幾年 間,論文產出數量的成長情形。
1.傳統的電腦化測驗
在傳統的電腦化測驗方面,第一篇出現的為許家吉(1994)所撰述之
「電腦化動態圖形歸類測驗發展之研究」,而最近一篇則為羅雅薇(2005)
所著述之「電腦化空間能力測驗題庫之建置」,而其中則以2004年出現的篇 數最多為4篇,目前則累積10篇。在學位方面,10篇論文皆為碩士論文,尚
未有博士論文研究,詳細成長情形請見表5及圖1。
表5 CBT碩博士論文數量成長摘要表
年代 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005
數量 1 0 0 1 0 1 0 0 0 1 4 2
累積 1 1 1 2 2 3 3 3 3 4 8 10
累積百
分比 10.00 10.00 10.00 20.00 20.00 30.00 30.00 30.00 30.00 40.00 80.00 100.00
圖1 CBT碩博士論文數量成長折線圖
2.電腦化適性測驗
在電腦化適性測驗方面,自1991年至2006年共有35篇,最早一篇為何 榮桂(1991)所撰述的「題庫中項目參數分配型態對電腦化適性測驗能力 估計的影響」,1992至1993之間沒有出現任何一篇有關於電腦化適性測驗的 論文。在數量方面,以2005年的13篇最為耀眼,但2006年則只出現1篇。在 學位方面,除了何榮桂(1991)、陳柏熹(2001)、陳新豐(2002)三篇 博士論文外,其餘32篇皆為碩士論文,詳細情形請見表6及圖2。
�
�
�
�
�
��
��
���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ����
��
����
表6 CAT碩博士論文數量成長摘要表
年代 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006
數量 1 0 0 1 0 0 2 2 3 1 4 5 1 1 13 1
累積 1 1 1 2 2 2 4 6 9 10 14 19 20 21 34 35 累積百
分比 2.86 2.86 2.86 5.71 5.71 5.71 11.43 17.14 25.71 28.57 40 54.29 57.14 60 97.14 100
圖2 CAT碩博士論文數量成長折線圖
3.線上測驗
在線上測驗方面,首篇為1995年台灣師範大學碩士溫福星所撰述之「
回顧與時限對電腦化線上測驗結果的影響」碩士論文,至2006年林恬瑩所發 表之「概念卡通融入二階層線上測驗之建構及其研究—以國小『磁力』概念 為例」為止,總共累積33篇。數量方面,則以2004年8篇最為耀眼,而2003 年的7篇也不少,只是在2006年這一年只有一篇。在學位別方面,33篇全部 為碩士論文,詳細成長情形請見表7及圖3。
�
�
��
��
��
��
��
��
��
���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ����
��
����
表7 WBT碩博士論文數量成長摘要表
年代 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006
數量 1 0 0 2 1 2 1 4 7 8 6 1
累積 1 1 1 3 4 6 7 11 18 26 32 33
累積百
分比 3.03 3.03 3.03 9.09 12.12 18.18 21.21 33.33 54.55 78.79 96.97 100
圖3 WBT碩博士論文數量成長折線圖
綜合表5至表7的分析,進一步整合成表8,並繪製累積數量折線圖如圖 4,可發現 在近四年(2002-2005)之間,有關電腦化測驗的論文呈現激增 的現象,2002年9篇、2003年9篇、2004年13篇、2005年21篇,合計52篇,超 過二十年來論文的一倍。此外,再從學位別來看,電腦化適性測驗只有三篇 博士論文,分別是何榮桂(1991)、陳柏熹(2001)、陳新豐(2002),
其餘75篇均為碩士論文。另外,研究傳統的電腦化測驗的論文最早出現在 1994年,2004年4篇、2005年2篇較多;反觀電腦化適性測驗,首篇為何榮桂
(2001)自1997年以後每年均有論文產出,總數量35篇也是三者之冠。而 線上測驗於1995年方有研究者撰述碩士論文,此後有2年未有相關論文,自 1998年以後每年均有論文產出,總數量33篇,有後來居上之勢。
�
�
��
��
��
��
��
��
���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ����
��
����
表8 有關電腦化測驗碩博士論文數量成長摘要表
年代 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006
數量 1 0 0 2 1 0 3 4 5 3 5 9 9 13 21 2
累積 1 1 1 3 4 4 7 11 16 19 24 33 42 55 76 78 累積百
分比 1.28 1.28 1.28 3.85 5.13 5.13 8.97 14.1 20.51 24.36 30.77 42.31 53.85 70.51 97.44 100
圖4 有關電腦化測驗碩博士論文數量成長折線圖
(四)研究者以資訊系所背景最多,其次是測驗統計背景的研究生 在國內78篇有關傳統的電腦化測驗、電腦化適性測驗及線上測驗的研 究中,有46篇研究為教育相關系所的研究生論文(傳統的電腦化測驗8篇,
電腦化適性測驗15篇,線上測驗23篇),其餘32篇研究為一般大學系所的研 究生論文,在大學院校上,師範院校教育相關系所電腦化測驗的研究數量略 多於一般大學院校系所。研究者學術背景可進一步從其畢業系所加以分析,
茲分述如下:
1.傳統的電腦化測驗
在傳統的電腦化測驗方面,主要的學位論文集中在教育相關系所,例 如技術及職業教育研究所、初等教育研究所、國民教育研究所、教育經營
�
��
��
��
��
��
��
��
��
��
���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ����
��
����
與管理研究所、教育測驗統計研究所,其中非教育相關系所僅有2篇,佔 20.00%,其餘8篇(80.00%)皆為教育相關系所,尤以教育測驗統計研究所 有3篇(30.00%),所佔數量最多,詳細如表9。
表9 CBT碩博士論文研究者學術背景資料摘要表
畢業 系所
外國語 文學系
行為科學 研究所
技術及職 業教育研
究所
初等教育 研究所
國民教育 研究所
教育經營 與管理研
究所
(教育)
測驗統計 研究所
合計
數量 1 1 2 1 1 1 3 10
百分比 10.00 10.00 20.00 10.00 10.00 10.00 30.00 100.00
2.電腦化適性測驗
在電腦化適性測驗方面,由於以試題反應理論(IRT)為主要的理論基 礎,相關的研究系統與電腦化測驗即有所差異,其中教育相關系所,如:教 育研究所、工業教育研究所、教育科技學系、網路學習研究所、資訊教育研 究所、數學教育學系、國民教育研究所共計15篇,佔42.86%;資訊相關系 所,如:資訊工程研究所、資訊科技研究所、資訊管理學系等合計有14篇,
佔40.00%;在此四成的比率中,又以資訊工程研究所的數量最多,計有11篇 佔78.57%;其中教育科技學系、網路學習研究所、資訊教育研究所為資訊 與科技相關系所,本研究以其主要的教育屬性為分類基礎,歸類於教育相關 系所之中。詳細情形請見表10。
表10 CAT碩博士論文研究者學術背景資料摘要表
畢 業 系 所
心理 學研 究所
流行 病學 研究 所
教育 研究 所
工業 教育 研究 所
教育 科技 學系
網路 學習 研究 所
資訊 工程 研究 所
資訊 科技 研究 所
資訊 教育 研究 所
資訊 管理 學系
數學 研究 所
數學 教育 學系
醫務 管理 研究 所
國民 教育 研究 所
合計
數
量 2 1 2 1 1 2 11 1 6 2 2 2 1 1 35
百 分 比
5.71 2.86 5.71 2.86 2.86 5.71 31.43 2.86 17.14 5.71 5.71 5.71 2.86 2.86 100.00
3.線上測驗
在線上測驗方面,主要是將電腦化測驗置於網際網路(internet)上施 測以及管理之測驗機制,因此與測驗、資訊相關領域之相關性頗高。其中 在教育相關系所,包含數學教育系所1篇、數理教育研究所4篇、資訊教育研 究所4篇、工業科技教育學系1篇、教育經營與管理研究所1篇、教育傳播與 科技研究所1篇、教育測驗統計研究所5篇、國民教育研究所1篇、商業教育 學系3篇,兒童英語教育研究所1篇、自然科學教育研究所1篇,合計23篇,
共佔69.70%超過半數,其中又以教育測驗統計研究所的5篇最多,佔全部的 15.15%,詳細情形請看表11。
表11 WBT碩博士論文研究者學術背景資料摘要表
畢 業 系 所
數學 教育 學系
數理 教育 研究 所
運動 科學 研究 所
資訊 管理 研究 所
資訊 教育 研究 所
資訊 科學 學系
資訊 工程 研究 所
工業 科技 教育 學系
經營 管理 研究 所
教育 經營 與管 理研 究所
教育 傳播 與科 技研 究所
教育 測驗 統計 研究 所
國民 教育 研究 所
商業 教育 學系
兒童 英語 教育 研究 所
自然 科學 教育 研究 所
生物 學系
合計
數
量 1 4 1 2 4 1 4 1 1 1 1 5 1 3 1 1 1 33
百 分 比
3.03 3.03 12.12 3.03 6.06 12.12 3.03 12.12 3.03 3.03 3.03 15.15 3.03 9.09 3.03 3.03 3.03 100.00
綜合表9到11的分析,進一步整合成表12,可發現資訊相關系所有 36 篇,佔46.15%,數理及自然科方面的系所有11篇,佔14.10%,而測驗與 統計的系所有8 篇,佔10.26%,其餘相關系所有23篇,佔29.49%。
表12 有關電腦化測驗的碩博士論文研究者學術背景資料摘要表
畢 業 系 所
數學 教育 學系
數理 教育 研究 所
運動 科學 研究 所
資訊 管理 研究 所
資訊 教育 研究 所
資訊 科學 學系
資訊 工程 研究 所
工業 科技 教育 學系
經營 管理 研究 所
教育 經營 與管 理研 究所
教育 傳播 與科 技研 究所
教育 測驗 統計 研究 所
國民 教育 研究 所
商業 教育 學系
兒童 英語 教育 研究 所 數
量 3 4 1 2 10 1 15 1 1 2 1 8 3 3 1
百 分 比
3.85 5.13 1.28 2.56 12.82 1.28 19.23 1.28 1.28 2.56 1.28 10.26 3.85 1.28 1.28
表12(續)有關電腦化測驗的碩博士論文研究者學術背景資料摘要表
畢 業 系 所
自然 科學 教育 研究 所
生物 學系
外國 語文 學系
行為 科學 研究 所
技術 及職 業教 育研 究所
初等 教育 研究 所
心理 學研 究所
流行 病學 研究 所
教育 研究 所
工業 教育 研究 所
教育 科技 學系
網路 學習 研究 所
資訊 科技 研究 所
資訊 管理 學系
數學 研究 所
醫務 管理 研究 所
合計
數
量 1 1 1 1 2 1 2 1 2 1 1 2 1 2 2 1 78
百 分 比
1.28 1.28 1.28 1.28 2.56 1.28 2.56 1.28 2.56 1.28 1.28 2.56 1.28 2.56 2.56 1.28 100.00
(五)研究主題以「系統建置」及「系統效能評估」居多 1.傳統的電腦化測驗
在傳統的電腦化測驗10篇的研究主題中,除羅雅薇(2005)「電腦化 空間能力測驗題庫之建置」以題庫建置為主要探討內容,莊永莉(1999)
「聽力及應考策略在電腦化測驗及紙筆測驗使用情形的比較」主要探討電腦 化測驗與紙筆測驗之差異以及林漢杰(1997)「電腦焦慮與自我察覺對電 腦化測驗的影響之探討」探討在電腦化測驗的施測環境中電腦焦慮個別差異 與自我察覺狀態,對學習結果的影響外,其餘7篇皆是以建置相關的電腦化 測驗系統,以驗證相關的內容,例如:葉淑慧(2005)是探討保留概念、
陳怡婷(2003)是發展常模、郭寂莉(2004)是探討視覺藝術的能力、殷 淑娟(2004)是探討回饋訊息對於電腦化測驗的影響等,詳細如表13。
表13 CBT碩博士論文研究主題資料摘要表
研究主題 題庫建置 差異分析 實驗設計 系統建置 合計
數量 1 1 1 7 10
百分比 10.00 10.00 10.00 70.00 100.00
2.電腦化適性測驗
在電腦化適性測驗部分,由以上的分析可以得知總共有35篇,而以下 的研究主題的分析主要依電腦化適性測驗主要普遍被使用的(1)項目反應
模式(Item Response Models)。例如:單參數常態肩形模式、雙參數常態 肩形模式、三參數常態肩形模式、四參數常態肩形模式、單參數邏輯模式、
雙參數邏輯模式、三參數邏輯模式、四參數邏輯模式、名義反應模式、等級 反應模式及連續變數反應模式等、(2)能力估計、(3)題庫建置、(4)
系統建置及(5)選題策略等分類來加以區分,詳細如表14。
表14 CAT碩博士論文研究主題資料摘要表
研究主題 反應模式 能力估計 題庫建置 系統建置 選題策略 合計
數量 4 2 4 18 7 35
百分比 11.43 5.71 11.43 51.43 20.00 100.00
以上的分類中系統建置包括應用(九年一貫課程指標的應用,利用電 腦化適性測驗於能力診斷之研究,探討對於態度的影響,甚至結合知識結構 的分析);反應模式有四篇為多點計分,其餘大部分都為二元計分;能力估 計方面則有二篇,其中樂慶莉(1999)利用多階段適性測驗來評估能力之 估計;另外毛家驥(2005)則評估四種能力估計策略之效能;題庫建置則 為何榮桂(1991)探討題庫中項目參數分配型態對於電腦化適性測驗能力 估計的影響;陳麗如(1998)探討電腦化適性測驗題庫之品質管理策略;
陳新豐(2002)則主要是探討線上題庫的建置,並且比較不同題庫等化效 益;林晉榮(2004)則建置以知識結構為基礎的電腦化適性測驗之評量系 統;選題策略中主要包括利用演算法之研究、選擇限制與試題曝光率之相關 研究共計七篇。在五個分類中,主要是以系統建置佔多數,為51.43%。
3.線上測驗
線上測驗33篇的論文中,皆是以系統建置為主要探討的內容,第二探 討內容則包括探討系統效能的11篇佔33.33%為多數,其次為學習診斷的6 篇(18.18%),補救教學3篇以及回饋訊息3篇,最少的為題庫建置2篇(
6.06%),另有四篇分別羅郁婷(2003)探討多媒體及網路教學的內涵、
鄭紹龍(2002)以教材的編寫為內涵、林明達(1998)以自動製卷、劉亞 平(1998)以線上調查教育關心議題為主要探討內涵。從以上在線上測驗
的研究主題方面,若將學習診斷與補救教學歸為同一類的話,則為9篇(
27.27%),也是一主要探討的主題類別,詳細如表15。
表15 WBT碩博士論文研究主題資料摘要表
研究 主題
學習 診斷
補救 教學
題庫 建置
系統 效能
回饋
訊息 其它 合計
數量 6 3 2 11 3 4 29
百分比 18.18 9.09 6.06 33.33 9.09 12.12 100.00
綜合表13到15的分析,進一步整合成表16,並繪製成長條圖如圖5,可 發現在所有論文,以系統建置25篇,佔33.75%,其次是系統效能評估的論 文11篇,佔13.75%,二者合計剛好佔所有論文數量的一半,可見此方面的探 討已相當多,惟在實驗設計、差異分析的尚不太多。
表16 有關電腦化測驗關鍵字檢索碩博士論文研究主題資料摘要表
研究 主題
學習 診斷
補救 教學
題庫 建置
系統 效能
回饋 訊息
差異 分析
實驗 設計
反應 模式
能力 估計
系統 建置
選題
策略 其它 合計
數量 6 3 7 11 3 1 1 4 2 25 7 4 74
百分比 7.69 3.85 8.97 14.10 3.85 1.28 1.28 5.13 2.56 32.05 8.97 5.13 100.00
圖5 有關電腦化測驗碩博士論文研究主題長條圖
�
�
��
��
��
��
��
���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ��
����
��
(六)施測對象以國小學童為主
不論是傳統的電腦化測驗、電腦化適性測驗或線上測驗皆是以國小學 童為主要施測對象,分別是傳統的電腦化測驗的論文全部10篇中有7篇佔 70.00%,電腦化適性測驗14篇,佔該類的40.00%,而線上測驗18篇佔該類 的一半以上,為54.55%。
綜合分析,進一步整合成表17,可發現在施測對象方面,以國小學 童為施測對象的研究總篇數有39篇,佔50%,其次是國中學生11篇,佔 14.10%,再次才是模擬研究9篇,佔11.54%。
表17 有關電腦化測驗檢索碩博士論文施測對象資料摘要表
施測對象 國小 國中 高職 高中 大學 模擬 系統 其他 合計
數量 39 11 6 1 5 9 4 3 78
百分比 50.00 14.10 7.69 1.28 6.41 11.54 5.13 3.85 100.00
(七)研究方法主要以系統分析居多
在研究方法的分析,本文將研究方法初步分為「調查研究法」、「相 關研究法」、「實驗研究法」、「系統分析法」等四大類,由於所搜集的各 篇論文可能不只採用一種研究方法,故從數據上來看,有研究方法總數大於 所有篇數的現象,茲依序從傳統的電腦化測驗、電腦化適性測驗、線上測驗 三者分析所使用的研究方法比例。
1.傳統的電腦化測驗
傳統的電腦化測驗其研究方法主要以系統分析法為主,以建立電腦化 施測系統並進行系統效能的評估,在傳統的電腦化測驗有6篇,佔42.86%。
其次是實驗研究法4篇、及調查研究法3篇,其他尚有1篇論文使用過程探究 法。
2.電腦化適性測驗
電腦化適性測驗各篇論文所使用的研究法(調查法5篇,相關法3篇,
實驗法5篇,系統分析法24篇)中,如傳統的電腦化測驗一樣,仍以系統分 析法為最多,佔有24篇,約有一半以上的人使用,無人使用觀察研究法。在
實驗研究法5篇中都以準實驗設計為主,而相關研究法3篇也以關係研究 為主,此外也有研究者進行模擬研究。
3.線上測驗
進行線上測驗研究的方法(調查法20篇,相關法3篇,實驗法5篇,系 統分析法27篇)中,仍然是以系統分析方法最多,佔有27篇,大約有五成左 右,其次為調查研究法有20篇,佔36.36%,調查研究法中又以問卷調查法 為主,其主要是利用問卷來對受試者在線上測驗系統使用的態度及效能進行 調查。另外,實驗研究法,採用準實驗設計,計有5篇。
表18 CBT、CAT及WBT研究方法綜合資料一覽表
研究方法 調查法 相關法 實驗法 系統分析 其他 合計
數量 28 7 14 57 10 116
百分比 35.90 8.97 17.95 73.08 12.82 100.00
圖6 CBT、CAT及WBT研究方法資料長條圖
整理綜合成表18及圖6。由表18綜合資料中可以得知,不論是傳統的電 腦化測驗、電腦化適性測驗或者是線上測驗,系統分析的資料還是在所有的 研究方法中佔多數,78篇中有57篇是為系統分析、效能評估的研究方法,亦 即系統建置在所有的學位論文中是為多數,其次才是調查法及實驗法。
�
��
��
��
��
��
��
��� ��� ��� ���� ��
����
��
(八)小結
綜合前述有關電腦化測驗研究的現況分析,在傳統的電腦化測驗(
CBT)、電腦化適性測驗(CAT)及線上測驗(WBT)這三類中,以類別 來說,電腦化測驗相關研究以「電腦化適性測驗」及「線上測驗」居多,而 52篇的線上測驗可屬於傳統的電腦化測驗亦有35篇之多,這樣的現況說明目 前國內研究仍以古典測驗理論為基礎的傳統電腦化測驗為主,以試題反應理 論為學理基礎的電腦化適性測驗發展空間仍很大。
其次,從研究數量來看,近五年研究數量激增,以碩士論文居多,博 士論文屈指可數,僅有三篇,應可鼓勵博士班學生投入此領域的研究,豐富 此研究領域的人才。因為要做電腦化測驗或適性測驗的研究,需要資訊系所 背景,或是測驗統計背景,若能長期投入在此領域,從碩士到博士都持續投 入,相信可有更豐富多元的研究成果。
另外,在主題方面,研究主題以「系統建置」及「系統效能評估」居 多,研究方法也以系統分析居多。而在施測對象方面,則以國小學童為主,
關於此點,研究者提出二點看法:其一,以國小學童為施測對象居多極可能 是較易取得學校的配合意願,以目前國高中階段升學壓力沈重,學生每天接 受各式各樣的大考、小考,因此國高中階段較不取得施測樣本進行研究,否 則以電腦操作能力來看,應是國高中階段較易施行電腦化測驗。其二,以國 小學童為施測對象的35篇中,考慮到學生電腦操作的能力,因此,接受施測 的國小學童為中高年級學生,如:顏雅莉(2005)國小五年級學生在線上 補救教學環境下學習時間概念成效之研究、郭寂莉(2004)國小高年級視 覺藝術概念電腦化測驗編製之研究。
二、電腦化測驗研究的內容分析
本節旨在利用表13、表14、表15及表16深入分析以傳統的電腦化測 驗、線上測驗以及電腦化適性測驗所探討的內容主題類別,本節所探討的 主題內容包括:(1)項目反應模式(Item Response Models)、(2)能力 估計、(3)題庫建置、(4)系統建置及(5)選題策略等五大項,依序說
明如下。
(一)項目反應模式的內涵研究
電腦化適性測驗主要使用的項目反應模式(Item Response Models),
依序分成單參數常態肩形模式、雙參數常態肩形模式、三參數常態肩形模 式、四參數常態肩形模式、單參數邏輯模式、雙參數邏輯模式、三參數邏輯 模式、四參數邏輯模式、名義反應模式、等級反應模式及連續變數反應模式
(Hambleton & Swaminathan, 1985)、部分給分模式等。而在電腦化適性測 驗所搜集到35篇博碩士論文文獻之中,探討模式的篇數只有4篇(簡月 梅,1998;秦靜儀,1999;郭東瑛,2001;林文質,2005),而且都探討 多點計分模式,其餘31篇都只在於二元計分的單參數、雙參數及三參數邏輯 模式,而且主要的探討主題都不是在模式的差異比較,因此在項目反應模式 的研究尚屬少數。
(二)能力估計議題的探究
能力估計在試題反應理論中,包括MLE、Joint maximum likelihood,
針對Rasch 模式的Conditional maximum likelihood,或者在Rasch及雙參數 模式下的Marginal maximum likelihood;Bayesian或者Approximate procedure 等模式,但在電腦化適性測驗的碩博士論文鮮少深入論及此主題方法之研 究,只有陳建榮(2001)探討在試題曝光控制下的電腦適性測驗:WLE與 OWLE+MLE估計能力之比較與何榮桂(1991)探討題庫中項目參數分配型 態對電腦化適性測驗能力估計的影響,由此可知,以能力估計為主題的篇數 不多。
(三)題庫建置主題的探討
題庫的發展在電腦化適性測驗中是一個關鍵的角色,不管是初始點的 選擇、考生能力的估計以及測驗的終止等相關議題,都與電腦化測驗中的 題庫有著密切的關係,但在這個議題上,以電腦化適性測驗這個主題所蒐集 的35篇論文中,談到題庫建置的論文,以何榮桂(1991)探討題庫中的項 目參數分配型態、陳麗如(1998)探討電腦化適性測驗題庫之品質管理策 略、陳新豐(2002)探討線上題庫與適性測驗整合系統的發展、林晉榮(
2004)探討以知識結構為基礎的線上電腦適性測驗題庫系統等主要以探討題 庫的建置與管理及其題庫特性的探究,所佔比例為11.43%,而在電腦化測驗 也僅佔9.09%;線上測驗6.06%。所以以題庫為主題的探討,仍有發展的空 間。
(四)系統建置相關主題的研究
以建置系統為主題,包括建置傳統的電腦化測驗系統、線上測驗平台 以及電腦化適性測驗系統在整個電腦化測驗的相關論文中,所佔篇數為最 多,內容也最為多元,就線上測驗33篇中,33篇皆以線上測驗的系統建置上 深入探討相關的應用問題,包括:學習診斷、補救教學、題庫建置、系統效 能、回饋訊息等;而在以電腦化測驗為關鍵字所搜尋的10篇相關論文中,其 中有7篇是探討電腦化測驗的系統建置;電腦化適性測驗關鍵字所搜尋的論 文中,也有18篇是主要以探討電腦化適性測驗的系統建置問題。因此,在系 統建置的議題上,可說是多元的發展,所以若能深入地探討系統建置過程 中,各個成份,例如:題庫的建置、選題策略、學習診斷、能力估計、終止 決定等相關要素,會對整個電腦化測驗的發展更為精緻。
(五)選題策略及其相關主題的研究
在電腦化適性測驗的發展中,如何從題庫中挑選適當的題目,曝光率 的問題對於題庫的安全以及能力的估計精準度有著決定性的關鍵。而在電腦 化適性測驗為關鍵字的論文中,有7篇為探討選題的策略,分別為杜玲均(
1997)發展一套以灰色預測選題之電腦化適性測驗系統、楊佳芳(2001)
階層法在分層的電腦適性測驗上之應用、陳柏熹(2001)選題限制與曝光 率控制對多向度電腦化適性測驗之測量精確度與試題曝光率的影響、翁相擇
(2002)以二次規劃方式控制初始試題機率達成試題曝光率之最佳化、李 明如(2002)測驗選題演算法之研究-以國中基本學測驗之國文.數學為 例、李俊儀(2005)以貝氏網路為基礎的電腦化適性測驗選題策略-以國 小數學科診斷測驗為例等。而在這7篇論文中,大部份皆以數理演算法及以 資訊工程相關系所為主的學位論文,因此,發展此類相關論文必需具備基礎 的數理基礎,可謂具有相當的門檻,不過從發表的數量上,可看出是穩定的
發展中。
(六)學習成效與學習診斷
在學習成效與學習診斷部分,將電腦化測驗的應用上此方面,可說 是最具發展潛力。若以研究論文的數量來看,以線上測驗為例,除11篇佔 33.33%為多數外,其次為學習診斷有6篇(18.18%),且是逐年增加,由於 線上測驗是在網際網路環境進行,因此若能結合教學、練習與評量三者,記 錄學習者反應,可充分強化電腦化測驗的應用成效。
(七)小結
綜合前面有關電腦化測驗的主題分析,可得到目前有關電腦化測驗的 博碩士論文,在主題方面:項目反應模式的內涵研究、能力估計議題的探 究、題庫建置主題的探討與學習成效與學習診斷的研究都不太多,特別是學 習成效與診斷若能結合數位學習的教學、練習部分,使教學、練習與評量結 合在一起。至於系統建置相關主題的研究,由於已有為數不少的建置糸統的 論文,因此,研究者認為:未來除了建置系統外,若能針對上述能力估計、
學習診斷等做更深入的研究也是一個研究方向。
結論:電腦化測驗研究的未來發展
電腦化測驗研究的發展,在目前資訊科技的蓬勃發展與現代測驗理論 的配合之下,在理論方面已經相當穩定了,不過,尚有努力的空間。以下就 依選題組卷策略、電腦化適性測驗、電腦化測驗之規劃等方面加以說明電腦 化測驗研究的未來發展方向。
一、選題組卷方面
有 關 選 題 組 卷 策 略 及 其 相 關 主 題 , 特 別 是 自 動 化 組 卷 是 運 用 電 腦 協 助 組 卷 , 是 目 前 有 關 電 腦 化 測 驗 中 相 當 重 要 的 研 究 內 涵 ( 洪 碧 霞 , 2006;Boekkooi-Timminga, 1990;Armstrong,1996 ;Breithaupt, Ariel &
Veldkamp,2005)。自動化命題與自動化組卷在電腦化測驗的題庫安全及建
置上有著莫大的助益,尤其是目前國家重要的考試,試題的來源益加困難,
又由於民情的緣故,往往考試一結束,相關單位即被要求公開題目及標準答 案,而這對於題庫的安全以及考試有相當的威脅性,因此,若能在電腦化測 驗中,加強研發試題的自動化命題以及自動化組卷,對於電腦化測驗的永續 經營與發展極有助益。
二、電腦化適性測驗
電腦化適性測驗之規劃與實施,須先建置完善的題庫系統,目前探討 電腦化適性測驗的系統效能之論文篇數已有多篇,建議可再發展其它相關 的主題,例如:選題策略、能力估計,相關的遺傳演算法、類神經理論、模 糊理論的結合等。因為,除了建置系統、評估效能外,有關受試者的能力估 計、選題策略、等化、連結等策略、終止點的判斷、及學習診斷之應用均需 一一考量,而這些研究領域雖然目前學位的論文也已有數篇,但數量仍不 多,建議更深入且精實地探討是未來研究可以再加深加廣的領域。
另外,利用ICT(information and communication technologies)協助多元 計分題的自動計分(Teresa& Robert,2006;David, Isaac & Anne,2004)、設計 並實施複雜型式題目的測驗之電腦化(David, Isaac & Anne,2004; Caroline,20 05;John&Sarah,2004)等也是未來研究探討的重要方向。
三、電腦化測驗之規劃與實施
數位化時代下,採用電腦進行教學與評量是必然的趨勢,但目前有關 電腦化測驗應然的理論研究與實然的實際條件研究,就數量來說,相距甚 大,前者多,後者少。再由考試院於2006年2月公開徵求委託大專院校、研 究機構、顧問機構、法人團體或專家學者研擬執行電腦化測驗試場可行性研 究,可知此部分的研究十分缺乏。
根據Neil(2006)提出在劍橋的測驗系統(assessment system)包含三 大部分,分別為測驗的建構或構念(conceptual framework)、測驗對人的影 響(human-related factors)以及電腦科技的運用(technological means)。
其中電腦科技的運用在整個英國劍橋英文中心的測驗系統的一部分,它與專 業人士的貢獻都是為了成就各種語言測驗的進行與品質而把關,因此有關電 腦化測驗試務行政、電腦化測驗試場規劃、電腦化測驗的資訊科技研究、電 腦化測驗的政策等都是未來可研究的主題。
參考文獻
毛家驥(2005)。線上多媒體電腦適性測驗系統之延伸—取樣測驗之樣本收集與 四種能力估計法模擬適性測驗比較。國立交通大學理學院網路學習碩士在職 專班,碩士論文,未出版。
考選部(2006)。「國家考試電腦化測驗試場及試務委外辦理可行性研究」徵求 計畫書。〔ON-LINE〕 http://www.moex.gov.tw/。
何榮桂(1991)。題庫中項目參數分配型態對電腦化適性測驗能力估計的影響。
國立臺灣師範大學教育研究所,博士論文,未出版。
何榮桂(1997)。從「測驗電腦化與電腦化測驗」再看網路化測驗。測驗與輔導,
第144期,2972-2974頁。
何榮桂(2000)。網路環境題庫與測驗之整合系統。科學發展月刊,28卷7期,
534-540頁。
何榮桂(2005)。電腦化測驗系列研究(3∕3)。臺北:國科會研究成果報告。
何榮桂(2006)。國際電腦化測驗發展趨勢之研究。發表於95年度考選制度研討 會系列二「電腦測驗發展趨勢與國家考試電腦化測驗研討會」。臺北:臺灣 師範大學,2006.5.29。
何榮桂、林一真、黃堅厚、蘇建誠(1999)。上網做「我喜歡做的事」。新世紀 測驗學術發展趨勢。台北:心理。
何榮桂、郭再興、蘇建誠、陳麗如(1999)。在Internet上建構測驗環境之可行性 及相關問題之探討。新世紀測驗學術發展趨勢。台北:心理。
何榮桂、蘇建誠(1997)。遠距適性態度測驗系統設計。第六屆國際電腦輔助教 學研討會,臺北,175-185頁。
李台玲(2001)。遠距教學之評量。生活科技教育,34卷8期,30-37頁。
李明如(2002)。測驗選題演算法之研究—以國中基本學力測驗之國文、數學為 例。中原大學資訊工程研究所,碩士論文,未出版。
李俊儀(2005)。以貝氏網路為基礎的電腦化適性測驗選題策略—以國小數學科 診斷測驗為例。臺中師範學院數學教育學系,碩士論文,未出版。
杜玲均(1997)。發展一套以灰色預測選題之電腦化適性測驗系統。國立臺灣師 範大學工業教育研究所,碩士論文,未出版。
林文質(2005)。以多點計分試題結構為基礎的電腦適性測驗演算法。臺中健康 暨管理學院資訊工程學系碩士班,碩士論文,未出版。
林明達(1998)。全球資訊網線上測驗系統之設計與製作。國立交通大學資訊科 學學系,碩士論文,未出版。
林恬瑩(2006)。概念卡通融入二階層線上測驗之建構及其研究—以國小「磁力」
概念為例。國立臺北教育大學教育傳播與科技研究所,碩士論文,未出版。
林晉榮(2004)。以知識結構為基礎的線上電腦適性測驗題庫系統。臺中健康暨 管理學院資訊科技研究所,碩士論文,未出版。
林漢杰(1997)。電腦焦慮與自我察覺對電腦化測驗的影響之探討。高雄醫學院 行為科學研究所,碩士論文,未出版。
洪碧霞(2006)。國家考試電腦化測驗相關問題與未來發展之研究—國際電腦化 測驗發展趨勢介紹迴響。發表於95年度考選制度研討會系列二「電腦測驗發 展趨勢與國家考試電腦化測驗研討會」。臺北:臺灣師範大學,2006.5.29。
殷淑娟(2004)。作答回饋對電腦化測驗之作答結果的影響。雲林科技大學技術 及職業教育研究所碩士班,碩士論文,未出版。
秦靜儀(1999)。部分給分之電腦化適性測驗系統。國立臺灣師範大學資訊教育 研究所,碩士論文,未出版。
翁相擇(2002)。以二次規劃方式控制初始試題機率達成試題曝光率之最佳化。
國立臺灣師範大學資訊教育研究所,碩士論文,未出版。
莊永莉(1999)。聽力及應考策略在電腦化測驗及紙筆測驗使用情形的比較。國 立清華大學外國語文學系,碩士論文,未出版。
許家吉(1994)。電腦化動態圖形歸類測驗發展之研究。國立台南師範學院初等 教育研究所,碩士論文,未出版。
郭東瑛(2001)。互動式多點計分評量系統之設計與評估。國立臺灣師範大學資 訊教育研究所,碩士論文,未出版。
郭寂莉(2004)。國小高年級視覺藝術概念電腦化測驗編製之研究。國立嘉義大 學國民教育研究所,碩士論文,未出版。
陳志信(1993)。電腦化測驗的優點及可能的問題。學生輔導通訊,24,72-75頁。
陳怡婷(2003)。國小學童音樂性向測驗編製研究。臺中師範學院教育測驗統計 研究所,碩士論文,未出版。
陳建榮(2001)。試題曝光控制下的電腦適性測驗:WLE與OWEN+MLE估計能力 之比較。彰化師範大學數學系,碩士論文,未出版。
陳柏熹(2001)。選題限制與曝光率控制對多向度電腦化適性測驗之測量精確度 與試題曝光率的影響。國立中正大學心理學研究所,博士論文,未出版。
陳雅慧(2002)。使用試題反應理論建構個人化線上學習系統。國立台灣科技大 學資訊工程系,碩士論文,未出版。
陳新豐(1999)。多媒體線上適性測驗系統發展及其相關研究。臺南師範學院國 民教育研究所,碩士論文,未出版。
陳新豐(2002)。線上題庫與適性測驗整合系統之發展研究。國立政治大學教育 學系,博士論文,未出版。
陳麗如(1998)。電腦化適性測驗之題庫品質管理策略。國立臺灣師範大學資訊 教育研究所,碩士論文,未出版。
楊佳芳(2001)。階層法在分層的電腦適性測驗上之應用。國立臺灣大學數學研 究所,碩士論文,未出版。
溫福星(1995)。回顧與時限對電腦化線上測驗結果的影響。國立臺灣師範大學 資訊教育研究所,碩士論文,未出版。
葉淑慧(2005)。國小面積保留概念電腦化測驗發展與實驗教材之研究。國立臺 南大學教育經營與管理研究所,碩士論文,未出版。
劉亞平(1998)。教育改革的關心程度問卷與線上測驗之研究。國立台南師範學 院資訊教育研究所,碩士論文,未出版。
樂慶莉(1999)。電腦化多階段適性測驗。國立臺灣大學流行病學研究所,碩士 論文,未出版。
鄭紹龍(2002)。應用雙層次線上測驗評量國小學童「地層」相關概念之研究。
國立台北師範學院數理教育研究所,碩士論文,未出版。
簡月梅(1998)。互動式提示多點計分電腦化適性測驗。國立師範大學資訊教育 研究所,碩士論文,未出版。
顏雅莉(2005)。國小五年級學生在線上補救教學環境下學習時間概念成效之研 究。國立臺南大學教育經營與管理研究所,碩士論文,未出版。
羅郁婷(2003)。高職會計學網路教學與線上測驗系統之設計。彰化師範大學商 業教育學系在職進修專班,碩士論文,未出版。
羅雅薇(2005)。電腦化空間能力測驗題庫之建置。國立台灣科技大學技術及職 業教育研究所,碩士論文,未出版。
Armstrong, R. D.(1996).A Study of a Network-Flow Algorithm and a Noncorrecting Algorithm for Test Assembly.Applied Psychological Measurement,20(1),89-98.
Boekkooi-Timminga, E.(1990). The construction of parallel test from IRT-based item bank. Journal of Educational Statistical, 15, 129-145.
Breithaupt, K.,Ariel, A. & Veldkamp, B.P.(2005).Automated Simultaneous Assembly for Multistage Testing.International Journal of Testing, 5(3), 319-330.
Caroline,V.G.(2005).What Is the Role for ICT-Based Assessment in Universities?.Studies in Higher Education, v30(2),171-180.
David,M.W., Isaac,I.B. & Anne, S.(2004).Automated Tools for Subject Matter Expert Evaluation of Automated Scoring. Applied Measurement in Education, v17(4),323-357.
David,M.W., Malcolm,B., Linda,S.S., Robert,J.M., John,T.B. & Sarah,F.D. (2004).
Design Rationale for a Complex Performance Assessment.International Journal of Testing, v4(4), 303-332.
Hamblenton, R. K. & Swaminathan, H. (1985). Item response theory: principles and applications. Boston: Kluwer Nijhoff Publishing.
Neil, J. (2006). Assessment systems: conceptual, human, technological. Research Notes, 23, 2-3.
Teresa,A.W. & Robert,J.H.(2006).Development of a New Critical Thinking Test Using Item Response Theory.Psychological Assessment, v18(1),100-105.