閱卷者之眼球運動與評分穩定度之研
究:以地理科電腦螢幕閱卷為例
摘 要
當試卷無法全面利用電腦自動評分時,另一種閱卷方式是將考生答案 卷掃描為影像檔,閱卷者透過網路在電腦螢幕前閱卷。為瞭解閱卷者在電腦 螢幕閱卷的眼球運動及評分的穩定定,本研究以眼動儀搜集閱卷者眼球運動 的資料,以紙筆閱卷、電腦螢幕閱卷(無眼動儀)及電腦螢幕閱卷(戴眼動儀) 三種閱卷工具搜集閱卷者的評分資料。實驗結果發現,在眼球運動方面,年 齡較高且平日較少電腦之閱卷者的眨眼次數較多,且在更換試題之際眨眼次 數明顯增多,眼動個數亦以年齡組最高者較多,不過各年齡閱卷者在各題的 凝視時間都相當短促,而在換大題之際明顯增加;在評分穩定性方面,則發 現受到答案形式及評分指標影響,代碼型答案的評分穩定性最高,專有名詞 評分穩定性次之,作圖評分穩定性最低。 關鍵字:電腦螢幕閱卷、眼球運動、評分穩定性 李明燕 Ming-Yen Lee 國立彰化師範大㈻㆞理系助理教授Assistant Professor, Department of Geography National Changha University of Education
The Eye Movements and Scoring Stability of Test Evaluators:
A Case of Geography Scoring on Computer Monitors
1 本文係以筆者於大學入學考試中心任職期間主持的九十二學年度電腦螢幕閱卷工作計畫之
Abstract
When a test cannot be scored automatically by the computer, the alternative is to scan the answer sheets onto the computer and have evaluators read the image files through network. In order to understand the evaluators’ eye movements and scoring stability, the evaluators’ eye movements were monitored while they were scoring paper-and-pencil items and computer items with or without eye tracker.
The results showed that the evaluators with less computer experiences and those among the older age groups showed higher frequency of eye blinking, especially during item category shift. The oldest age group had the highest eye movement frequency. All three types of scoring showed very short gazing time on small items, and longer gazing time during the shift of item categories. Criteria for evaluation and the format of answers played a critical role in determining scoring stability. Stability was highest for coding items, medium for specialized terms, and lowest for mapping items.
Keywords: Computer monitor scoring, eye movement, scoring stability
壹、緒論
長久以來,大規模考試非選擇試題的閱卷工作一直依賴人工作業,此 法不僅費時耗力,且不易隨時掌握閱卷品質。為解決人工閱卷可能不公平之 質疑,有人倡議試卷全部採選擇題,此法曾於1973年大學及獨立學院聯招會 全面採用並以電腦可讀之劃記方式答題,然經過多年的觀察,學者專家們發 現選擇題在試務執行上雖較方便,在評分上對學生也較公平,但因考試過於 偏重強記性試題,加上升學主義的僵化作用,高中的教學方法和學生求學的 態度都發生了偏差,致使學生知識窄化、興趣窄化、能力窄化等危機。(張 春興,1981)且考生長期處在等待已設定好的學習情境下,思辨書寫歸納的 能力不斷遭到質疑,許多人主張要增加非選擇題,命題不應侷限在課本,而應 以課程標準為範圍,如此才可能糾正高中教學祇注重記憶教材的偏差,進而 培養學生正確的求學方法與態度。於是1985年開始重新恢復測驗學生自行書 寫答案內容的非選擇題。(李明燕,1993)日後隨資訊產業的發展,1990年 代國外開始嘗試以選擇題為主的電腦線上考試;之後,電腦線上考試又進一步包括非選擇的答題方式以及電腦自動評分系統(Hung and O’Neil,1997),並 開始商業化經營,如凡塔格實驗室(Vantage Laboratories, 2005)。此一 新趨勢不僅可以讓考試空間由定點到非定點擴散,亦可以縮短回饋時間,並 控制閱卷品質。
僅管電腦線上考試與紙筆測驗在評估模仿與情感心理測驗的結果差異 很小(Fouladi, McCarthy and Moller, 2001),但並不是所有學生都喜歡電腦 線上考試這種方式(Natal, 1998),不是所有的作答資料皆可以數位化,不 是所有考生都能快速將文字輸入電腦,圖像式文字辨識及語意自動辨釋與比 對的系統目前也尚成熟,故另一發展趨勢則將電腦視為閱卷的輔助工具,如 學生作業未能完全輸入電腦時,則僅讓閱卷者在螢幕上登錄分數;或是將 考生紙筆作答的試卷掃描成影像,再透過網路傳輸,試閱卷者在螢幕前看卷 並直接在鍵盤輸入成績。前者已應用於學生學習檔案的評量(Solano-Flores, Raymond and Schneider, 1997),後者在中國大陸高校入學考試於1999年即 開始在廣西進行「試點實驗」,之後雲南、福建、遼寧、湖北、天津等地相 繼採行(王瑜昆,2001),2005年高考即有15省(直轄市)400多萬考生、 2000多萬答案卷全部採用(計世網,2005),並應用於司法考試(中國教育 考試網,2005),此法中國大陸稱為網上閱卷,其最大特點是閱卷主控系統 可以全程追蹤每位老師評閱的質量問題,然後在第一時間內反映到閱卷主控 系統,使閱卷老師能夠及時發現原因並加以改正。(石獅日報,2003) 大學入學考試中心(簡稱大考中心)亦認為以電腦螢幕作為閱卷輔助 工具的可行性較電腦自動評分系統為高,故1999年即進行試卷影像擷取系統 與電腦輔助閱卷介面子系統的開發(華洋,1999),2001年試用於英文寫作 能力測試,其後程式再繼續修訂與更新,實驗科目再擴及地理科與數學科, (李明燕、游春祺、朱惠文,2003),大考中心稱此為電腦螢幕閱卷(簡稱 螢幕閱卷)。同時,於2003年將各科指定科目考試答案卷調整為電腦可自動 掃描與切割影像的格式(國文科除外),建立考生作答影像檔,作為未來研 究之基礎資料,或為試務提早作準備。目前大考中心再改版的電腦螢幕閱卷 之初步程式,曾應用於2002與2003年的學科能力測驗英文科補考,由閱卷委
員在封閉式閱卷場正式使用;2002年地理科則進行分題閱卷與整份試卷閱卷 品質比較之基礎實驗,參與者認為分題評閱較易操作也較能維持閱卷品質( 王秋原、李明燕,2002);2003年數學科進行開放式環境閱卷以測試遠端網 路程式的穩定性。 由於非選擇旨在測驗考生主動表達的能力,考生的作答內容不像選擇 題那麼制式,電腦輔助的螢幕閱卷方式顯然仍依賴閱卷者的主觀判斷。在有 關心智負荷與眼球運動參數關係的研究指出,如果讓受測者自由配速,改變 作業複雜度,作業人員檢視困難度較高的目標物時,會造成較長的凝視時間、 較高的凝視頻率、較快的跳視速度;而且資訊出現的頻率顯著增加受測者的 心智負荷(藍偉碩,1997)。以螢幕閱卷畫面所呈現的資訊量與異質性來看, 閱卷者不僅要改變閱讀試卷的習慣,更需要適應閱讀螢幕對眼球的負荷,而 這種調適狀況很可能會隨著閱卷者的年齡或使用電腦的經驗等因素可能有所 差別。由於大學入學考試閱卷者的年齡大都在三十歲以上,且以四十歲以上 為多數,而此時又正值眼球開始老化之際,其眼球是否能適應螢幕,螢幕之 畫面應如何設計以降低閱卷者眼球的疲勞,這對閱卷者自身健康無疑是相當 重要,但此等問題鮮少在閱卷相關文獻論及。此外,由於螢幕閱卷係閱卷者 直接在鍵盤輸入成績,且試題卷是一份份傳輸,各題卷無法同時比較,一旦 評閱分數確定送至管理成績之伺服器後,閱卷者已無法調回該題卷修改成績, 此時閱卷者給分的穩定性對考生而言就顯得相當重要。但目前的研究大多分 析考生的反應,很少進行閱卷者從紙筆轉型到使用螢幕對不同閱卷工具的反 應。因此,本研究之目的有二,一是探討閱卷者在電腦螢幕閱卷的眼球疲勞 狀況,二是比較不同閱卷工具閱卷者在不同題型的評分穩定度。
貳、研究方法
在閱卷過程,答案的型式若是代碼、數字、專有名詞,對錯分明,閱 卷者給分沒有彈性;但如果答案是論述或是作圖等類型,其正確性則需以多 維標準決定,且受作答內容異質性的影響,使得給分具有較大的彈性,閱卷者也可能因情境變動而自動調整自己的內在標準,更遑論不同閱卷者之間的 差異。閱卷者評分穩定性的研究可分為質性與量化兩大類,但因國內尚未普 遍採行電腦螢幕閱卷,欠缺大規模量化資料,故本研究側重質性分析。
一、受試者
由於大學入學考試悠關考生的未來,社會大眾對閱卷的客觀性與公平 性的要求也特別高,參與者都必須迴避有利害關係者,閱卷者大都以招生單 位的大學教師為主,整個閱卷過程不僅有評分指標,也有標準化的作業程序, 以降低閱卷誤差;為檢測閱卷者對不同題型的評分穩定性,2002年大學入學 指定科目考試地理科的非選擇題答案同時具備對錯分明與多維標準的類型, 故本研究以該年考生作答試卷之抽樣卷為實驗資料,參與實驗的閱卷者也都 是大學地理教師。此外,本研究礙於人力、經費及作業的困難度僅能以小樣 本進行實驗。為配合研究目的,實驗方法分為少卷量閱卷與多卷量閱卷,前 者主要進行眼動資料及評閱成績之搜集,樣本數為六位,男、女性閱卷者各 三位,且年齡分散在35至55歲之間;後者主要進行評分穩定性比對,樣本數 為四位,男、女性閱卷者各二位,年齡皆在40歲左右。為降低疲勞因素的干 擾,少卷量與多卷量參與者不重疊,共計十位大學老師為閱卷者。二、實驗方法
(一)實驗資料的建置 1.資料建檔 2002年指定科目考試地理科非選擇題考生答案卷格式,無法以大考中 心的讀卡機(The DRS PS880 Photo Scribe Imaging Mark Reader)快速掃描, 故以A3規格的掃描器逐一掃描500份抽樣卷,之後再以大考中心考試業務處 開發的影像切割軟體將試卷影像切割為試題影像,這個階段受限於設備與程 式既耗時又費力。2.影像資料整理
每位閱卷者的卷面字數類似;確定每位閱卷者之評閱內容後,再將影像檔列 印為紙本,並依電腦配卷順序排序。 (二)試卷分配與閱卷設備 本研究閱卷所用的程式為大考中心資訊管理處所提供的配卷系統,由 於該程式係以整份試卷配卷,而地理科在上一期即明白指出應採分題閱卷, 故本研究僅能配合程式以人工方式將試題檔名逐一改為配卷系統可讀之格式。 試卷分配與閱卷規畫如表1。 表1 試卷分配與閱卷設備 類別 類別 份數/人 設備 地點 少 卷 量 紙筆 配卷固定且為分題閱 每人149-150份 每份三大題 每人約計448題 錄影機 嘉義大學史地系 彰化師大地理系 螢幕(無眼動儀) 電腦 錄影機 螢幕(戴眼動儀) 電腦 錄影機 眼動儀 中正大學心理系 多 卷 量 螢幕(無眼動儀) 每人500份且為分題閱 (初、複閱各250份) 每份三大題,每人計1500題 電腦 錄影機 大考中心
三、實驗過程
本研究實驗時間係利用老師們的課餘空檔,並配合其方便性,實驗地 點分散在北、中、南三地,實驗時間為2003年10月至12月。實驗過程如下: (一)少卷量測試 1.目的:主要瞭解閱卷者使用螢幕閱卷的眼球運動,並比較不同閱卷工 具的評分穩定度。 2.測試過程:依序分為紙筆閱卷、螢幕閱卷(無眼動儀)及螢幕閱卷( 戴眼動儀)三個階段,每位評閱者事先不知情各階段都評閱相同的試 卷。(1)第一階段〜紙筆試卷 a.本階段主要目的是讓閱卷者熟悉試題與評分指標。 b.閱讀評分標準以正式考試之標準,有些閱卷者於2002年已評閱 該 年試卷,但事隔多時大都已忘記,有些閱卷者從未閱卷,二者皆先 熟悉試題與評分標準後才開始評閱。 c.評閱期間,閱卷者若有問題會隨時討論,可前後比對已改過的試卷,歷 時約2小時。 (2)第二階段〜螢幕閱卷(無眼動儀) a.本階段主要目的是讓閱卷者熟悉螢幕閱卷的畫面與操作方法。 b.紙筆閱卷結束後,閱卷者立即至電腦教室熟悉操作方法,之後再開 始評閱,歷時約2小時。評閱資料傳至大考中心後,再整理與分析。 c.電腦教室17吋CRT螢幕、或15吋液晶螢幕,考生答案卷資料係以網 路與大考中心連線。 圖1 眼動儀實驗設備示意圖 (3)第三階段〜螢幕閱卷(戴眼動儀) a.本階段主要目的是記錄閱卷者的眼球運動。 b.為避免閱卷者對考生資料的記憶,本階段距離前階段達一個月以上。 c.實驗於中正大學心理學系眼動儀實驗室進行,每梯次一人,計六梯次。 ����� ������ ����� ���� EyeLink Host PC ������ ����� ������� �������� � � � �������� ������� � � �
d.實驗設備係透過網路將大考中心之閱卷伺服器、實驗室眼動儀及閱 卷者使用之電腦連線,閱卷用螢幕為21吋(46.1cm),閱卷者坐在 電腦前需將頭部下巴置於支撐架,以避免眼動儀之焦距隨頭部移動而 失準。其架構如圖1,實驗現場如附錄一。 (二)多卷量測試 1.目的:主要檢驗閱卷者一日工作量使用螢幕閱卷的評分穩定度。 2.測試過程:分為紙筆閱卷與螢幕閱卷二個階段,每位閱卷者都評閱相 同試卷。 (1)閱讀評分標準:每位閱卷者於91年皆評閱該年試卷,事隔多時早 已忘記,但看到試題與評分指標時即很快恢復記憶。 (2)第一階段為紙筆閱卷,每大題10份/人,其功能僅是讓閱卷者熟悉 試題與評分指標。 (3)第二階段為螢幕閱卷,採液晶螢幕,每人500份,每份三大題, 各閱1,500題;本階段主要搜集評閱的分數;閱卷時間從上午九時至下午四時。
參、研究結果
一、閱卷者的眼球運動
(一)實驗問題 為了解閱卷者在螢幕前的眼球運動狀況,本研究原擬訂記錄閱卷者瞳 孔移動的位置、瞳孔大小的變化、眨眼的次數等項目,但在實驗過程發現眼 動儀的頭罩若戴太緊,會因壓迫到太陽穴附近的血管,造成閱卷者因頭痛而 摸摸頭罩,結果造成瞳孔位置的紀錄有偏離的現象,故本實驗放棄從瞳孔位 置的移動以了解閱卷者在評分過程中瞳孔的凝視位置。由於螢幕閱卷的程式 係置於大考中心,眼動儀的程式置於眼動儀實驗室,二者除透過網路連接兩 地的電腦外,也必須透過中介程式轉接,如此才能記錄眼動資料記錄。當網 路連接不順或中介程式操作稍有疏失時,很容易造成眼動資料的流失,再加 上實驗需要控制記憶的因素,不能讓閱卷者於短時間內重複多次實驗,且實驗至此已接近尾聲,臨時要找到符合實驗設計的樣本不僅不易尋覓,即使有 適合樣本,但整個實驗需全部從重新運作,故本研究乃決定以現有的實驗閱 卷者的資料分析之。在此次六位參與實驗的閱卷者當中,甲、丁、戊、己四 位閱卷者順利完成,丙閱卷者則是在上述狀況下遺失一次資料,隔週再重作 一次;乙閱卷者雖也重作一次,但第二次的眼動資料仍有遺失情形,本研究 即以乙之部分資料分析。 (二)資料分析 本實驗試圖以眼動資料找出影響閱卷眼睛疲勞的相關指標。依據相關 資料指出:眼睛在注視近物時,有三個動作要配合一致才會使我們看近物清 晰而不費力,第一個是瞳孔要縮小,其次睫狀肌要收縮導致水晶體增厚,增 加屈光能力(稱為調節作用),最後兩眼的內直肌要收縮,使得眼球往內聚 (稱為會聚作用)。如果瞳孔不能縮小(如外傷或點藥),則視近物會模 糊,而調節及會聚作用如有異常,則會導致視近物時眼睛容易疲勞。另外工作 物太細小,或一直閃動或需長時間注視不動,或物體與背景對比不分明,或 照明不夠或明暗不定,需集中精神及眼睛高度調節和內聚,皆容易引起眼睛 疲勞。當眼睛疲勞時,眼睛不適的症狀有時會合併一些如頭痛、頭暈、眼睛 周圍脹痛、頸背酸痛、甚至噁心、食慾不振、慢性消化不良等症狀(王思宏, 2005)。在眼動資料中,本研究以每題的瞳孔面積、凝視時間、眼動與眨眼 的次數等資料觀察閱卷者評卷試卷的眼球狀況,六位實驗閱卷者眼動資料 如表2與圖2、3、4、5,實驗過程的生理反應如表3所示。 在相關研究已發現:螢幕色彩的組合對視覺績效與視覺疲勞有顯著的 影響(陳明德,1997),在六種色彩(紅、黑、藍、綠、黃、白)組合之比 較,辨識率正確率以藍底白字較白底黑字低,但偏好評等則是藍底白字較佳。 本研究的實驗設計因受考生作答是以黑色或藍色筆作答的影響,螢幕色彩設 計為白底黑字,此種色彩組合有助閱卷的辨識率,但偏好評等較差,閱卷舒 適性較低。由於瞳孔直徑變化主要受到前景亮度的影響,當前景越亮則瞳孔 越小(詹永舟,1998),由表3每題單位時間閱卷者的瞳孔面積平均數,六 位閱卷者的瞳孔面積為1.13~3.68mm2不等,此數據說明閱卷者的瞳孔面積因
螢幕底色較亮而縮小,且因螢幕的亮度隨試卷不斷來回傳送,瞳孔面積也有 明顯的波動(圖2),波動平均振幅為0.15~0.36 mm2,這種光線的閃動極易 使閱卷者眼睛疲勞。由閱卷者的生理狀況來看,多位閱卷者在實驗後半段都 略感不適,閱卷者分析可能是頭套壓迫太陽穴,或可能因實驗時無法隨意移 動頭部與身體等因素的影響。 通常人在看東西時,眼睛會隨著注視東西的遠近,自動調整眼球的屈 調功能,因此當電腦螢幕過高,再加上電腦的字形或影像模糊,都會造成 眼球屈調功能的過度耗用。而伴隨長時間緊盯著電腦螢幕,眼睛眨眼次數 會減少,國外針對電腦工作者的調查為例,在專注螢幕時眨眼次數會由每 分鐘22次降至7次,不知不覺使得眼球表面的淚水蒸發過多,而造成乾眼症 的現象。(unhealthy健康電子報,2005)本研究雖未調查閱卷者是否有乾 眼症,但從表2的資料發現閱卷者的每題總共的凝視時間為1,500~11,200千 分秒,每題平均眨眼次數為1.54~7次,波動平均振幅為0.59-4.21次,可知閱 卷者評閱試卷時每題的眨眼次數雖不高,但若考慮平均每題的閱卷時間為 4,439.59~16,182.68千分秒,平均每分鐘的眨眼次數則為10.81~30.77差距頗 大。從表2與圖4的資料顯示戊與丙眨眼次數較低,二者皆屬於30歲年齡組的 男女實驗組,且平日經常使用電腦;其餘閱卷者的眨眼次數顯然較高,而且 在試題內容的更換之際,眨眼次數有明顯增多的現象。 依據眼動研究相關資料,電腦作業所引發的視覺疲勞現象是一個極為 普遍且重要的問題。其影響因素包括視覺距離、電腦螢幕的亮度對比、眼球 運動速度以及作業時間等。其中近距離電腦作業所造成的眼球調節機制變化 是一般非電腦作業的1.8倍,當視距閱愈短時,眼球的調節機制會造成較大 的眼球疲勞(林房儹,1996)。為能較準確偵測閱卷者的眼球運動,本研 究特在螢幕前約30cm置一頭部支撐架讓閱卷者能以較舒適的方式觀看螢 幕,而使閱卷者無法自由調整視距。此等距離是否對閱卷者的眼球運動有所 影響,本文暫且略。從表2與圖5的資料可發現,六位閱卷者每題的眼動個數 為6.51~40.82,差距非常大,而且以30歲年齡組最低、50歲年齡組最高,此 等情形或許是受眼球老化的影響。 此外,在閱卷過程輸入分數之前,閱卷者大都會仔細閱讀考生的作答
資料,其眼球必然會隨畫面內容移動,本研究原擬追蹤閱卷者的瞳位,以了 解閱卷者是否會在一定時間後會簡化思考歷程,給分流於機械化操作,但因 眼動儀頭套過緊會使閱卷者不適,以致瞳位有明顯偏移的現象,本研究乃放 棄瞳位分析,但仍保留其他不受影響的時間資料。假設閱卷者凝視螢幕的時 間會隨著答題內容與評分標準的複雜性而波動,若省略凝視時間與操作時間 的瞬間差,其凝視時間應可視閱卷者的思考時間。由表3與圖5的資料顯示,六 位閱卷者平均每題總共凝視時間為11,202~1,500千分秒,差距非常大,而且 以30歲年齡組最低、50歲年齡組最高。此等差異不一定是生理因素所致,極 可能與閱卷者的個性、閱卷經驗、電腦操作熟悉度等因素影響。但無論不同 年齡組有多大的差距,每一題的凝視時間都相當短促,而且多數閱卷者的波 動在換大題之際明顯的提高。 表2 實驗閱卷者眼動資料 閱卷者 平均每題 閱卷時間 (千分秒)* 每題單位平均時 間瞳孔面積 (mm2/千分秒) 每題 眼動 個數 每題總共 凝視時間 (千分秒) 每題平均 眨眼次數 平均 每分鐘 眨眼次數 甲 15,535.86 平均數 1.89 40.82 11,202.84 6.19 23.9 波動平均振幅 0.29 29.87 8,193.61 4.19 乙 16.182.68 平均數 2.09 39.56 11,198.71 4.74 17.58 波動平均振幅 0.36 35.69 9,569.67 5.83 丙 4439.59 平均數 3.68 6.51 1,500.89 0.80 10.81 波動平均振幅 0.15 5.81 1,435.05 0.59 丁 13648.53 平均數 1.30 35.63 10,138.64 7.00 30.77 波動平均振幅 0.15 18.30 5,059.32 4.21 戊 7581.14 平均數 1.13 20.05 4,915.10 1.54 12.19 波動平均振幅 0.15 11.76 2,916.23 1.66 己 10875.78 平均數 2.26 33.08 8,026.70 4.62 25.48 波動平均振幅 0.36 21.98 4,983.73 3.98 說明:*代表此欄資料未計算首次操作的第一題所費的時間,以降低電腦操作熟悉度的影響。 資料來源:依據本研究之實驗數據彙整而成。
表3 實驗樣本螢幕閱卷(戴眼動儀)的生理狀況 閱 卷 者 性 別 年 齡 組 視 力 平日使用 電腦情形 閱卷結束時的感覺 甲 女 50 視力325度、300度, 平日沒戴眼鏡的習慣 不覺得很累 乙 男 40 左眼175、右眼200 兩眼有輕微散光 1.平常寫文章時,會 在 電 腦 前 七 、 八 個 小 時 , 也 不 常 起 來 活動 2.每日平均在電腦前 1-2小時 1.結束時,整體不覺得很不舒服, 不會想吐。 2.祇是到後面30張,頭部戴頭套 之處才有些不適。 丙 男 30 左眼800度,散光 300;右眼800度,閃 光250。 平日常使用手提電 腦,並以powerpoint 上課 第三題倒數二十題,後半頭部不 舒服,感覺不舒服、有點想吐, 原因主要是頭部被束緊不能動, 頭不舒服,休息一會兒後好多 了。第二次重測頭套鬆一點,即 不覺得頭疼。 丁 男 50 左右眼視力不平均, 近視約200度,左眼 有散光;現已老花了 1.很累,可能因為頭套的緣故。 2.第三大題後半,尤其是後30題 快受不了,頭痛,眼睛開始模 糊,平常不舒服會起來走動;覺 得好像登山缺氧不舒服,有點想 吐,若再不結束可能無法支持下 去。 戊 女 30 左眼近視400度,散 光250度;右眼近視 500度,散光150度 三年前曾長時間戴隱 形眼鏡 每日約七小時 1.不覺得很累,平常即長時間在 電腦前作業,祇是頭套稍微不舒 服。 2.評閱至結束前十分鐘頭痛。 3.第二大題前十題忽略右側作圖 區。 資料來源:研究者於眼動實驗結束時訪問。
圖2 不同閱卷者觀看螢幕每題平均單位時間的瞳孔面積 資料來源:依據本研究之實驗數據彙整而成。 ���� � ��� ��� ���� ���� � ��� ��� ��� � � � � � � � �������������������������������������������� ���� � ��� ��� ���� ���� � ��� ��� � � � � � � � ��������������������� ���� � ��� ��� ���� ���� � ��� ��� ��� � � � � � � � ����������������������������������������������� ���� � ��� ��� ���� ���� � ��� ��� ������ � � � � � � ���� ���� ���� ���� � ��� ��� ���� ���� � ��� ��� ��� � � � � � � � ���� ���� ���� ���� � ��� ��� ���� ���� � ��� ��� ������ � � � � � � � ���� ���� ���� (m m 2/��� ) (m m 2/��� ) (m m 2/��� ) (m m 2/��� ) (m m 2/��� ) (m m 2/��� )
圖3 不同閱卷者每題看螢幕的總共凝視時間 資料來源:依據本研究之實驗數據彙整而成。 ���� � ����� ������ ������ � ��� ��� ��� � � � � � � � � � � � �������������������������������������� ���� � ����� ������ ������ � ��� ��� ������ � � � � � � � � � � � ���� ���� ���� ���� � ����� ������ ������ � ��� ��� ������ � � � � � � � � � � � ���� ���� ���� ���� � ����� ������ ������ � ��� ��� � � � � � � � � � � � ���� ���� ���� � ����� ������ ������ � ��� ��� ��� � � � � � � � � � � � ���� ���� ���� ���� � ����� ������ ������ � ��� ��� ��� � � � � � � �����������������������������������������
圖4 不同閱卷者每題看螢幕的平均眨眼次數 資料來源:依據本研究之實驗數據彙整而成。 ���� � �� �� �� �� ��� � ��� ��� ��� � � � � � � ����������������������������������������������� ���� � �� �� �� �� ��� � ��� ��� ������ � � � � � � ���� � �� �� �� �� ��� � ��� ��� ������ � � � � � � ���� ���� ���� ���� � �� �� �� �� ��� � ��� ��� � � � � � � ���� � �� �� �� �� ��� � ��� ��� ��� � � � � � � ���� ���� ���� ���� � �� �� �� �� ��� � ��� ��� ��� � � � � � � ���� ���� ����
圖5 不同閱卷者每題看螢幕的眼動個數 資料來源:依據本研究之實驗數據彙整而成。
二、閱卷穩定性
為了解各類答案的給分情形,本文先分析多人評閱相同試卷的多卷量 閱卷,之後在比較不同閱卷工具的少卷量閱卷。此外,本研究之實驗試卷係 分兩階段選取,先是從92年度全體考生之試卷中隨機抽取1000多份,然後篩 除棄答的空白卷或掃描效果不佳的影像,選取500份作為多卷量閱卷之實驗 試卷,之後再從中選擇影像較佳者的300份作為少卷量閱卷之實驗試卷,以 ���� � ��� ��� ��� � ��� ��� ��� � � � � ��������������������������������������������� ���� � ��� ��� ��� � ��� ��� ������ � � � � ���� ���� ���� ���� � ��� ��� ��� � ��� ��� ������ � � � � ���� ���� ���� ���� � ��� ��� ��� � ��� ��� � � � � ���� ���� ���� � ��� ��� ��� � ��� ��� ��� � � � � ���� ���� ���� ���� � ��� ��� ��� � ��� ��� ��� � � � � ���������������������������������������������致本實驗試卷在正式考試的原始平均分數較全體考生略高(表5),但這不 影響本研究對閱卷穩定性的探討。以下即分別說明多卷量與少卷量閱卷的穩 定性: (一)多卷量閱卷 依據大學入學考試的平均閱卷情形,地理科的閱卷速度約75份/時,若 以每日閱卷時間七小時,一日閱量約525份,本研究取其整數500份,作為多 卷量之穩定性探究,每位閱卷者所評閱的試卷皆相同。四位閱卷者所評閱的 分數整理為表4;不同閱卷者之間的評閱差距分數(簡稱差分),本研究僅 以有無計之,並以累計次數整理為圖6。由表4、圖6的資料有如下的發現: 本次實驗之試題計三大題,各大題有2-3個子題(表4)。第一大題第1 題的描述式簡答,關鍵的概念可以用專有名詞,也可以用敘述式描寫,考生 較易得分,但也因為給分彈性較大,閱卷者之間的差分累計曲線也較陡;第2題 答案為專有名詞,分數明顯下降,但閱卷者之間的差分累計曲線明顯變緩。 第二大題第1題所測概念考生較陌生,得分不易,但因答案為六擇一的 代碼,如同為選擇題,閱卷者之間的差分非常少。第2題第一個答案雖是二 擇一的代碼,但因要說明選擇的理由,而使難度大幅提升,閱卷者之間的差 分累計曲線較前一題明顯,但累計量較第一大題第2題少;第3題為作圖題, 所考概念雖未超出課程綱要,但因此為多年來首次出現之題型,考生平少鮮 少練習,自然不易得分,也因評分指標採原則性給分,閱卷者之間的給分差 異非常明顯,累計差異量遠超出其他各題許多。 第三大題第1題答案為專有名詞,與第一大題第2題相較,難度略高, 差分累計量雷同,但曲線在試卷序中間較為平緩;第2題答案也是專有名詞,難 度與差分累計量與第一大題第2題雷同,曲線在試卷序中間較為平緩;第3 子題答案為需說明特徵的十擇三的已知專有名詞,考生可以從所學概念找出 說明特徵,難度自然較第二大題第2題低,閱卷者之間的差分量也雷同,但 閱卷從第一大題開始到第二大題結束大約已4-5個小時,午餐後又未休息, 第三大題各題之差分累計曲線開始有明顯階梯狀,如第1、2題約在試卷序約 100、第3題約在試卷序約300之處,此等情形或許說明閱卷者已疲勞了,該 休息一下。
以前述之差分曲線雖可發現閱卷者之間的給分情形略有差距,但若以 Alpha值來看,第二大題第3題之作圖題的值最低,但其信度也達.9446,其 餘各題更達.97~.98,這可說明此次閱卷者之間的給分情形內部一致性頗高。 整體而言,四位閱卷者之間的閱卷穩定性實際受試題難度、評分指標以及答 案形式的影響。不同閱卷者的差分比較,評分指標較多元的答案較大,尤其 是作圖題,代碼式的答案最小,難度較低的專有名詞亦較小。 表4 多卷量評分成績 閱 卷 者 分數 類別 第一大題 第二大題 第三大題 第 1 題 4分 第 2 題 4分 小 計 第 1 題 2分 第 2 題 2分 第 3 題 4分 小 計 第 1 題 2分 第 2 題 2分 第 3 題 4分 小 計 A 平均數 2.42 1.39 3.81 0.39 0.55 1.62 2.57 0.48 0.79 2.17 3.44 標準差 1.63 1.76 2.64 0.79 0.89 1.35 2.00 0.86 0.98 1.55 2.23 B 平均數 2.64 1.43 4.07 0.38 0.60 1.74 2.72 0.47 0.74 2.25 3.46 標準差 1.54 1.76 2.54 0.79 0.92 1.45 2.10 0.85 0.97 1.55 2.18 C 平均數 2.61 1.43 4.04 0.39 0.61 1.25 2.26 0.53 0.73 2.17 3.43 標準差 1.58 1.77 2.59 0.79 0.92 1.36 2.04 0.88 0.96 1.54 2.23 D 平均數 2.46 1.40 3.86 0.40 0.58 1.28 2.26 0.53 0.71 2.16 3.40 標準差 1.69 1.77 2.68 0.80 0.91 1.32 2.00 0.88 0.96 1.55 2.22 平均數 2.53 1.41 3.94 0.39 0.58 1.47 2.45 0.51 0.74 2.19 3.43 標準差 1.61 1.77 2.61 0.79 0.91 1.39 2.04 0.87 0.97 1.55 2.21 Alpha .9716 .9869 .9839 .9944 .9800 .9446 .9717 .9749 .9739 .9881 .9855 樣本原始 分數* 平均數 3.79 2.39 3.45 標準差 2.62 1.98 2.19 資料來源:*代表樣本試卷在指定科目考試之實際分數;表中其餘資料係依據本研究之實驗數據彙整而成。 (二)少卷量閱卷 螢幕閱卷從程式開發到實際運作,固然軟硬體能否配合是相當重要, 但成敗與否的關鍵主要繫於閱卷者的接受度。為了解閱卷者在不同閱卷工具 的表現,本研究進一步請六位不同年齡層男女各三位之閱卷者進行紙筆、螢 幕閱卷(無眼動儀)、螢幕閱卷(眼動儀)之實驗。實驗過程如前所述,每 位閱卷者分別以不同工具評閱相同試卷。為降低閱卷者之疲勞,實驗試卷每
人150份,其中第一大題為148份,總題量為448份,且每份試卷採交叉配卷 的方式讓同一試卷分別由四位閱卷評閱,但由於本實驗重點為不同閱卷工具 之評閱結果比較,且本實驗採不同特質之閱卷者,故資料分析不進行相同試 卷不同閱卷者之比較;且本實驗試卷係從多卷量閱卷之試卷再抽出,二者的 程度第二大題雷同,第一、三大題略有出入,故少卷量與多卷量閱卷的實驗 資料不宜交叉比對。依據表5與圖7的資料,不同閱卷工具評閱結果之比較, 有如下之發現: 本實驗之螢幕閱卷(無眼動儀)是緊接著紙筆閱卷之後,在閱卷者並 不知道各階段實驗試卷皆相同,且紙筆試卷閱畢立即收回,閱卷者無法在螢 幕閱卷時翻閱已閱試卷的情況,其給分依據仍以原先的評分指標,而非短期 記憶。從六位閱卷者整體之平均分數來看,在三大題8小題中,螢幕閱卷( 無眼動儀)的分數較紙筆閱卷為高者達5小題,其中第二大題第3題的作圖題 為各題之冠,六位閱卷者中的五位閱卷者都給較高的分數,但在下一段螢幕 閱卷(眼動儀)的平均分數卻又降下來,而且各閱卷者給分升降不一;若觀 察圖7也可以發現各閱卷者在自我不同閱卷工具之的差分累計次數曲線,第 二大題後半即作圖題部分呈急陡現象,與前述多卷量閱卷一樣。 與作圖題評分指標相較,代碼式的答案較不會受閱卷工具的影響,波 動量為各類型答案最低者,具高穩定性,但這種類型是否為非選擇最佳者, 則視整大題各子題的答案是否具備封閉式與開放式而定。若整大題全為封閉 式答案,閱卷品質可能極佳,但所測內容並未能真正測驗到考生主動表達的 能力,故此類試題不應設計為非選擇題。若以此觀點來看,本實驗試題第二 大題的答案係由封閉、半封閉到開放性逐次變化,由代碼、理由說明到作圖, 確實可以測驗考生多元能力,但作圖題的閱卷穩定性則有賴更明確的評分指 標或作圖說明等方式調整。 就年齡層的角度來看,邁入五十歲的甲與丁閱卷者在眼球老化的影響 下,其在紙筆轉為螢幕閱卷時,給分情形到第三大題有下降趨勢;在眼動儀 電腦螢幕前的分數,8小題中有5-6題再下降。從其眨眼次數與每題凝視時間 明顯較其他年齡層為多的情形來看,螢幕閱卷對較高年齡閱卷者較為吃力,
尤其在不能隨意活動筋骨時,情況更為顯著。 由於螢幕閱卷的方式左右限制閱卷者活動甚巨,閱卷者之間不易面對 面討論以化解冗長工作後的沉悶,因而在一段時間作業後,閱卷者很容易陷 入機械化反應。從圖7閱卷者不同閱卷工具差分曲線的比較來看,丁閱卷者 年齡層雖較高,但經驗豐富,各曲線幾乎重疊;而其他閱卷者的各差分曲線 在第三大題有較大的差距。 表5 少卷量閱卷之平均分數 閱 卷 者 閱卷方式 第一大題 第二大題 第三大題 第 1 題 第 2 題 小 計 第 1 題 第 2 題 第 3 題 小 計 第 1 題 第 2 題 第 3 題 小 計 甲 紙筆 2.00 1.43 3.43 0.50 0.42 1.09 2.01 0.44 0.82 2.24 3.50 螢幕 (無眼動儀) 2.10 1.43 3.54 0.48 0.42 1.42 2.32 0.46 0.76 2.12 3.34 螢幕 (眼動儀) 2.06 1.37 3.43 0.48 0.22 1.40 2.10 0.44 0.70 2.22 3.36 乙 紙筆 2.00 1.43 3.41 0.48 0.46 1.01 1.93 0.46 0.32 2.24 3.02 螢幕 (無眼動儀) 2.10 1.35 3.45 0.48 0.48 0.99 1.95 0.46 0.40 2.16 3.02 螢幕 (眼動儀) 2.12 1.22 3.35 0.48 0.54 1.11 2.13 0.46 0.42 2.34 3.22 丙 紙筆 2.57 1.67 4.24 0.46 0.44 1.32 2.22 0.36 0.73 2.12 3.21 螢幕 (無眼動儀) 2.68 1.76 4.43 0.49 0.48 1.41 2.38 0.44 0.76 2.12 3.32 螢幕 (眼動儀) 2.77 1.96 4.73 0.46 0.50 0.92 1.88 0.44 0.50 2.10 3.04 丁 紙筆 2.16 0.44 1.10 2.02 0.44 0.84 2.18 3.46 螢幕 (無眼動儀) 2.04 1.52 3.56 0.48 0.44 1.19 2.11 0.42 0.66 2.08 3.16 螢幕 (眼動儀) 2.00 1.43 3.43 0.46 0.44 0.94 1.84 0.46 0.64 2.08 3.18
戊 紙筆 2.43 1.48 3.92 0.48 0.52 1.13 2.12 0.34 0.70 2.16 3.20 螢幕 (無眼動儀) 2.42 1.62 4.04 0.40 0.54 1.20 2.14 0.38 0.70 2.16 3.24 螢幕 (眼動儀) 2.73 1.70 4.42 0.50 0.56 1.28 2.34 0.40 0.84 2.18 3.42 己 紙筆 2.24 1.18 3.42 0.50 0.54 1.14 2.18 0.34 0.78 2.10 3.22 螢幕 (無眼動儀) 2.24 1.20 3.45 0.48 0.54 1.38 2.40 0.34 0.78 2.18 3.30 螢幕 (眼動儀) 2.06 1.18 3.24 0.48 0.54 1.44 2.46 0.44 0.76 2.16 3.36 平 均 紙筆 (實驗分數) 2.23 1.45 3.68 0.48 0.47 1.13 2.08 0.40 0.70 2.17 3.27 螢幕 (無眼動儀) 2.27 1.48 3.74 0.47 0.48 1.27 2.22 0.42 0.68 2.14 3.23 螢幕 (眼動儀) 2.29 1.48 3.77 0.48 0.47 1.18 2.13 0.44 0.64 2.18 3.26 全部樣本紙筆 原始分數* 樣本148;平均3.65 樣本150 ; 平均2.38 樣本150 ; 平均3.27 說明:斜體粗黑字代表三種閱卷方式最高者。 資料來源:*代表樣本試卷在指定科目考試之所得分數;表中其餘資料係依據本研究之實驗 數據彙整而成。
圖6 不同閱卷者之間的評分差分 資料來源:依據本研究之實驗數據彙整而成。 ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� ��� ��� ��� ��� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ��� ���������� � �� �� �� �� ��� � ��� ��� ��� ��� ��� � � � � ��� ��� ��� ��� ��� ���
圖7 不同閱卷方式之差分比較 資料來源:依據本研究之實驗數據彙整而。 ���� � �� �� �� �� ��� ��� ��� � ��� ��� ��� ��� ��� ��� ��� � � � � �������� ������� ������ ���� � �� �� �� �� ��� ��� ��� � ��� ��� ��� ��� ��� ��� ��� � � � � �������� ������� ������ ���� � �� �� �� �� ��� ��� ��� � ��� ��� ��� ��� ��� ��� ��� � � � � �������� ������� ������ ���� � �� �� �� �� ��� ��� ��� � ��� ��� ��� ��� ��� ��� ��� � � � � �������� ������� ������ ���� � �� �� �� �� ��� ��� ��� � ��� ��� ��� ��� ��� ��� ��� � � � � �������� ������� ������ ���� � �� �� �� �� ��� ��� ��� � ��� ��� ��� ��� ��� ��� ��� � � � � �������� ������� ������ �7������������ ������������������ ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� ���� � � � � � � � � � � � � � � � � � �
肆、結論與建議
螢幕閱卷(網上閱卷)已是現代新興的一種閱卷方式,但人們大都僅 注意到閱卷公平性的提升,而較忽略閱卷者對這新工具的生理反映,而且也 疏忽不是每一種試題都適合所有閱卷工具這事實。當一種工具忽略使用者之 主觀感受,忽略人性原本所具有善念,一切設計以防弊隨時監控與方便為先 導時,人們將喪失主動參與的熱情,而這種情緒也可能會逐漸腐蝕教育的根 本。螢幕閱卷雖仍為人工給分,但成績輸入方式完全迥異於傳統方式,閱卷 者所給的分數可以及時傳至管理中心,電腦立即比對其與他人評閱的差距,一 旦超過標準值,該卷將進行第三閱,這種模式無疑可以保障考生的權益,但 如何使閱卷者暨能維持良好品質又有高度熱忱之心,則不能以高倨的管理態 度設計系統,反而應盡可能設計各種指標供閱卷者參考。例如設計閱卷者可 自行檢閱的品質監控網頁,讓監控系統透明化,鼓勵閱卷者主動維持閱卷的 穩定性。 螢幕閱卷的配卷方式可以分為整卷或分題評閱兩種方式,由於答題方 式影響評閱速度甚鉅,長篇論述的題型有時會有跨頁填寫之需,每份試卷所 需閱卷時間比較長;簡短扼要的題型填每題所需填寫空間不多,往往一頁可 以容納數題,每份試卷閱卷速度比較快。依據前期研究的建議如地理科以簡 答為主的科目最好採行分題評閱的方式,本研究即據此設計,但在研驗過程 中發現,從實驗資料準備、閱卷實驗到閱卷資料整理各個階段中,最為麻煩 的是第一階段,因為整個實驗必須配合系統採用整份評閱的格式,而不是系 統配合分題配卷之實際需求修訂,且需完全以人工方式調整每一個影像檔的 檔名,試卷分配才能以分題的方式讓閱卷者第一大題改完再改第二大題。此 等依題分配評閱的方式,從實驗觀察與訪談發現:閱卷者在一個畫面內祇看 到考生一題的作答內容確實可以降低不同評分標準的干擾,對閱卷者且祇要 輸入分數不必一直移動滑鼠即可閱畢一題,可以減輕閱卷者的手指與手腕長 期工作的負擔。為了解閱卷者眼球可能疲勞的情形,本研究以眼動儀追蹤閱卷者的眼 球運動,可以發現閱卷者的眼球運動會隨試卷內容有所調整,尤其是換大 題時,試題凝視時間增加,眨眼次數增,但整體的眨眼次數仍然偏低;而且 五十歲以上閱卷者較低年齡者試題凝視時間長,眨眼次數也較多。故建議試 卷可採定額換題的方式分配,以提高閱卷的專注力;提供閱卷者眼藥水,以 避免乾眼症的發生;調整螢幕配色,降低底色亮度,以減少對高年齡閱卷者 視覺疲勞的可能因素。 在閱卷品質的穩定性,檢測多元能力的答題型態雖可能會提高閱卷品 質的波動,但可以透過更清楚的評分指標控制,並尊重閱卷者的判斷,放寬 第三閱的標準;代碼式或專有名詞答案的閱卷品質雖較高,但第三閱標準應 較嚴格;且閱卷者工作四、五小時後,閱卷品質波動性較大,這時可透過定 時強迫休息的方式,讓閱卷者伸展肢體、閤眼休息一會兒。換言之,應靈活 運用電腦,讓監控系統既嚴格又有人性。 目前本研究雖已完成原訂的實驗目標,但從整個實驗過程發現未來大 考中心若要將之應用於正式考試,除前述需加強之處,尚必須重新檢討整個 配卷系統,配合學科需求修改程式,讓各科可以依答題方式選擇整卷或分大 題閱卷。回顧台灣與中國大陸在人工閱卷電腦化的過程,二者起始時間差不 多,但現在中國大陸高校入學考試已大規模普及,而台灣的發展進度呢?台 灣電腦程式人才濟濟,這不是能與不能,是為與不為而已。
謝 辭
本研究係作者在大學入學考試中心任職時為改進人工閱卷所主持的研 究計畫(研-91-034)。大學入學考試中心讓本論文順利發表,謹此致謝。 此外,衷心感謝大學入學考試中心研究發展處余甄紘提供行政協助、資訊管 理處劉建康提供閱卷程式與協助閱卷資料接收,考試業務處溫金森協助試卷 掃描與前階段經驗傳承;也感謝中正大學心理系眼動實驗室曾元琦與李建壹 提供眼動實驗之中介程式與協助實驗資料之搜集;更感謝參與閱卷的老師。參考文獻
中國教育考試網,網上閱卷系統,2005年8月28日取自 http://www.neea.edu.cn/ksxxh /wsyj.htm 王思宏,眼睛疲勞,財團法人尹書田紀念醫院書田泌尿科眼科診所。2005年8月28 日取自http://www.shutien.org.tw/s009_034.htm 王秋原、李明燕(2002),地理科電腦螢幕閱卷研討會專題報告,大學入學考試中 心。 王瑜昆,網上閱卷:尋求最大公正!中國教育報,2001年7月11日,取自http://www .jyb.com.cn/gb/2001/07/11/zy/5-zszk/1.htm 李明燕、游春祺、朱惠文(2003),九十二學年度電腦螢幕閱卷工作計畫,大學入 學考試中心。 李明燕(1993),八十二學年度及歷年聯考地理科試題分析,大學入學考試中心。 林房儹(1996),藉由眼球運動探討視覺搜尋型態與視覺疲勞之研究,國立台灣工 業技術學院技術研究所工業管理學程博士論文。 計世網,高考開鑼 金蝶中間件支稱網上閱卷系統,2005年6月8日,取自http://www. ccw.com.cn/news2/mfr/htm2005/20050608_11OGD.htm 張春興(1981),大學聯考與偏倚學風,聯合報,1981年9月28日。 陳明德(1997),螢幕文字/背景色彩組合與相關作業特性對視覺績效與視覺疲勞 影響之研究,國立台灣工業技術學院管理技術研究所碩士論文。 華洋(1999),電腦輔助人工閱卷實驗計劃,大學入學考試中心。 詹永舟(1998),瞳位追蹤應用於眼控系統及眼球動態量測儀器之製作與分析,逢 甲大學自動控制工程學系碩士論文。2005年8月28日取自http://ace136.auto.fcu. edu.tw/eyetrack/paper2/2-11-5.htm 石獅日報,福建高考網上閱卷展開,2003年6月23日,取自http://www.ssrb.com.cn/bi g5/content/2003-06/22/content_40746.htm 藍偉碩(1997),應用眼球運動參數衡量心智負荷,國立台灣工業技術學院管理技 術研究所工業管理學程碩士論文。Chung, Gregory k. w. k.; O’Neil, Harold F,. Jr. (1997), Methodological Approaches to Online Scoring of Essays (CSE Technical Report 461), National Center for Research on Evaluation, Standards, and Student Testing. (ERIC Document Resume ED 418101)
Fouladi, Rachel T.; McCarthy, Christopher J.; Moller, Naomi P. (2001), Paper-and-pencil or online? Evaluating coping and attachment measures, The Annual Convertion of the American Psychological Association, San Francisco. (ERIC Document Resume ED 456386)
Natal, Dottie (1998), On-line Assessment: What, Why, How, Technology in Education Conference, Santa Clara Convention Center, California. (ERIC Document Resume ED 419552)
Solano-Flores, Guillermo; Raymond, Bruce; & Schneider, Steven A. (1997)Computer-assisted Portfolio Scoring: Can Technology Enhance the Process of Scoring Portfolios?, The Annual Meeting of the American Educational Research Association in Chicago IL (ERIC Document Resume ED 411310)
Vantage Laboratories, 2005年8月28日,取自 http://www.vantage.com/