設計與製作一個英語文能力多媒體評量系統

全文

(1)國立交通大學資訊科學與工程研究所碩士論文設計與製作一個英語文能力多媒體評量系統. The Design and Implementation of a Computerized English Test Delivery System. 研究生：楊家一指導教授：陳登吉教授中華民國九十七年十二月.

(2) 設計與製作一個英語文能力多媒體評量系統 The Design and Implementation of a Computerized English Test Delivery System. 研究生：楊家一. Student：Jia-Yi Yang. 指導教授：陳登吉. Advisor：Dr. Deng-Jyi Chen. 國立交通大學資訊科學與工程研究所碩士論文. A Thesis Submitted to Institute of Computer Science and Engineering College of Computer Science National Chiao Tung University in partial Fulfillment of the Requirements for the Degree of Master in Computer Science December 2008 Hsinchu, Taiwan, Republic of China. 中華民國九十七年十二月.

(3) 設計與製作一個英語文能力多媒體評量系統. 學生：楊家一. 指導教授：陳登吉博士. 國立交通大學資訊工程學系碩士班國立交通大學資訊工程學系碩士班. 摘要隨著網路技術與建設的成熟，使得網路數位學習的發展已是潮流，讓學習與測驗由紙筆走向數位多媒體化。現有英語文能力網路評量系統的功能主要可分為試題製作、組卷、檢測、閱卷、成績查詢等，然而少有系統平台可以將以上功能做完善統整成一無繼式（seamless）的系統，且系統可被客製化成為特殊測驗目的而設計的目的。因此，本研究將利用既有各系統及工具來整合與實現，最後達成一個多媒體英語文能力網路評量系統的完整方案，分析各整合系統之架構，擬定整合方法與整合架構，最後將各子系統整合與實現。本研究所整合成的無繼式系統將以英語文的測驗為範例，借此來展示驗證其可行性及應用性。. 關鍵字：英語文能力評量系統、試題反應理論. I.

(4) The Design and Implementation of a Computerized English Test Delivery System Student: Jia-Yi Yang. Advisor: Dr. Deng-Jyi Chen. Department of Computer Science and Information Engineering National Chiao Tung University. Abstract With the advanced of the network technologies and the mature of network infrastructure, learning of network e-learning through internet has become quite popular. Existing computerized English test delivery systems may contain features such as test question creation, paper generation, examine, grade examination papers, result search etc., however few systems can integrate the above feature as a seamless computerized web-based English Test Delivery System. Therefore, this research will focus on the use of some existing systems and tools to integrate them are a seamless computerized English Test Delivery System specifically an integration system structure will be outlined and implemented. Finally, a total solution computerized English Test Delivery System is designed and implemented to demonstrate the feasibility and applicability of the proposed solution.. Key words：Computerized English Test Delivery System, Item Response Theory. II.

(5) 誌謝首先我要感謝我的指導教授陳登吉老師，在這碩士生涯，對於我耐心的指導及教誨，當遇到瓶頸和困惑時，老師都會細心地指導及建議，適時在我研究的路途帶引我，使的本研究可以順利完成，在此要非常感謝老師的栽培。感謝曾建超教授、黃世昆教授、黃中見博士提供的寶貴建議，使得本論文更加完備，特此致謝。尤其曾教授在陳教授，因病休養的這段時間，帶領實驗室成員作研究，在此深深的感謝曾建超教授，也希望陳老師可以趕快康復。接下來要感謝的是實驗室一起研究與努力的同學們與學長們，在課業上大家給予我極大的幫助，有問題的時候，能適時的給予我幫助，在研究上提供許多想法讓我在做研究上更順利，遇到瓶頸時能適時給我許多不錯的建議，讓我能夠順利完成這項研究。最後我要感謝默默支持我的父母與家人們，從我踏入交大的第一天就給予我許多精神上與實質上的支持，讓我可以在無憂的環境下專心完成學業，家人總是在我低潮時給予鼓勵也同時陪我度過低潮，讓我可以一直努力下去，不辜負他們對於我的期望與用心。. III.

(6) 目錄摘要 ............................................................................................................................................ I ABSTRACT .............................................................................................................................II 誌謝 ......................................................................................................................................... III 目錄 ......................................................................................................................................... IV 表目錄 ....................................................................................................................................VII 圖目錄 .................................................................................................................................. VIII 一、緒論 ................................................................................................................................1 1.1 研究背景.........................................................................................................................1 1.2 1.3 1.4 1.5. 研究動機與目標.............................................................................................................2 研究方法與步驟.............................................................................................................2 名詞解釋.........................................................................................................................3 章節概要.........................................................................................................................4. 二、文獻探討 ........................................................................................................................5 2.1 英語檢測相關探討.........................................................................................................5 2.2 各類電腦化測驗.............................................................................................................7 2.3 多媒體試題呈現方式.....................................................................................................8 2.4 多媒體試題之製作工具.................................................................................................9 2.5 整合系統介紹............................................................................................................... 11 2.5.1 英語文能力檢定暨適性化網路評量系統（由實驗室黃吉楠學長開發） ...... 11 2.5.2 控制試卷間試題重複度的選擇策略（由實驗室莊明坤學長開發） .............. 11 2.5.3 以 CLEC 語料庫為基準之英語作文錯誤檢查系統（由實驗室顏佐宇學長開發） .................................................................................................................................. 11 三、系統需求、系統需求、分析與設計 ..............................................................................................13 3.1 完整多媒體網路評量系統需求分析...........................................................................13 3.2 子系統分析比較...........................................................................................................14 3.2.1 多媒體試題製作工具比較 ..................................................................................14 3.2.2 組卷系統之組卷策略比較 ..................................................................................15 3.2.3 多媒體網路評量系統比較 ..................................................................................15 3.2.4 閱卷系統比較 ......................................................................................................16 3.2.5 成績查詢系統比較 ..............................................................................................17 3.3 系統架構.......................................................................................................................17 IV.

(7) 3.4 系統流程.......................................................................................................................19 3.4.1 編題者（命題手） ..............................................................................................19 3.4.2 組卷者 ..................................................................................................................20 3.4.3 受測者 ..................................................................................................................21 3.4.3.1 受測者(測驗) ..............................................................................................21 3.4.3.2 受測者(成績查詢) ......................................................................................22 3.4.4 閱卷者 ..................................................................................................................23 四、系統整合與實現 ..........................................................................................................24 4.1 整合命題手編製多媒體試題並上傳...........................................................................24 4.2 整合依試題呈現組卷模組與依重複度組卷模組至組卷系統...................................25 4.3 閱卷系統.......................................................................................................................27 4.3.1 自動閱卷(聽、讀類閱卷模組) ..........................................................................27 4.3.2 人工閱卷 ..............................................................................................................27 4.3.2.1 人工閱卷(說類閱卷模組) ..........................................................................27 4.3.2.2 人工閱卷(寫類閱卷模組) ..........................................................................28 4.3.3 閱卷系統操作流程圖 ..........................................................................................30 4.4 成績與作答查詢系統...................................................................................................30 4.4.1 成績與作答查詢系統(聽、讀類查詢模組) ......................................................31 4.4.2 成績與作答查詢系統(說類查詢模組) ..............................................................31 4.4.3 成績與作答查詢系統(寫類查詢模組) ..............................................................32 4.4.4 成績與作答查詢系統操作流程圖 ......................................................................32 五、應用範例 ........................................................................................................................34 5.1 多媒體試題製作與上傳...............................................................................................34 5.1.1 聽力試題型式 ......................................................................................................34 5.1.2 閱讀試題型式 ......................................................................................................36 5.1.3 口說試題型式 ......................................................................................................38 5.1.4 寫作試題型式 ......................................................................................................41 5.2 組卷策略.......................................................................................................................43 5.2.1 手動從試題庫內挑選試題來組試卷 ..................................................................44 5.2.2 依類型隨機從試題庫內挑選試題來組試卷 ......................................................45 5.2.3 依試題呈現方式從試題庫內挑選試題來組試卷 ..............................................45 5.2.4 依重複度命題 ......................................................................................................47 5.3 線上測驗.......................................................................................................................48 5.3.1 登入測驗 ..............................................................................................................48 5.3.2 多媒體線上測驗 ..................................................................................................49 5.4 線上閱卷.......................................................................................................................52 5.4.1 閱卷登入 ..............................................................................................................52 V.

(8) 5.4.2 人工閱卷 ..............................................................................................................54 5.5 試題特性範例分析.......................................................................................................56 5.5.1 試題特徵曲線（ICC）與試題訊息曲線（IIC）範例呈現 ..............................56 5.5.2 全部試題之 ICC、IIC、TIC 範例綜合比較 ......................................................56 5.6 成績查詢.......................................................................................................................58 5.6.1 查詢登入 ..............................................................................................................58 5.6.2 成績查詢 ..............................................................................................................59 六、結論與未來展望 ............................................................................................................62 6.1 結論...............................................................................................................................62 6.2 未來展望 .......................................................................................................................62 參考文獻 ..................................................................................................................................63. VI.

(9) 表目錄表1 表2 表3 表4. 國內英語檢定比較表 .......................................................................................................7 多媒體與傳統試題之呈現方式比較表 ...........................................................................9 多媒體試題製作工具比較表 .........................................................................................14 多媒體網路評量系統比較表 .........................................................................................16. VII.

(10) 圖目錄圖 1 試題特徵曲線圖 ...............................................................................................................3 圖 2 試題訊息曲線圖 ...............................................................................................................3 圖 3 測驗訊息曲線圖 ...............................................................................................................3 圖 4 英語作文錯誤檢查系統 .................................................................................................12 圖 5 系統架構圖 .....................................................................................................................19 圖 6 命題手內容置換示例圖 .................................................................................................20 圖 7 命題手試題上傳流程圖 .................................................................................................20 圖 8 組卷流程圖 .....................................................................................................................21 圖 9 測驗流程圖 .....................................................................................................................22 圖 10 成績查詢流程圖 ...........................................................................................................22 圖 11 閱卷流程圖 ...................................................................................................................23 圖 12 命題手上傳試題整合流程 ...........................................................................................24 圖 13 組卷模組整合架構 .......................................................................................................26 圖 14 整合前與整合後組卷系統功能介面比較 ...................................................................26 圖 15 聽、讀類閱卷整合架構 ...............................................................................................27 圖 16 說類閱卷整合架構 .......................................................................................................27 圖 17 說類閱卷整合架構 .......................................................................................................29 圖 18 閱卷系統操作流程 .......................................................................................................30 圖 19 聽、讀類成績查詢整合架構 .......................................................................................31 圖 20 說類成績查詢整合架構 ...............................................................................................31 圖 21 寫類成績查詢整合架構 ...............................................................................................32 圖 22 成績查詢系統操作流程 ...............................................................................................33 圖 23 聽力試題製作前 ...........................................................................................................34 圖 24 演員素材置換 ...............................................................................................................34 圖 25 聽力試題製作後 ...........................................................................................................35 圖 26 選擇上傳平台 ...............................................................................................................35 圖 27 設定聽力試題資訊 .......................................................................................................35 圖 28 上傳等待訊息 ...............................................................................................................36 圖 29 聽力預覽作答網頁 .......................................................................................................36 圖 30 閱讀試題製作前 ............................................................................................................36 圖 31 閱讀試題製作後 ............................................................................................................37 圖 32 選擇上傳平台 ...............................................................................................................37 圖 33 設定閱讀試題資訊 .......................................................................................................37 圖 34 上傳等待訊息 ...............................................................................................................38. VIII.

(11) 圖 35 圖 36 圖 37 圖 38 圖 39 圖 40 圖 41 圖 42 圖 43 圖 44 圖 45 圖 46 圖 47 圖 48. 閱讀預覽作答網頁 .......................................................................................................38 口說試題製作前 ...........................................................................................................38 聲音演員素材置換 .......................................................................................................39 口說試題製作後 ...........................................................................................................39 選擇上傳平台 ...............................................................................................................39 設定口說試題資訊 .......................................................................................................40 上傳等待訊息 ...............................................................................................................40 口說預覽作答網頁 .......................................................................................................40 寫作試題製作前 ...........................................................................................................41 圖片演員素材置換 .......................................................................................................41 寫作試題製作後 ...........................................................................................................42 選擇上傳平台 ...............................................................................................................42 設定寫作試題資訊 .......................................................................................................42 上傳等待訊息 ...............................................................................................................43. 圖 49 圖 50 圖 51 圖 52 圖 53 圖 54 圖 55 圖 56 圖 57 圖 58 圖 59 圖 60 圖 61 圖 62 圖 63 圖 64 圖 65 圖 66 圖 67 圖 68 圖 69 圖 70 圖 71 圖 72. 寫作預覽作答網頁 .......................................................................................................43 建立空白試卷 ...............................................................................................................44 手動選定挑選試題 .......................................................................................................44 依類型隨機挑選試題 ...................................................................................................45 依試題呈現挑選試題（一） .......................................................................................45 依試題呈現挑選試題（二） .......................................................................................46 依試題呈現挑選試題（三） .......................................................................................46 依重複度挑選試題（一） ...........................................................................................47 依重複度挑選試題（二） ...........................................................................................47 依重複度挑選試題（三） ...........................................................................................48 測驗選項 .......................................................................................................................48 一般測驗登入畫面 .......................................................................................................49 試卷題型、等級選擇 ...................................................................................................49 聽力測驗範例 ...............................................................................................................49 統計作答題數 ...............................................................................................................50 閱讀測驗範例 ...............................................................................................................50 口語測驗範例 ...............................................................................................................51 錄音元件 .......................................................................................................................51 寫作測驗範例 ...............................................................................................................52 閱卷選項登入 ...............................................................................................................52 帳密認證 .......................................................................................................................53 （人工）閱卷系統 .......................................................................................................53 試卷列表 .......................................................................................................................53 考生答案卷 ...................................................................................................................54. IX.

(12) 圖 73 口說測驗閱卷 ...............................................................................................................54 圖 74 寫作測驗閱卷 ...............................................................................................................55 圖 75 閱卷完成 .......................................................................................................................55 圖 76 ICC 與 IIC 曲線圖 .........................................................................................................56 圖 77 全部試題的 ICC、IIC 比較圖 .....................................................................................57 圖 78 測驗訊息曲線圖（TIC）.............................................................................................57 圖 79 成績查詢登入 ...............................................................................................................58 圖 80 帳密認證 .......................................................................................................................58 圖 81 成績查詢 .......................................................................................................................59 圖 82 聽力、閱讀類成績查詢 ...............................................................................................59 圖 83 口說類明細查詢 ...........................................................................................................60 圖 84 寫作類明細查詢 ...........................................................................................................60. X.

(13) 一、緒論 1.1 研究背景隨著電腦科技的快速進步，電腦輔助教學也漸漸形成一股趨勢，相對於傳統的教學方式電腦輔助教學優異的多媒體能力，使得教學內容更加的豐富與多元化。而在教學過程中不可或缺的就是測驗與評量，透過測驗與評量的方式可以反應出學生了解學習內容的程度與狀況，方便教師掌握學生的學習狀況並加以調整以增加學習的效果。而測驗的難易度與學生能力的鑑別度有很大的關係，如何設計測驗與評量的內容，使其適合學生的程度達到最高的學生能力鑑別度，也就是所謂的適性測驗，往往需依賴教師多年的經驗累積與專業的判斷，才能有效的鑑別學生程度。由於電腦其可容納大量的資料儲存及擁有強大的快速運算能力特性，使得適性測驗所需的大量測驗試題與難易度的分類更加容易的實現，不僅可以有效節省人力與時間，更可以準確的鑑別學生的能力。因此電腦適性測驗也逐漸的受到大家的重視，而近年來伴隨著網際網路的蓬勃發展與日益普及的高速頻寬，網路評量系統更成為了目前最炙手可熱的研究發展方向。網路評量系統其主要優勢有下列幾點[1]: (a). 節省大量人力與時間-透過標準化的系統管理，減少人工資料輸入、檔案管理、測驗結果輸出與分送的時間。 (b). 節省大量軟硬體成本-與傳統電腦評量系統相較，其不需建置大量電腦主機與安裝評量系統。 (c). 即時互動的能力-測驗完成後，系統可直接批改測驗成績，受測者可立即獲得測驗結果。 (d). 測驗評量的便利性-透過網路的測驗，受測者只要有網路就可以隨時進行測驗，不需受限時間與地點，擁有更佳便利性。 (e). 多樣化數據與資料的分析-透過資料庫收集各種數據資料，測驗發展者可進行多樣化的分析研究，維護與增進評量工具的品質。 (f). 多媒體的處理能力-透過電腦化的測驗，許多傳統無法用文字表達測驗的方式，將可利用多媒體影片或聲音的方式達成。由於世界地球村的形成，如何促進國際化與培養國際觀，此時語文能力就變的相當重要了，而語文學習不外乎聽、讀、說、寫四大方面，然而傳統紙筆測驗方式對於讀與寫方面雖然遊刃有餘，但對於聽與說方面的測驗評量就顯得力不從心了，而透過電腦的網路多媒體能力結合評量系統，正好可以解決傳統測驗評量的不足之處，加強語文學習的成效，也是目前網路評量系統最熱門的研究方向。. 1.

(14) 1.2 研究動機與目標由於傳統紙筆測試受時間、地點的限制，加上網路技術與建設的成熟，使得網路數位學習的發展已是潮流，而且多媒體試題較傳統試題更能表達題意[2]，再加上人類對於圖像、影片的接受度高，因此學習效果會比傳統試題來的好，這也是為什麼近年來圖像式英語單字教學如此受歡迎的原因。雖然目前國內外已經有許多不錯的英語文能力網路評量系統，而現有網路評量系統的功能主要可分為試題編輯、組卷、檢測、閱卷、成績查詢等，然而少有系統平台可以將以上功能做完善統整，而且目前現有網路評量系統都是針對特殊測驗目的而設計之系統。本研究主要是利用既有的各系統功能，來設計與製作一個從多媒體試題製作、組卷、檢測、適性化分析、閱卷與成績查詢的完整多媒體英語文能力網路評量系統，而該系統可以廣泛的適用在多方面測驗，如此讓原本各自獨立運作的系統彼此分工合作，以提供更多的服務。. 1.3 研究方法與步驟本研究為了建置一個完整的多媒體英語文能力網路評量系統，將分成以下幾個步驟來進行： 1.分析目前現有系統的架構：目前已有許多關於英語檢定方面的系統，而各系統由於測驗目的不同，所以系統著重的部份也就不同，分別歸納其各系統優缺點。 2.分析系統的需求：依據系統的架構基礎，探討出本系統的需求分析，依需求分析結果選出符合的系統作為系統整合模組基礎。 3.整合規劃流程：選定欲整合的系統模組之後，接下來就是規劃使用什麼程式語法與方法來將選定的系統做整合，思考即將遇到之困難與提出解決方法。 4.系統整合、實現與測試：依系統規劃流程與方法，選定所需的開發工具，每當完成一子系統的整合，必需做測試及驗證是否達成規劃流程的結果，如此一直重複實作與驗證，直到達成本研究欲整合與實現的系統。. 2.

(15) 1.4 名詞解釋 1.試題反應理論(Item Response Theory，IRT) 以機率來解釋考生能力與試題反應間的關係，評估學習者的潛在特質（能力）範圍。 2.試題特徵曲線(Item Characteristic Curve，ICC) 用來解釋考生的表現情形與潛在特質間的關係曲線圖，如圖 1 所示：. 圖 1 試題特徵曲線圖 3.試題訊息曲線(Item Information Curve，IIC) 用來解釋試題與考生潛在特質間的關係曲線圖，可作為試題優劣的一個判定法則，如圖 2 所示：. 圖 2 試題訊息曲線圖 4.測驗訊息曲線(Test Information Curve，TIC) 將所各施測試題在相同能力值上的試題訊息總和曲線圖，如圖 3 所示：. 圖 3 測驗訊息曲線圖 5.語料庫為特定目的或原則收集的語言或文字的資料庫。. 3.

(16) 1.5 章節概要本研究主要分成七個章節，依序如下：第一章敘述本研究的研究背景、動機、目的，以及研究的方法與步驟。第二章闡述目前國內英語檢測系統與電腦化概述，列舉目前常用的試題製作工具分析其優點，最後概述本研究整合系統之主要特點。第三章依需求與第二章現有系統提出系統架構，然後依編題者（命題手）、組卷者、受測者及閱卷者詳述各類使用者之系統流程，最後闡述本研究欲整合實現之多媒體英語文能力網路評量系統之系統模組圖，如何將各子系統整合搭配運作。第四章本章依據第三章分析整理出本研究需系統整合與實現部份：一、命題手上傳多媒體試題至網路評量系統。二、將莊明坤學長的依試題呈現組卷模組與依重複度組卷模組整合至組卷系統。三、整合實現一個能對聽、讀、說、寫類試題之閱卷系統，而寫類閱卷是整合顏佐宇學長的英語作文錯誤檢查系統來實現寫作閱卷。四、實作一個可以讓學生查詢詳細資訊的成績查詢系統，闡述該四部分詳細整合過程。第五章應用範例展示聽、讀、說、寫各類型試題之試題製作、組卷、測驗、閱卷及成績查詢，英語文能力網路檢定系統之完整解決方法（total solution）。第六章說明本研究之研究整合實現結果與達成研究目的，及未來展望。. 4.

(17) 二、文獻探討文獻探討本章共分五節，分別為(2.1)英語檢測相關探討(2.2)各類電腦化測驗(2.3)多媒體試題呈現方式（2.4）多媒體試題之製作工具（2.5）整合系統介紹。. 2.1 英語檢測相關探討本節將探討近年來較受重視之五項英語檢測-TOEIC、TOEFL、IELTS、GEPT、NETPAW。 1. 國際溝通英語測驗(TOEIC，Test of English for International Communication) TOEIC 測驗主要是評量母語非英語人員所設計之英語能力測驗，測驗結果顯示測驗者在國際職場環境中與他人以英語溝通的熟稔程度。參加 TOEIC 測驗毋需具備專業的字彙，因為檢測試題內容都以日常生活英語為主。而該檢測系統由美國教育測驗服務社(ETS，Educational Testing Service)於 1979 年所設計，目前全球有超過四千家企業使用 TOEIC 測驗，受測人數已超過三百五十萬人次應試。目前 TOEIC 測驗方式分成二種測驗-傳統筆試與電腦化測驗，聽力與閱讀測驗是採用傳統紙筆測驗，測驗作答題型是單選題模式，且台灣地區自 2008 年三月份起，採用新 TOEIC 聽力與閱讀測驗的新題型。新 TOEIC 的題型設計主要是以優化考試內容與方法為目的，題型分成七個單元，共計二百題單選題，作答時間兩小時，計分方式依答對題數決定[3]。 2. 托福測驗(TOEFL，Test of English as a Foreign Language) TOEFL「托福」測驗主要是評量母語非英語之學生，為申請進入美、加地區之大學或研究所之語文能力證明，托福測驗是由美國教育服務社(ETS，Educational Testing Service)於 1947 發展，多年來，已成為前往美、加就學之語文能力證明。 TOEFL ITP(Institutional Testing Program)是以紙筆方式進行測驗，分聽力及閱讀二部份，內容分成聽力測驗 50 題約 35 分鐘、文法結構 40 題 25 分鐘、閱讀測驗 50 題 55 分鐘，而計分公式以三部份級數之和 × 10 ÷ 3 = 實際所得總分[4]。 TOEFL iBT(Internet-based Test)是以網路電腦化測驗實行，分閱讀、聽力、口說及寫作等四項測驗，每項分數 30 分，閱讀測驗約有 3-5 篇文章，作答時間約 60-100 分鐘；聽力測驗約講演 4-6 篇，對話 2-3 段，作答時間約 60-90 分鐘；口說測驗共 6 題，作答時間 20 分鐘；寫作測驗寫 2 篇文章，作答時間 50 分鐘[5]。 3. 國際英語測驗(IELTS，International English Language Testing System) IELTS 原本為英國當局特別針對留學生而設計的英語能力檢測，自 1990 年開始改稱 IELTS(International English Language Testing System)，評量受測者. 5.

(18) 在專業範疇內具備之英語能力，IELTS 測驗是由澳洲大學聯盟(IDP Education Australia)、英國文化協會(British Council)、以及劍橋大學測試中心(UCLES) 共同舉辦，由 UCLES 統籌管理，在台灣則由澳洲大學聯盟和英國教育文化部負責。目前 IELTS 測驗方式仍採用紙筆測驗模式進行測驗，測驗類型分聽、說、讀、寫四大類，聽力與口說不分組，而聽力測驗約 40 題作，作答時間 30 分鐘，口說測驗由口試官與考生進行一對一的口試方式進行測驗，測驗時間 10-15 分鐘；閱讀與寫作分 Academic 和 General Training 兩組，Academic 適用申請正式課程者，例如研究所、大學、專科學校或特別要求此組別者，General Training 適用申請紐澳移民者及欲申請學校有特別要求此組別者。閱讀測驗題型有填空、選擇、問答、配合等四種類型，測驗時間 60 分鐘，而寫作測驗要求受測者在 60 分鐘內，寫出兩篇作文寫作[6]。 4. 全民英語檢定(GEPT，General English Proficiency Test) 全民英語能力分級檢定測驗由教育部核准財團法人語言訓練測驗中心 (LTTC，The Language Training & Testing Center)辦理，至 2007 年總報考人數已逾 260 萬人次，測驗共分初級、中級、中高級、高級及優級等五等級，各級測驗皆有訂定其能力標準與適合報考對象。全民英語檢定的檢測對象為一般民眾皆可檢測，主要測驗目的是評量個人英語能力，因此試題類型與難易度不侷限在特定方面。目前測驗方式仍採用紙筆測驗模式進行測驗，而測驗類型分初試的閱讀、聽力與複試的口說、寫作測驗，閱讀與聽力的測驗題型是選擇題方式，寫作與口說的測驗題型有單句寫作、朗讀短文[7]。 5. 全民網路英語能力檢定(NETPAW，National English Test in Proficiency for All on the Web) 全民網路英語能力檢定為教育部配合行政院「挑戰 2008 年－國家發展重點計劃」，專案補助中華民國多媒體英語文教學學會(ROCMELIA，R.O.C Multimedia English Learning and Instruction Association)所研發，報名人數已逾兩萬人，測驗共分入門級、基礎級、初級、中級及中高級等五等級。全民網路英語能力檢定的檢測對象為小學以上各級學校及社會大眾，主要測驗目的是評量個人英語能力，因此試題類型與難易度不侷限在特定方面。測驗方式是採用網路電腦化測驗模式進行測驗，而測驗類型分初試的閱讀、聽力與複試的口說、寫作測驗，閱讀與聽力的測驗題型是選擇題，寫作與口說的測驗題型有單句寫作、朗讀短文[8]。將以上各英語檢定依測驗目的、項目、方式及題型等整理成如表 1，由表 1 可以得知目前擁有電腦化測驗的有：國際溝通英語測驗(口說、寫作)、TOEFL iBT 與全民網路英語能力檢定。. 6.

(19) 表 1 國內英語檢定比較表測驗名稱測驗目的. 測驗項目. TOEIC. 測驗方式. 測驗題型. 評量受測者在國際閱讀、聽力職場環境中與他人國際溝通以英語溝通的熟稔口說、寫作英語測驗程度. 傳統紙筆測單選題驗耳機麥克風 (口電腦化測驗說測驗)及鍵盤 (寫作測驗). TOEFL. 1.全球測驗單選題方式有紙筆口說錄音與電腦化. 托福. 評量母語非英語者閱讀、聽力之英語能力，主要為申請進入美加地口說、寫作區之大學或研究所之學生的語文能力證明. 2.台灣地區插入文句作文等以電腦化為測驗方式. IELTS 評量學生在專業範聽、說(不分組) 傳統紙筆測國際英語疇內具備之英語能讀、寫(分驗測驗力 Academic 及 General Training 兩組). 填空、選擇、問答、配合、作文及口試 (口試是由口試官與考生進行一對一的口試。). GEPT. 國內評量個人英語初試(閱讀、聽傳統紙筆測選擇題能力之工具力) 驗單句寫作、朗讀全民英語複試(口說、寫短文等檢定作) NETPAW. 國內評量個人英語初試(閱讀、聽電腦化測驗選擇題能力之工具力) 單句寫作、朗讀全民網路複試(口說、寫短文等英語能力作) 檢定. 2.2 各類電腦化測驗電腦化的分類有許多分類法[9][10][11]，然而我們依電腦化應用面來分類的話，大致可分為以下幾種類型: 1. 試題產生電腦化使用電腦來產生測驗題目是一個比較新的議題，主要我們必須給電腦影響試題難易度的特徵參數，再依需求的不同，使用不同的特徵參數組合，如此產生試 7.

(20) 題。但是由於影響試題難易度的因素太多且複雜，所以電腦化產生的試題通常需要再做修飾，也因為如此很難對試題的難易度作有效的預測與控制。 2. 電腦化適性測驗適性測驗除了可以應用在試題產生、施測、計分等過程外，也可以利用其電腦的計算速度的特性，依受測者作答紀錄估算其能力值，並依能力值挑選出適合受測者能力的試題讓他作答，此即為電腦化適性測驗。適性化測驗較傳統筆試其優點在於挑出試題較適合受測者，而且施測題數只要傳統筆試測驗的一半，故可以節省時間，但又不會降低受測者的能力評估準確度[12]。目前國內在這方面的研究已相當成熟，較著名的電腦化適性測驗有 TOEFL、GRE、GMAT 等。 3. 計分與評分電腦化評分是最早電腦化的項目，早在許久之前大學聯考就已經使用讀卡機來進行閱卷，但只能針對選擇題與是非題進行閱卷；然而現在已經發展到可以對申論題、短文與作文寫作進行閱卷，例如: 台灣師範大學心理與教育測驗研究發展中心與交通大學資訊工程系智慧型系統實驗室共同研發的「中文寫作自動化評分系統 (ACES)」[13]，而英語作文閱卷就以托福的寫作測驗評分系統為代表，優點是可以很快的知道測驗結果，並降低人工批閱所產生的不一致性。由以上相關研究可知電腦化其優點，但電腦化仍面對到許多困難與限制，而主要的限制為硬體設備與使用者的電腦操作能力問題，但由於資訊科技的發達，使得這些限制漸已不存在，因此在講求效率與便利性的今日，電腦化測驗已是潮流，再配合網路技術與建設的成熟，造就網路電腦化測驗的發展。. 2.3 多媒體試題呈現方式多媒體試題依撰[14]的研究可分成：（1）題目情境描述（2）問題描述（3）答案選項描述。然而傳統試題只能夠用靜態文字與圖片來呈現此三部份。以下分別由題目、問題及答案三方面來探討多媒體試題呈現方式：（1）題目情境（Stimulus）：一個試題的題目情境有以下幾種：文字、圖片、聲音、影片、文字加圖片、文字加聲音、圖片加聲音、圖片加影片、文字加圖片加聲音這些組合，如此讓多媒體題目情境呈現多樣化。（2）問題（Question）：問題呈現方面有文字、聲音、文字加聲音三種組合。. 8.

(21) （3）答案（Answer）：答案的呈現方面可分成三大類:選擇題、文字輸入及聲音輸入，選擇題的答案呈現方式就是一些選項，因此呈現方式可能為文字、圖片、聲音、文字加圖片、文字加聲音、聲音加圖片及文字加聲音加圖片；文字輸入的答案呈現方式以文字敘述請受測者輸入文字；聲音輸入的答案呈現方式以文字敘述請受測者使用麥克風進行錄音作答。茲將以上多媒體試題與傳統試題之呈現方法，依題目情境、問題與答案等整理如表 2：表 2 多媒體與傳統試題之呈現方式比較表多媒體試題. 傳統試題. 題目情境. 文字、圖片、聲音、影片、靜態文字與靜態圖文字加圖片、文字加聲音、片圖片加聲音、圖片加影片、文字加圖片加聲音. 問題. 文字、聲音、文字加聲音. 答案. 靜態文字與靜態圖片. 選擇題. 文字、圖片、聲音、文字加靜態文字與靜態圖圖片、文字加聲音、聲音加片圖片及文字加聲音加圖片. 文字輸入. 文字敘述請受測者輸入文字. 文字敘述請受測者手寫作答. 聲音輸入. 文字敘述請受測者使用麥克風進行錄音作答. 文字敘述請受測者使用錄音產品錄音. 由以上分析可以得知多媒體試題呈現較傳統試題豐富，而且受測者對於多媒體試題接受度較高[2]，因此發展多媒體試題勢在必行。然而發展多媒體試題最大的難題是內容的取得與試題製作工具；內容的部份將由專業人士提供，而試題製作工具下一節將介紹目前常見常用的工具。. 2.4 2.4 多媒體試題之製作工具多媒體試題之製作工具隨著科技的發達，試題不再侷限於靜態文字與圖片的呈現，目前試題的呈現包含圖片、聲音、影像及動畫的結合，使得試題呈現生動且多樣化。目前現有不錯的試題製作工具種類繁多，然而各產品皆有其優點，以下舉出一些常見的試題製作工具：. 9.

(22) 1.. Microsoft PowerPoint 2007: PowerPoint 是由微軟(Microsoft)公司研發製作的軟體工具，主要是利用在簡報製作，也是目前最常見的軟體，幾乎是 Windows 作業系統機種必安裝軟體。PowerPoint 支援文字、圖片、影音、動畫…等，操作簡單沒有電腦基礎也會使用，且可以轉成網頁格式播放，但尚未提供試題製作樣版，如此導致類似的試題需重覆編制浪費時間。 2.. Microsoft Visual Basic 2008 Visual Basic 由微軟(Microsoft)公司研發的圖形視窗開發工具軟體，以物件導向觀念的程式，支援文字、圖片、影音等，但需撰寫程式的一個開發工具，所以對使用者電腦能力要求很高，因此對一般沒有程式經驗之使用者來說難度很高。 3.. Adobe Director 11 Director 原是由 Macromedia 公司開發的軟體，但自 2005 年被 Adobe 併購後， Macromedia 從此更名為 Adobe，Macromedia 旗下的產品名稱亦改成 Adobe 取代。 Director 支援文字、圖片、影音、互動遊戲、向量繪圖…等，是使用時間軸的概念，且提供網頁格式，但需使用者撰寫程式，因此電腦能力要求很高。 4.. Adobe Flash CS3 Flash 同樣是由 Macromedia 公司開發的軟體，現在名稱亦改成 Adobe 取代。Flash 一樣支援文字、圖片、影音、互動遊戲、向量繪圖…等，和 Director 最大的功能差別在於 Director 有支援 Native device control(joysticks，disk access etc.)，因此該軟體也需使用者撰寫程式、電腦能力要求高。 5. 命題手 1.0 命題手是由智勝國際科技公司發展的樣版式多媒體製作工具，使用者毋須具備電腦基礎，且支援文字、圖片、影音，雖無提供互動編輯功能，但使用者只需選定一個樣版，然後重覆做置換動作即可產生多媒體試題，因此使用者毋需撰寫程式，是一個簡單易學易用的製作工具。由以上分析可得知此 5 個工具，有些提供強大的編輯功能，但需使用者撰寫程式，花費更多的時間；有些功能性不強，但是提供樣版化的設計，讓使用者可以容易的製作出試題，那是否選擇擁有強大編輯功能的製作工具最佳?應該依使用者需求來選定適合工具，並非功能越強大就越好。. 10.

(23) 2.5 整合系統介紹 2.5.1 英語文能力檢定暨適性化網路評量系統（由實驗室黃吉楠學長開發）學長開發）該評量系統主要特色是符合聽、讀、說、寫能力檢測，並以多媒體試題呈現之，而且統整不同的 IRT 分析器進行適性測驗，適性化分析試題參數可隨不同樣本數作動態調整，且以視覺化圖形曲線呈現試題特徵曲線[12]。電腦適性化測驗主要特色就是可以隨測驗者能力值的不同，選擇適合的測驗試題，比傳統方法使用更少試題，但可更準確的達到測驗目的，不會因試題太難或太簡單而測驗效果不佳。所以電腦適性化測驗可謂因材施教，為個人量身訂做符合個人程度的測驗，因此電腦適性化測驗是種趨勢。. 2.5.2 控制試卷間試題重複度的選擇策略（由實驗室莊明坤學長開發）開發）該選題策略主要特色是在有限的試題庫，控制試卷間試題重複度以組成多份試卷。使有限的試題庫，發揮最大的效用，系統是應用貪婪演算法來達成。由於應用貪婪演算法於選題策略，可找出一份和目標訊息量誤差更小的試卷，如此該系統可以產生多份和測驗目標訊息量誤差更少的試卷，適用於類似全民網路英檢多地同時檢測之情況[15]。. 2.5.3 以 CLEC 語料庫為基準之英語作文錯誤檢查系統（語料庫為基準之英語作文錯誤檢查系統（由實驗室顏佐宇學長開發）室顏佐宇學長開發）該系統是以 CLEC(Chinese Learner English Corpus)語料庫[16]的文法分類，設計建立標準一致的作文錯誤檢查系統，系統特色在於可以將英語作文之拼字錯誤、文法錯誤、文不對題的情況標示出來，即時回饋給學習者[17]。讓學習者可以迅速的得知錯誤情形，達到自我學習。. 11.

(24) 圖 4 主要分成原句列表、錯誤統計、拼字錯誤、文法錯誤及評分選項五個部份，系統將拼字錯誤或文法錯誤的部份使用紅色加底線標示，同時顯示拼字建議字或文法錯誤說明於後方，即時回饋給使用者。. 圖 4 英語作文錯誤檢查系統. 12.

(25) 三、系統需求系統需求、需求、分析與設計分析與設計本章將針對一個完整的多媒體英語文能力網路評量系統，提出的各系統進行分析比較，逐步建立需求分析，分別提出系統架構與系統模組設計，最後以四種使用者角度來設計系統流程。. 3.1 完整多媒體網路完整多媒體網路評量系統需求分析多媒體網路評量系統需求分析目前現有英檢系統繁多，然而測驗目的不同導致系統設計理念不同，因此各系統可說是專為單一特殊測驗目的而設計，以下將探討一般大眾化之檢測系統需求，建置一個完整的多媒體英語文能力網路評量系統至少須包含以下系統： (1) 多媒體試題製作工具英語檢測系統最重要的部份就是試題，然而試題產生方法眾多，如果可以提供一個簡單、易學、好用的製題工具，方便出題老師製作出內容多樣化的多媒體試題，那將會是不錯的想法。 (2) 組卷系統測驗試卷的組成，往往需依賴教師多年的經驗累積與專業的判斷，因此一個良好的組卷系統應該提供不錯的組卷策略，如此能在有限的試題及確保公平性之下組成最多的試卷，讓有限資源發揮最大效用。 (3) 適性化網路多媒體評量系統一個網路評量系統如果只是單純做測驗，無法從受測者作答紀錄分析出適合該受測者的測驗題目，那可能導致受測者覺得題目太簡單或是太難，以致於學習效果不佳。而電腦化適性測驗可以專為個人量身訂做符合個人程度的測驗，且只需傳統紙筆測驗一半左右的施測時間，更可以達到精確估計考生能力或某種潛在特質的目的[18]。 (4) 閱卷系統檢測完成後，接下來的問題就是閱卷，然而閱卷分成電腦化閱卷及人工閱卷，人工閱卷最大的問題就是金錢耗費多，而電腦化閱卷最大的問題是系統如何設計建置。至於現有閱卷系統大部分只能處理選擇題的部份，然而寫作類的作答仍需閱卷老師逐字的檢查是否有拼字錯誤或是文法錯誤，導致閱卷效率不佳也產生許多不一致性的問題。. 13.

(26) (5) 成績查詢系統雖然目前許多英語文能力檢測都提供成績查詢系統給考生查詢成績，但他們都是獨立的系統，一方面導致學生不知道去哪查詢成績；另一方面要等待閱卷老師閱卷完成再一一登入考生成績後，考生才可以上網查詢成績，造成額外時間上的等待。. 3.2 3.2 子系統分析比較由 3.1 節分析，可以得知建置一個完整評量系統至少需：多媒體試題製作工具、組卷系統、適性化網路多媒體評量系統、閱卷系統、成績查詢系統等，知道我們的需求後，首先要考慮是否重新打造此五子系統？答案是否定的，因為現有各子系統皆有一定的水準，重新設計各子系統未必能超越現有系統，因此以下將比較分析，挑選出與我們需求最接近的相關系統來整合實現。. 3.2.1 多媒體試題製作工具比較先前 2.4 節我們已經介紹許多媒體試題製作工具，茲將整理成表 3：表 3 多媒體試題製作工具比較表工具 Microsoft Microsoft Adobe Adobe 智勝國際 PowerPoint Visual Director Flash CS3 命題手項目 2007 Basic 2008 11 1.0 支援文有字、圖片、影音. 有. 有. 有. 有. 多媒體試無需撰寫程需撰寫程式需撰寫程需撰寫程無需撰寫程題製作方式碼碼式碼式碼式碼式轉成網頁有格式. 無. 有. 有. 有. 樣版化. 無. 無. 無. 有. 無. 表 3 以支援文字、圖片、影音、電腦基礎…等整理成表格，至於選定哪一個工具當做製題工具，必須考慮編題者的背景，一般編題者是語言背景人員，因此依該背景列出以下選擇工具考慮因素： 1. 工具操作簡單、易學：一個工具（軟體）操作簡單、易學可以增加使用者的使用意願，反之則會降低使用者意願。. 14.

(27) 2. 毋須撰寫程式：如果試題製作工具需撰寫程式，然而大部分語言相關背景人員對於程式撰寫不熟析，因此對使用者而言門檻較高。 3. 樣版化：多媒體試題製作最耗時在於素材的取得，因此常常為了找出合適的素材就已花費很多時間，如果製題工具可以提供樣版化套用，那可以減輕製題者負擔。依上述考慮因素本研究選擇智勝國際的命題手作為製題工具，雖然命題手編輯功能無法與 Microsoft Visual Basic、Adobe Director、Adobe Flash 相提並論，但命題手提供樣版化且毋須撰寫程式，可以讓製題者更容易製作出多媒體試題。. 3.2.2 組卷系統之組卷策略比較選題策略之研究，在 1985 年，R.K. Hambleton 和 H. Swaminathan[19]的研究中提到以下傳統選題策略：亂數法、標準法、中間難度法、上下法、最大訊息法，及後來國內外學者應用各演算法而設計出的選題策略，例如：使用貪婪演算法[20]的選題策略，利用基因演算法[21]；改良式之灰色預測電腦化適性測驗選題測驗[22]；其他特殊用途的選題策略[23]。以上應用各演算法而設計的選題策略，皆提出比傳統選題策略能組合一份更接近目標訊息的試卷，但系統欲建立的組卷系統，希望能同時產生多份品質相近的試卷特性，以下介紹可以符合需求之選題策略-「控制試卷間試題重複度的選擇策略」由本實驗室莊明坤學長開發[15]，該策略以等差數列方式，運用貪婪演算法為基礎，使系統能在有限的試題庫，控制試題的重複度產生品質相近的多份試卷，如此可以適用於類似全民網路英檢多地同時的檢測系統，但因以等差數列方式來組合試卷，所以執行運算時間較長。控制試卷間試題重複度的選擇策略，因是以等差數列方式，所以運算時間較長，但可利用有限題庫，同時產生多份試卷，符合本子系統之需求，並且是應用貪婪演算法為基礎，因此會比傳統選題策略能更接近測驗目的，所以本研究組卷系統選用控制試卷間試題重複度的選擇策略作為組卷策略。. 3.2.3 多媒體網路評量系統比較先前 2.1 節我們已介紹目前較受重視的英語檢測系統，得知電腦化測驗有國際溝通英語測驗(口說、寫作)、TOEFL iBT 與全民網路英語能力檢定，但皆未有適性化測驗，然而適性化測驗可以因材施教讓受測者得到更佳的學習效果，因此適性化測驗是. 15.

(28) 種趨勢。茲將先前 2.5.1 節介紹，由實驗室黃吉楠學長開發的多媒體英語文能力檢定暨適性化網路評量系統與多益（口說、寫作）整理成表 4：表 4 多媒體網路評量系統比較表系統項目. 多媒體英語文能力檢定暨適多益性化網路評量系統[12] (口說、寫作). 支援多媒體試題呈現有. 有. 提供適性值動態調整有. 無. 即時圖示試題特徵曲有線. 無. 提供不同的 IRT 分析有器. 無. 由於電腦化測驗的試題有限，因此如何讓有限試題創造出最大效益是重要的，然而適性測驗施測題數只要傳統筆試測驗的一半，即可達到一樣的學習效果，而且可以依學生程度提供適當難度之試卷進而讓學生學習更有成就，所以本研究評量系統選擇多媒體英語文能力檢定暨適性化網路評量系統作為評量系統。. 3.2.4 閱卷系統比較現有閱卷系統眾多，但大部分系統僅能處理單選題與是非題的閱卷，即使有提供寫作類閱卷之系統，系統也不符合華人的英語使用習慣，因此系統希望建立一個符合華人使用習慣的閱卷系統。由於以 CLEC 語料庫[16]為基準之英語文錯誤檢查系統是個符合華人使用習慣的作文檢查系統，因此本研究欲建立閱卷系統之寫作類閱卷整合以 CLEC 語料庫為基準之英語文錯誤檢查系統，作為寫作類閱卷預示系統。以下將多益(口說、寫作)閱卷系統與本研究欲整合實現閱卷系統比較其優缺點。 . . 多益(口說、寫作)閱卷系統優點：實作簡單。優點缺點：寫作須由閱卷老師逐字檢查閱卷。缺點本研究欲整合實現之閱卷系統優點：寫作類閱卷整合實驗室顏佐宇學長開發(以 CLEC 語料庫為基準來設計實作優點一個英語文錯誤檢查系統)，預先標示出文法錯誤、拼字錯誤、文不對題情況，如 16.

(29) 此可以降低閱卷者的負擔與提升閱卷的一致性。缺點：需提供額外的語料庫。缺點. 3.2.5 3.2.5 成績查詢系統比較現有網路成績查詢系統種類繁多，幾乎各類考試皆有提供網路成績查詢系統給考生即時上網查詢成績，如此考生可以即時得知成績結果，萬一對於成績有問題也可以即時反應節省信件遞送時間差，因此可以得知網路成績查詢系統帶來的便利性，同時可以省去紙張之使用，達到節能減碳之訴求。英語能力測驗主要分成聽、讀、說、寫四類測驗，然而大部分成績查詢系統只能查詢各類測驗成績，甚至於只能查詢總成績，無法查詢各類測驗詳細資訊，如果能提供查詢測驗詳細資訊的成績查詢系統，能讓考生更容易了解學習問題所在。現有各英語成績查詢系統眾多，因此以下僅將目前較具代表的多益與托福成績查詢系統整理其優缺點如下：多益與托福成績查詢系統優點：僅能查詢總成績，因此系統實作簡單。優點缺點：無法查詢聽、讀、說、寫測驗各類詳細資訊。缺點因此本研究欲建立實現一個能提供查詢聽、讀、說、寫測驗詳細資訊的成績查詢系統，如此讓成績查詢系統不只是單純查詢成績而已。. 3.3 系統架構經過先前各子系統的分析比較後，我們依使用者類型繪製出多媒體英語文能力網路評量系統架構圖如圖 5 所示，系統大致分成使用者類型、多媒體英語文能力網路評量系統、資料庫系統與檔案系統四大系統。使用者類型：有閱卷者、組卷者、系統管理者、受測者、編題者（命題手）五種類型使用者。多媒體英語文能力網路評量系統：主要負責試題管理、試題特性分析、組卷、閱卷、成績查詢及測驗流程的控管，舉凡對於資料庫系統及檔案系統任何的存取動作，均需透過網路評量系統做服務，是本研究系統之關鍵所在。主要由多媒體網路評量系統、多媒體試題管理系統、多媒體試題特性分析系統、組卷系統、閱卷系統及成績查詢系統共六大子系統組成： 1.多媒體網路評量系統多媒體網路評量系統： 1. 多媒體網路評量系統：此子系統是由一般測與 IRT 測驗模組組成，主要處理考生測驗相關操作，例如：試卷選取、測驗流程控制、紀錄作答資訊，皆由評量系統控制處理。. 17.

(30) 2.多媒體試題管理系統 2.多媒體試題管理系統：多媒體試題管理系統：此子系統由試題新增編輯模組組成，處理使用命題手上傳試題後的試題管理，包括：試題的編輯、刪除、預覽基本操作，編輯可以修改類型（聽、讀、說、寫）、作答方式、難易等級（Level 1~5）、正確（參考）答案…等。 3.多媒體試題特性分析系統多媒體試題特性分析系統： 3. 多媒體試題特性分析系統：該子系統主要處理試題特性分析，包括：受測者的能力估算及試題參數估算，並立即繪出相關試題特徵曲線，試題訊息曲線等作試題判斷。 4.組卷系統組卷系統： 4. 組卷系統：目前提供隨機命題、依試題呈現、依重複度組卷模組三種組卷法，同時試卷的管理也是由該系統管理，依試題呈現與依重複度組卷模組是由實驗室莊明坤學長開發，由本人整合至組卷系統，使原有組卷系統之組卷策略更豐富。 5.閱卷系統 5.閱卷系統：閱卷系統：閱卷系統分成自動閱卷與人工閱卷，自動閱卷主要處理聽、讀類之試題閱卷，由於聽、讀類試題目前作答方式是選擇題或是非題，因此可以交由電腦自動閱卷比較方便、快速且無異議，然而人工閱卷主要處理說、寫類之試題閱卷，說類閱卷模組主要是將參考錄音檔與考生作答錄音檔列出，讓閱卷老師可以收聽錄音檔然後打分數，而寫類閱卷模組是整合本實驗是顏佐宇學長開發的作文錯誤檢查系統，將考生寫作作答紀錄遞送給作文錯誤檢查系統進行閱卷，作文錯誤檢查系統可以預先標示出文法錯誤、拼字錯誤、文不對題情況，如此可以降低閱卷者的負擔與提升閱卷的一致性。 6.成績查詢系統 6.成績查詢系統：成績查詢系統：處理考生成績與作答詳細查詢，由於聽、讀類試題作答方式是選擇題或是非題，因此作答詳細只需顯示出正確答案與考生答案即可，然而口說類試題需至檔案系統找出參考答案錄音檔與考生作答錄音檔讓考生收聽，至於寫類試題是經由寫類查詢模組處理，該模組是整合修改實驗室顏佐宇學長開發的英語文錯誤檢查系統，然後將結果顯示詳細錯誤與建議給考生觀看。 . 資料庫系統：紀錄學生作答紀錄、試題與試卷詳細、閱卷老師評分紀錄、繪製試題特徵曲線與試題訊息曲線圖資訊…等，即所有記錄資訊均儲存在資料庫系統。檔案系統：負責管理試題實體檔案的上傳存放，再透過多媒體英語文能力網路評量系統將試題詳細資訊紀錄至資料庫系統；或考生作答時如需上傳檔案（如：口說測驗時的作答錄音檔）的上傳存放。. 18.

(31) 圖 5 系統架構圖本研究系統架構設計，特別分成資料庫系統與檔案系統之目的是考慮效能因素，若同時有兩個使用者分別只對資料庫系統與檔案系統作查詢，那如此可以同時服務此兩使用者之服務，反之若資料庫系統與檔案系統是同一系統，則會造成系統疲於奔命處理評量系統之服務要求，導致降低整個英語文能力評量系統之效能。. 3.4 系統流程系統流程本節將以編題者、組卷者、受測者及閱卷者四種類使用者角度，分析討論各類使用者之系統流程詳細，了解各子系統如何與資料庫系統、檔案系統溝通運作。. 3.4.1 3.4.1 編題者（編題者（命題手）命題手）在詳述編題者如何將命題手與多媒體試題管理系統整合之前，我們先詳述命題手如何置換內容，命題手是一個樣版化的製題工具，使用簡易套用機制產生多媒體試題，支援不同級數/題型/及試題呈現方式，使用者只需做簡單的置換動作，即可作出多樣化的多媒體試題，如圖 6 左圖所示，使用者先選定適合欲編制試題類型的樣版，然後只需按滑鼠右鍵點選「置換內容」將新演員置換匯入或輸入新文字，重複置換內容的動作，直到完成所有欲置換的演員，最後即可製作出使用者理想的多媒體試題，因此該工具非常適合無程式基礎或是不想撰寫程式的多媒體製題者使用，圖 6 右圖是試題編製完成結果。. 19.

(32) 已置換成新文字. 欲被置換文字. 欲被置換. 已置換成. 影音. 新影音. 圖 6 命題手內容置換示例圖接下來將詳述試題製作者（編題者）如何利用命題手與多媒體試題管理系統整合，依以下操作步驟進行，如圖 7 所示：步驟一：命題手將編輯完成的試題 Resource File 壓縮成(*.zip)與試題資訊(*.txt) 步驟一使用 FTP 方法上傳此兩檔案至檔案系統，*.txt 是紀錄試題之正確（參考）答案、選擇題或是非題、作者…等資訊。步驟二：上傳完成後，檔案系統會通知多媒體試題管理系統的試題新增編輯模組，將步驟二試題 Resource File(*.zip)解壓縮與試題資訊(*.txt)內容新增紀錄至資料庫系統的資料表 tcool_new，供日後查詢之用。. 多媒體試題管理系統. *.zip *.txt. 命題手. 試題新增編輯模組. 檔案系統. tcool_new … 資料庫系統. 圖 7 命題手試題上傳流程圖. 3.4.2 3.4.2 組卷者組卷者之操作詳細流程，需藉助資料庫系統的資料表 tcool_new、tcool_exam 及 tcool_qus，tcool_new 是紀錄試題相關所有資訊，tcool_exam 是紀錄試卷相關資訊，包括試卷類型（聽、讀、說、寫）、難度等級、試卷名稱…等，tcool_qus 是紀錄 tcool_exam 各試卷包含哪些試題及試題出場順序，依以下操作步驟進行，如圖 8 所示：步驟一：組卷者登入後啟動組卷系統，先新增一份空白試卷且試卷資訊紀錄至資料庫步驟一系統的資料表 tcool_exam。. 20.

(33) 步驟二步驟二：依組卷者選擇組卷策略啟動相對應的組卷模組。步驟三步驟三：組卷模組將會至資料庫系統的資料表 tcool_new 找出符合選題條件的試題進行組卷，完成後將該試卷已組試題紀錄至資料表 tcool_qus，供日後查詢各試卷有哪些試題查詢。. 組卷系統登入. 組卷者. 隨機命題組卷模組依試題呈現組卷模組. tcool_new tcool_exam tcool_qus …. 資料庫系統. 依重複度組卷模組圖 8 組卷流程圖. 3.4.3 受測者本節我們將以受測者角度來詳述操作流程，而受測者有測驗與成績查詢兩種操作，以下將分成測驗及成績查詢各別敘述之。. 3.4.3.1 受測者( 受測者(測驗) 測驗) 受測者進行測驗時之操作流程詳細，需藉助資料庫系統的資料表tcool_exam、 tcool_qus與tcool_test_ans，tcool_test_ans是紀錄考生作答紀錄，包括考生作答答案、分數…等，依以下操作步驟進行，如圖9所示：步驟一：受測者登入後啟動多媒體網路評量系統，然後依測驗者選擇一般測驗或 IRT 步驟一測驗啟動相對應的測驗模組。步驟二步驟二：測驗模組依受測者所選試卷類型（聽、讀、說、寫）與等級(Level 1~5)，就會至資料庫系統的資料表 tcool_exam 隨機挑出一份符合的試卷。步驟三步驟三：依挑出試卷編號至資料表 tcool_qus 查詢該試卷所有試題編號。步驟四步驟四：然後再依試題編號至檔案系統依序找出試題且播放。步驟五步驟五：最後把學生作答資訊，紀錄在資料庫系統的資料表 tcool_test_ans，供日後閱卷老師閱卷之用。. 21.

(34) 登入. 多媒體網路評量系統. tcool_exam tcool_qus tcool_test_ans. 一般測驗模組. 受測者. …. 資料庫系統. IRT測驗模組檔案系統圖 9 測驗流程圖. 3.4.3.2 受測者( 受測者(成績查詢成績查詢) 查詢) 受測者進行成績查詢時之操作流程詳細，需資料庫系統的資料表tcool_test_ans來查詢考生作答紀錄、閱卷明細、參考（正確）答案…等，依以下操作步驟進行，如圖10 所示：步驟一：受測者登入後啟動成績查詢系統，列出該考生所有測驗試題分數。步驟一步驟二步驟二：然後依受測者選擇查看口說類或寫作類詳細分別執行說類查詢模組或寫類查詢模組。步驟三步驟三：若是查詢口說類詳細則會至資料庫系統的資料表 tcool_test_ans 查詢該考生的口說錄音檔案名稱，最後再從檔案系統找出錄音檔。步驟四步驟四：若是查詢寫作類詳細則會至資料庫系統的資料表 tcool_test_ans 查詢該考生的作答紀錄與閱卷老師建議，將此兩筆資料遞送給寫類查詢模組處理，該模組是整合修改實驗室顏佐宇學長開發的英語文錯誤檢查系統，然後將結果顯示給考生觀看。. 成績查詢系統登入受測者. tcool_test_ans …. 聽、讀類查詢模組. 資料庫系統. 說類查詢模組寫類查詢模組. 檔案系統. 圖 10 成績查詢流程圖. 22.

(35) 3.4.4 閱卷者閱卷老師進行閱卷之操作流程詳細，需資料庫系統的資料表tcool_test_ans來查詢考生作答紀錄，將作答紀錄顯示給閱卷老師閱卷，依以下操作步驟進行，如圖11所示：步驟一：閱卷者登入後啟動閱卷系統，依閱卷者選擇欲閱卷考生，至資料庫系統的資步驟一料表 tcool_test_ans 找出該考生的答案卷。步驟二步驟二：然後依欲閱卷試題的分類，啟動相關對應閱卷模組。步驟三步驟三：閱卷完成後把建議、分數存回資料庫系統的資料表 tcool_test_ans，供日後受測者成績查詢之用。. 閱卷系統. 登入閱卷者. 自動閱卷. 聽類閱卷模組讀類閱卷模組. 人工閱卷. tcool_test_ans …. 說類閱卷模組. 資料庫系統. 寫類閱卷模組 (作文錯誤檢查系統). 檔案系統. 圖 11 閱卷流程圖本章依使用者角度分別介紹、分析，各系統模組之操作流程步驟，以及如何與資料庫系統、檔案系統配合，接下來第四章將詳細說明，如何利用現有系統來整合與實現，達到本研究欲實現之英語文能力的完整解決方法。. 23.

(36) 四、系統整合與實現由第三章需求分析，依四種(編題者、組卷者、受測者、閱卷者)使用者角度的系統流程，整理出本研究需要整合與實現部份：使用命題手編製多媒體試題並上傳至網路評量系統的試題庫。將莊明坤學長的依試題呈現組卷模組與依重複度組卷模組整合至組卷系統。整合實現一個能對聽、讀、說、寫類試題之閱卷系統，而寫類閱卷是整合顏佐宇學長的英語作文錯誤檢查系統來實現寫作閱卷。實作一個可以讓學生查詢詳細資訊的成績查詢系統。. 4.1 整合命題手編製多媒體試題整合命題手編製多媒體試題並上傳多媒體試題並上傳編題者使用命題手編輯試題完成後，上傳試題會送一個 Upload messages 告知網路評量系統，評量系統收到訊息後建立一個 TCP socket，將*.zip、*.txt 使用 FTP channel 上傳，上傳完成後解壓縮*.zip 至檔案系統且利用 SQL 語法將題目資訊*.txt 新增至試題資料庫系統的資料表 tcool_new，最後執行 ShowForm（）開啟預覽作答網頁；整合流程如圖 12 所示。. 圖 12 命題手上傳試題整合流程以下是 getFtpFile()即命題手與評量系統溝通的虛擬碼，主要向評量系統請求建立 FTP 連線，然後將試題 Resource File(*.zip)與試題資訊(*.txt)上傳： function getFtpFile($localfile, $remotefile, $act = 1) { // Step1：Upload messages. 24.

(37) // // // //. Step2：Open a TCP socket Step3：上傳檔案(*.zip、*.txt) Step4：Upload finish Step5：Unzip *.zip 至檔案系統且將題目資訊*.txt 新增至試題資料庫系統的資料表 tcool_new // Step6：開啟預覽網頁. } 接下來詳述開啟預覽作答網頁的虛擬碼，主要由試題內容顯示與作答區類型顯示組成，試題內容顯示是至檔案系統找出該試題之檔案然後播放，作答區分成選擇題（單、複選題、是非題）、寫作及口說錄音三種作答方式： function ShowForm($num) { //顯示題目內容 switch (試題類型) { case '聽力測驗': //載入選擇作答按鈕 break; case '閱讀測驗': //載入選擇題作答按鈕 break; case '寫作測驗': //載入作文作答模式 break; case '口語測驗': //載入錄音元件作答按鈕 break; } }. 4.2 整合依試題呈現組卷模組與依重複度組卷模組至組卷系統本節將詳述如何將莊明坤學長開發的依試題呈現組卷模組與依重複度組卷模組，整合至組卷系統，使原有組卷系統能提供更多組卷演算法，如此提升測驗效果且同時讓組卷更豐富多樣化。經過分析後，得知必須在資料庫系統的資料表 tcool_new 新增 classification、 S_type、Q_type、A_type 及 ability 此五個欄位，型態如圖 13 所示，而此五欄位分別紀錄試題領域類別、英語文能力指標、試題呈現方式、答案呈現方式及能力值。且 25.

(38) 須在組卷系統之功能介面函數 CaseAct（）新增兩個組卷選項依試題呈現（HandForm）及依重複度（AbilityForm）。系統整合實現步驟如下： Step 1：新增挑題組卷模組所需要的資料表欄位。 Step 2：將挑題組卷模組與組卷系統的功能介面 CaseAct() 做繫結。 Step 3：重新載入組卷系統，即完成挑題組卷模組之整合。. 圖 13 組卷模組整合架構圖 14 是實際組卷系統整合與實現前、後之功能介面差異比較，可以看見整合後管理項多出依試題呈現命題與依重複度功能鍵，如此即完成組卷策略之整合。. 圖 14 整合前與整合後組卷系統功能介面比較. 26.

(39) 4.3 閱卷系統閱卷系統主要分成自動閱卷、人工閱卷二大類，本系統自動閱卷是由聽、讀類閱卷模組組成，人工閱卷是由說、寫類閱卷模組組成，以下將詳述各模組之整合與實現。. 4.3.1 自動閱卷( 自動閱卷(聽、讀類閱卷模組) 讀類閱卷模組) 由於本系統聽力與閱讀測驗皆是單選題或是非題，因此閱卷模組需分別從資料庫系統的資料表 tcool_new 取得正確（參考）答案，tcool_test_ans 取得考生作答答案，最後做字串比對即可完成閱卷，最後將閱卷分數記錄至資料表的 tcool_test_ans 的分數欄位，供日後考生成績查詢之用。圖 15 是聽、讀類閱卷整合架構圖，主要詳述聽、讀類閱卷模組如何與資料庫系統溝通運作進行閱卷。. 圖 15 聽、讀類閱卷整合架構. 4.3.2 人工閱卷 4.3.2.1 人工閱卷( 人工閱卷(說類閱卷模組) 說類閱卷模組). 圖 16 說類閱卷整合架構. 27.

設計與製作一個英語文能力 多媒體評量系統

設計與製作一個英語文能力多媒體評量系統