• 沒有找到結果。

實驗設計與評估

在文檔中 中 華 大 學 (頁 44-71)

本章主要的目的就是說明實驗的相關項目,包括系統環境與架構、系統的 設計、實驗的設計、實驗的架構以及實驗結果的分析。

4.1、系統環境與架構

本研究的系統架構如圖4-1 所示,主要包含資料庫與伺服器,利用三層式主 從架構,不僅可以方便管理,更可以增加系統穩定度。並且將所有存取題庫的程 式碼都緊密的結合在Server 之中,因此在多名受試者上線受測時,穩定性佳。

圖4-1、線上適性測驗系統架構

在中間的CAT 伺服器可以分成多台同時執行運算與受試者線上作答題目,

主要利用多台伺服器的方式進行整個系統的運作,系統運作時讓受試者或教師隨 機連線到某一台伺服器,使用者(受試者及教師)或是管理者連線後即可從事新增 題目、填答問題及管理使用者資料與題目資料,如此可以減少伺服器的負載,並 且可以減少系統無法正常運作的可能性。

本系統之伺服器端主要可分為兩大部分,(1) CAT Server (Computerized Adaptive Testing server),(2) Database Server。

(1) CAT Server:主要依據受試者答題的結果利用數值的方法經運算初步估 計出受試者可能的能力,然後利用由題庫中選出最符合受試者能力的試題,另外

Database

CAT

Server User

也會依據受試者填寫的答案重新更新受試者的能力估計值,當估計的結果收斂時 即可停止測驗並取得受試者能力估計值。另一方面也會加強檢核受試者身份;並 在施測的過程中系統也會檢測出不尋常的反應組型(例如連續的答對或答錯),

以防止有心人士竊取題庫資料(何榮桂、郭再興、蘇建誠、陳麗如,1999)。而系 統流程主要依據受試者答題狀況評估受測者能力並選擇下一個施測題目,另外也 會判斷是否達到終止測驗的條件來決定是否終止測驗。教師介面可以讓管理者輸 入題庫資料,設計與修改提供受試者作答題目的介面、教師使用介面,另外則是 可以讓管理者輸入學生已經填寫過大型紙筆測驗的試題答案,以方便參數的估計 及了解學生測驗結果或是對測驗結果做統計分析等。

(2) Database Server:主要的功能就是紀錄相關的資料,不管是題庫的資料、

學生的基本資料、學生的答題資料、管理者資料…等等,都會完整的紀錄在 Database Server 中。CAT Server 在每個受測者的每次答題後,都會將答題的資料 存回Database Server 中,然後再重新估算一次受測者的能力,再根據估計的能力 值代入全部的題庫的訊息函數中,找出在此能力下訊息函數最大的題目,當作下 一題的題目,再從Database Server 將題目擷取出來後,傳回 client 給受測者繼續 做下一題的測驗,一直到達到中止條件為止。

4.2、系統介面

系統的主要使用者分為兩大類,第一類是受測者,第二類是施測教師。下 面將依序作介紹與說明。

4.2.1、受測者介面

受測者登入後的主要功能就是做測驗,其他有修改密碼的功能,以及修改 資料的基本功能,還有觀看過去測驗資料的功能,另外還有聯絡管理員的連結。

35

正確才有辦法做修改密碼的動作,修改成功會有修改成功的訊息提示使用者修改 成功了。修改資料的部份可以修改受測者的一些基本資料,像是姓名、系所、年 級的修改,修改成功一樣會有訊息提示。觀看過去測驗資料的功能,可以看到過 去做了幾次測驗,以及每次測驗的時間和能力的估計,為了避免記憶題目跟答 案,所以沒提供每次完整答案跟題目回顧的功能。聯絡管理員則是連結寄信到系 統管理員的信箱。

建立新測驗的部份是系統的主要功能,受測者點選了建立新測驗的連結 後,會開啟一個測驗列表的頁面,受測者可以根據要測驗的項目點選測驗的選 項。目前系統只提供兩種測驗的建立,一個是英語字彙測驗,另一個是傳統英語 字彙測驗,兩者的差別是英語字彙測驗是本論文的主要重心,就是適性化英語測 驗系統,每個受測者的題目及題數都會有所不同,而且會在每題回答後重新估計 受測者的能力,再到題庫內搜尋該能力最適合回答的問題來提供作答;而另一個 選項傳統英語字彙測驗,則是每個受測者看到的題目都是相同的,題目的順序也 都是固定的,目的是要做統計分析,比較適性測驗結果與傳統測驗結果是否具有 一致性。

另外適性化英語測驗題目的數目是,一開始隨機選出三題難度中等的起始 題目,再根據受測者的回答情況跟初步的估計的能力去用最大訊息法選取下一題 的題目,而接下來的題目都是一題一題的,每次都重新估算受測者的能力,一直 到達到中止條件為止,每位受測者作答題數不同;而傳統英語字彙測驗則是每個 頁面都固定是十題題目,回答完十題後會再給予接下來依序的十題題目給受測者 回答,每位受測者的作答題數都是50 題。

以下是受測者部分的系統畫面及簡單的說明:

圖4-2、受測者登入畫面

受測者登入畫面,登入後會有歡迎登入的畫面,並且說明系統主要是實驗 用途,以及系統建置的參與老師的說明,左邊一排是功能列,受測者可以點選想 要用的功能連結,來進行資料修改或實施測驗。

圖4-3、建立新測驗畫面

在受測者點選建立新測驗已後,會列出幾個測驗列表給受測者選擇,目前 系統所提供的測驗只有兩種,一種是英語字彙測驗,是適性化測驗系統;另一個 則是傳統英語字彙測驗,是順序固定的題目,兩者都是用來測驗受測者的英語字

37

圖4-4、做答須知

點選英語字彙測驗(適性測驗)以後會有做答須知的畫面,使受測者了解測驗 的長度,作答的時間限制,以及測驗的題數會有不同,但最多30 題,由於適性 化英語字彙測驗的部分有設定答題的時間,時間上限是40 分鐘,在結束前五分 鐘會跳出視窗提醒受測者。受測者關閉後,點選開始測驗就會繼續進行測驗。

圖4-5、起始測驗畫面

適性化英語字彙測驗的部份,一開始會亂數隨機選取三題難度中等的題目 給受測者進行測驗,然後答完三題後會進行一次受測者能力的估計,再根據這個 估計值去題庫中搜尋訊息函數最大的題目,當下一題的測驗題目。

圖4-6、後續測驗畫面

起始測驗之後的題目都是一題一題提供受測者作答,系統在左上角的部份 會有個倒數計時的計時器,用來堤醒受測者測驗還剩餘多少時間,剩下五分鐘的 時候會跳出視窗提醒,時間結束會自動結束測驗,直接跳到測驗結束畫面,尚在 答題的該題目,將不予採計。

圖4-7、鎖鍵盤功能

系統還有鎖定鍵盤的功能,防止受測者將題目複製下來,功能不是很完善,

沒辦法完全防止有心人士來記錄題目,但能夠防止大部分不懂得破解方法的受測

39

圖4-8、測驗結束畫面

每次測驗結束都會有的畫面,畫面會提供受測者一些訊息,包括本次測驗 的題目總數,由於適性化英語字彙測驗並不是每個受測者都會測驗道題目上限的 30 題,所以會提供測驗題目總數給受測者參考,還有答對題數,答對機率,以 及估計的能力值,讓受測者了解這次的測驗自己的答題是否理想。

圖4-9、傳統英語字彙測驗畫面

在傳統英語字彙測驗的部份,是一次就顯示十題的題目給受測者回答,回 答後會依序再顯示接下來的十題給受測者繼續接受測驗,一直到答完 50 題為 止,而答完後跟適性化英語字彙測驗一樣,會顯示回答了50 題,一共答對幾題,

答對機率為多少。

4.2.2、教師介面

介紹跟說明完受測者介面,接下來就是教師介面的說明:

圖4-10、教師登入畫面

教師登入後一開始的頁面,右邊的框架頁說明系統的建置目的,系統建置 參與的老師是羅家駿老師、羅琪老師、吳文舜老師。而左邊的是教師功能列表,

主要功能有建立新題目、修改舊題目、增加新學生、觀看學生資料、以及條件搜 尋。接下來一一顯示及說明每個功能的頁面以及操作方式。

41

圖4-11、建立新題目

點選建立新題目以後會出現的頁面如上,教師可以填上題目的文字,另外 還要填上每個選項的文字,以及選項數目和題目的答案,填完後點選送出,系統 就會在資料庫內新增新題目。

圖4-12、題目列表

點選修改舊題目後,會出現題目列表的頁面如上圖,會將系統資料庫內的 題庫全部表列出來,大致顯示題目的內容、題目的選項數、題目的正確答案、以 及每個參數的值,讓教師知道每個題目的大致內容,然後在題號的地方可以點 選,點選之後就會進入修改題目。原則上,題目不必修改,除非是拼字錯誤。

圖4-13、修改題目頁面

點選修改題目之後會出現修改題目頁面如上圖,教師可以修改每個題目的 題目內容、正確答案、以及選項內容,而題目的參數是由系統根據測驗樣本算出 來的,所以教師不能隨意做更動,只能夠藉由系統樣本的計算來算出每個題目的 參數大小。

圖4-14、新增受測者帳號

新增受測者帳號的功能在研究期間並沒有用到,因為研究期間帳號的建立 是自動建立的,只要輸入沒有建立過的帳號,系統會自動建立新帳號,以便實驗 受測者的登入,如果以後跟學校資訊系統結合,那除了校內學生可以根據學校資

43

圖4-15、學生資訊

點選觀看學生資料的功能後,會出現學生資訊的頁面如上圖,教師可以看 到學生的列表,以及每個學生的學號、姓名、系所、英文級別、年級、測驗次數、

以及估計的能力這些資料。

圖4-16、條件搜尋

條件搜尋的部分有提供多樣化的查詢條件,包括了題目編號、學生學號、

學生姓名、難度參數區間、區別參數區間、學生能力區間、以及時間區間,能夠 充分滿足教師的多樣化功能搜尋。搜尋使用萬用字元,雖然降低了一點點的效 率,卻方便了教師,例如不知道學生全名也能搜尋;另外搜尋出來的題目,還會

在文檔中 中 華 大 學 (頁 44-71)

相關文件