第三章 研究設計與實施
第三節 華語文電腦化適性評量系統分析與設計
壹、 系統架構
本研 究採 用 雛型 式系 統 發展 法（ prototype approach systems development method）建置華語文能力電腦化適性測驗系統（Boar, 1984; Tozer, 1987），且由 於測驗系統是建置在網際網路環境中，因此，採用網路三層式主從架構（three-tier client/server architecture），如圖 3-8 所示。
測驗系統可區分為用戶端（client side）與伺服器端（server side），其中，
用戶端為使用者操作介面之部份，使用者透過網頁瀏覽器經由 HTML 遠端登入系 統；伺服器端的作業系統採用 CentOS 5（Linux 版本），後端資料庫伺服器採用 MySQL，用來執行程序與存放本系統的使用者資料、成績、選題策略、題庫、使 用者管理等資料。網頁伺服器軟體為 Apache，網頁伺服器端的程式語言為 PHP，
藉由 PHP 來發展各項模組功能程式並與資料庫進行連結，此外，依照實際的需求，
在 PHP 的程式中也會結合 HTML、JavaScript 等其他網頁程式語言，共同完成各 模組的功能需求。
圖 3-8 系統架構 Request HTML Document
客戶端
Internet HTML Document
伺服器端
好的測驗題庫，但為顧及試題品質，以及施測時程與樣本人數之限制，無法大量 選題、自由選題、隨機選題、McBride 與 Martin（1983）提出之隨機法、錢永財
（2006）提出之初始階段b值分層隨機選題法等。由於已有相當多文獻探討不同 選提法之優劣，然而，本研究主要目的在建立一個完整的CAT系統，且Lord（1977）
指出不同起始點對於測驗標準誤（standard error of measurement）並沒有很大差別。
因此，研究者並未針對選題法進行深入探究，採用電腦隨機選題。
三、能力估計
常見的能力估計方法有最大概似估計法（maximum likelihood estimation, MLE）與貝氏估計法（Bayesian procedure）中的最大後驗估計法（maximum a posteriori, MAP）與期望後驗法（expected a posteriori, EAP）等三種能力估計方法，
以下分別介紹：
也是以 Newton-Raphson 法來進行迭代。
然而，Wang 與 Vispoel（1998）指出雖然 MLE 有不錯的估計效能，但當受
試者作答反應為全對或全錯時，MLE 便無法估計受試者能力值，因此，有其實務 上之限制；Baker 與 Kim（2004）指出雖然 EAP 與 MAP 能估計全對或全錯之作 答反應，但若受試者先驗分配（prior distribution）不正確時，能力估計偏差將會 很大。因此，本研究開發較常使用之 MLE、MAP、EAP 三種能力估計方法，進 行受試者能力值之估計。
（四） 選題策略
選題策略是 CAT 實施程序中的要素之ㄧ，根據不同的選題方法會導致不同 的測驗效率，常用的選題策略包括：最大訊息法（maximum information strategies）、
最接近偏移難度法、區間式最大訊息法、Chang、Qian 與 Ying（2001）提出考 慮 b 參數的 a 分層法、錢永財、劉家惠、郭伯臣（2005）提出 a-鄰近法等。本研 function）。試題訊息函數（Birnbaum, 1968; Lord, 1980）是計算試題訊息量，當該 道試題提供之受試者訊息量越大，則受試者所獲得之能力估計值精準度就越高。
能力估計值，再由新的能力估計值選出下一題進行施測。研究者依據以上陳述之 重點要素整理本研究之 CAT 施測流程圖，如圖 3-9 所示（Wang, Kuo, Tsai, & Liao, 2012; Kuo, Tseng, & Shih, 2013）。
圖 3-9 CAT 施測流程
圖 3-9 顯示，在進行 CAT 時，每位受試者將施測不完全相同之試題，因此，
必須藉由選擇適合受試者之試題，以達到適性測驗的目的。在執行華語文能力電 腦化適性測驗時，一開始會先設定受試者的初始能力值，當受試者完成初始設定 的試題後，便開始進行受試者之能力估計。由此可知，如何正確估計受試者能力 值，進而選擇適合受試者之試題，是 CAT 施測流程中相當重要的一個環節。依 據估計的能力值與設定之選題策略進行試題挑選，以探討適合華語文基礎級理解 能力測驗之能力估計方法。其中，選題策略使用常見的最大訊息法。
參、 系統模組設計
圖 3-10 為本研究設計的系統模組、使用者與資料庫的關係，除了提供適性測 受試者初始能力估計值
題庫
否 選擇與顯示最佳試題
觀察與評估作答反應
修正能力估計
測驗結束
測驗終止條件是否滿足？
是
驗模組之外，還有其他功能的模組。說明如下：
圖 3-10 華語文電腦化適性測驗模組架構
一、 電腦適性測驗模組：對受試者而言，透過適性測驗模組進行施測，藉由選題 策略選擇適合的試題，直到達成測驗終止條件完成適性測驗。其中，選題策 略使用最大訊息法，能力估計法開發 EAP、MAP、MLE 方法。
二、 記分模組：受試者完成作答，電腦將透過其作答反應直接進行評分，並將施 測成績輸入至資料庫中。
三、 成果查詢模組：受試者能查詢個人基本資料、學習紀錄、以及測驗分數；測 驗管理者能查詢施測結果。
四、 測驗控管模組：測驗管理者可以選擇施測的班級、測驗類型、題庫、施測方 式（CBT 或 CAT）等，也可以指派受試班級施測不同測驗或是取消測驗。
五、 題庫維護模組：測驗管理者可以新增或編修題庫名稱及題庫相關資料、以及
針對題庫之試題進行新增、編修或刪除。此外，也可以匯入或匯出試題參數
本研究使用 BILOG-MG 軟體（Zimowski, Muraki, Mislevy, & Bock, 2003）進 行參數估計，利用邊際估計法（marginal maximal likelihood estimation, MMLE）
與期望後驗法（EAP）估計試題的鑑別度、難度與猜測度參數與受試者能力值。