• 沒有找到結果。

第三章 研究方法

第一節 曝光控制參數

如第二章文獻探討中所述,本研究所採取的SH-b 與 ASHC-b 必須事先模

擬施測取得曝光控制參數,所謂的事先模擬施測是指,模擬出一群受試者的 能力值,符合某一種分佈,使用SH 的方法迭代,最後計算出每一道試的曝 光控制參數,以下就SH-b 與 ASHC-b 曝光控制參數的演算過程加以詳述:

一、SH-b 之曝光控制參數

SH-b(Sympson & Hetter procedure with b level separated)其的「b」所指的 是初始階段b 值分層隨機選取法,在本研究當中,事先模擬施測的樣本是在 中部某縣市抽樣取得729 名受試者,這些受試者每一位都將題庫中所有的試 題作答完畢,並依其作答組型計算出每一位受試者的能力值,此即為受試者 的真實能力值。

在SH-b 的曝光控制參數中,就是使用這一組能力值分佈模擬出 4000 位 受試者,於Chang(2003)建議使用最大預期試題曝光參數 r = 0.2,進行事先模 擬施測,取得每道試題的曝光控制參數(如附錄 B 所示)。在本研究當中,初 始階段b 值分層隨機選題時就已經開始作曝光控管,以期降低題庫整體曝光 率。

二、ASHC-b 之曝光控制參數

ASHC-b(ability based SHC procedure with b level separated)其的「A」所指 的是以能力分佈為基礎的方法,而其中的「b」所指的則是初始階段 b 值分層 隨機選取法,在ASHC-b 的曝光控制參數中,也是採用這 729 名受試者的能 力值分佈,但和SH-b 不同的是,ASHC-b 所使用的曝光控制參數必須分層模 擬,因此必須先定出能力值區間,本研究將整個能力值分佈分為12 個區間(陳 昇座, 2007),如表 3-1-1 所示。每個區間依其能力值分佈分別模擬出 4000 個受試者的能力值,另外,為了有效提昇題庫使用率,在ASHC-b 當中所使 用的最大預期試題曝光參數必需依各區間的人數分佈作調整,本研究所使用

的各區間最大預期試題曝光參數如圖3-1-1 所示,各區間依此進行 SH 的曝光 控制參數迭代作業,取得每個區間所有試題的曝光控制參數(如附錄 C 所示)。

表 3-1-1 各區間模擬樣本分佈表

區間 起始 終點 能力點 間距 4000 人/區間 區間個人

起點

區間個人 終點 1 -3.73 -3.44 -3.73 0.29 0.0000725 -3.73 -3.4400725 2 -3.44 -2.84 -3.14 0.6 0.00015 -3.44 -2.84015 3 -2.84 -2.24 -2.54 0.6 0.00015 -2.84 -2.24015 4 -2.24 -1.64 -1.94 0.6 0.00015 -2.24 -1.64015 5 -1.64 -1.04 -1.34 0.6 0.00015 -1.64 -1.04015 6 -1.04 -0.44 -0.74 0.6 0.00015 -1.04 -0.44015 7 -0.44 0.16 -0.14 0.6 0.00015 -0.44 0.15985

8 0.16 0.76 0.46 0.6 0.00015 0.16 0.75985

9 0.76 1.36 1.06 0.6 0.00015 0.76 1.35985

10 1.36 1.96 1.66 0.6 0.00015 1.36 1.95985

11 1.96 2.56 2.26 0.6 0.00015 1.96 2.55985

12 2.56 2.85 2.85 0.29 0.0000725 2.56 2.8499275 附註:真實能力值範圍 -3.722134~2.842651

圖 3-1-1 最大預期曝光率(r 值)區間分佈圖

第二節 施測對象與內容

本研究的施測內容為國小數學領域五年級內容,以能力指標為命題依據 的245 個試題的題庫(試題參數表,如附錄 A),這些題目是由國立臺中教育大 學、亞洲大學與階梯數位科技股份有限公司建教合作計畫「以試題結構理論 為基礎之國小五、六年級數學領域電腦適性診斷測驗系統與題庫建置」(郭伯 臣, 2006)中所選取出來的,在選擇施測對象時,為考慮到學生必須已完整 學習五年級數學的內容,故選定的施測對象為國小六年級學生,在本研究當 中所選定的施測對象為中部某縣市,學校規模都是18 班的兩所小學,這兩所 小學的六年級學生都是三個班,受試者人數分別為92 與 90 個人(如表 3-2-1 所示)。

表 3-2-1 施測樣本比較表

施測學校 曝光率控管模式 施測人數

學校A SH-b 92

學校B ASHC-b 90

第三節 系統建置

施測的工具則是使用以Java 為基礎的 J2EE 網頁式測驗平臺,此平臺則 分別實作SH-b 與改良式 ASHC-b 曝光控管模式,網站伺服器選擇昇陽公司 (Sun Microsystems)所認可的 J2EE 網站伺服器 Tomcat5.5。程式撰寫及網站建 置所選擇的整合開發環境(integrated development environment,簡稱 IDE)則是 選擇自由軟體Eclipse3.1,並搭配開發 J2EE 專案的 MyEclipse5.1 套裝外掛軟 體,以物件導向的設計流程進行專案開發,本研究為有效節省系統製作時程 與考慮到日後程式碼的修改、維護,採用了符合MVC(model view controller) 架構的JSF(java server faces)規範,另外為有效管理程式碼與資料庫之間的連 結,本系統亦採用Hibernate 函式庫,作為系統與資料庫之間的連結介面。

本研究採用網頁式的施測平臺,施測模式是由受試者開啟網頁瀏覽器 後,連到指定的網址,這個時候受試者就會看到系統平臺歡迎畫面,如圖3-3-1 所示,當受試者閱讀完相關測驗規定後,按下「前往測驗」超連結,就會將 受試者畫面導引到登入畫面,如圖3-3-2 所示,輸入完帳號、密碼後,便進入 正式測驗,如圖3-3-3 所示,在進行完所有測驗後,系統會自動進行統計,將 受試者的測驗結果呈現在最後的網頁中,如圖3-3-4 所示。另外,系統所使用 到的資料庫表單如附錄D 所示。

圖 3-3-1 系統歡迎畫面

圖 3-3-2 系統登入畫面

圖 3-3-3 系統施測畫面

圖 3-3-4 施測結束畫面

另外在架設本系統的硬體需求方面,透過本研究實際施測的結果,以一 間擁有35 台可以同時連上網路的電腦教室為例,若要使 35 位受測者同時進 行施測,伺服器硬體及網路架構之建議如表3-3-1、表 3-3-2 所示:

表 3-3-1 伺服器最低需求表

硬體 規格

中央處理器(CPU) AMD Turion 64x2 或其它廠牌同等級以上 記憶體 DDR-II 512MB 或更大

硬碟容量 20G 以上 網路卡 100/1000 MB/s

表 3-3-2 區域網路最低需求表

硬體 規格

網路線 CAT 5E 或以上等級

HUB 100/1000 MB/s 至少含一個 Giga port; 建議選用 48 ports 以上的 switch Hub

第四節 施測流程

施測的流程大致分為兩個階段,第一個階段為初始階段,在這個階段當 中,是採用b 值分層隨機選題法,再加上 SH 曝光控管模式,取得前三個施 測的題目並作答,接著依這三道題目的作答組型來決定初始能力值;第二個 階段為正式估計能力值階段,在這個階段當中,是採用最大訊息法選題,再 加上曝光控管模式,分別為SH 與 ASHC(陳昇座, 2007),依受試者作答組 型與作答題目的三參數進行暫時能力估計,直到符合迭代終止條件,在本研 究當中的終止條件為作答題目超過30 題或能力估計誤差小於 0.01。最後,得 到受試者最終的估計能力值。將所有受試者的作答記錄進行統計,取得每個 試題的真實曝光率進行比較。

另外,為驗證本系統對於試題曝光率控管的正確性,本研究除了對真實 樣本作實際施測外,也將完整作答245 題的事先模擬測驗的 729 個樣本隨機 抽取100 位、200 位,依其作答組型輸入本系統,統計結果與實際施測結果 比較。除此之外,也將這729 個樣本,輸入模擬研究的 Matlab 程式當中進行

比對,模擬研究的部分,也分別使用SH-b 與 ASHC-b,並採用相同的曝光控 制參數表,施測的樣本部分,則是採用在取得曝光控制參數時,進行事先模 擬測驗的729 個真實能力值樣本作為施測樣本,最後取得施測結果進行比較。

一、 初始階段

在初始階段當中,施測的流程如圖3-4-1 所示,一開始系統會將題庫中所 有試題依試題難度(b 值)分為三層,並分別於三層中隨機選取一題,共三題作 為初始階段施測的題目,當受試者將這三道試題作答完畢之後,會有四種作 答組合,分別是答對0 題、答對 1 題、答對 2 題及答對 3 題,如圖 3-4-2 所示,

而此時系統會自動計算作答結果給予相對應的初始能力值。將-3.0 到 3.0 的能 力值區間切割成五個段落,將答對0 題與第對 3 題的初始能力分別給予-1.8 和1.8 的初始能力值,而不是給予-3.0 和 3.0,是為了避免初始能力值太靠近 邊界值(-3.0 或 3.0),會導致估計能力值時無法收歛,因此,在研究設計上給 予較合理的初始能力值(-1.8 或 1.8)。

圖 3-4-1 初始階段施測流程圖

圖 3-4-2 初始能力估計圖

二、 正式估計能力值階段

在經過初始階段取得初始能力值後,進入正式估計能力階段時會依初始 階段所取得的初始能力值代入最大訊息法公式,取得最大訊息量的試題作為 接下來要施測的題目,取得試題之後則進行曝光控管模式演算,SH-b 與 ASHC-b 會有所不同。SH-b 的曝光控管模式,在此階段與 SH 完全相同,但

0 1 2 3

-3.0 -1.8 -1.2 1.2 1.8 3.0 答對題數

給予初始能力值

b 值分層選題

曝光率控制

不成立 終止條件

成立

i<3 作答反應

初始能力估計

初始能力值

是ASHC-b 會依目前的暫時能力值,對應到該區段的曝光控制參數,並產生 一個隨機值 x 介於 0~1 之間,若 x 大於曝光控制參數則跳過該題不施測,若 系統決定跳過此題不施測,則會在題庫中將此試題刪除,並且再從題庫當中 取得最大訊息量的試題,再次進入曝光控管模式演算,依此迭代,直到系統 決定施測選到的試題為此(如圖 3-4-3 所示)。

在系統決定施測該題時,系統就會將該題以網頁型式呈現在受試者面 前,經由網頁式的操作取得受試者的作答反應,並依至此為止施測的所有題 目三參與作答組型代入能力估計公式,在本研究當中所使用的方法是最大概 似估計法,取得新的暫時估計能力值,並且依此能力值再次進入最大訊息法 選題的步驟,依此方法迭代,直到估計能力值達收歛(相鄰兩次估計能力差的 絕對值小於0.01)或測驗題數大於 30 題為止。

圖 3-4-3 電腦適性測驗施測流程圖 最大訊息法選題

終止條件 成立

作答反應

能力估計

終止條件

能力估計結果與 曝光率評估 不成立

成立 曝光率控制

不成立

初始能力值

第四章 研究結果與分析

在本章中分別就實際施測、模擬施測與模擬研究所獲得的數據進行分析 與探討,並就實際施測經驗對系統效能進行分析。

第一節 曝光率結果分析

經過實際施測、模擬施測與模擬研究後所得到的數據顯示(如表 4-1-1 所 示),在「方法」欄的部分,(s)的部份為使用 729 個樣本隨機抽出 100 個以及 200 個樣本,並依其作答組型輸入本系統的統計結果,而(s)*的部份,則是將 729 個樣本使用 Matlab 進行模擬研究所得到的結果。在表中「施測人數」所 指的是實際參與該項方法的施測人數,「曝光率平均數」所指的是被使用到試 題的曝光率平均數,「曝光率標準差」指的則是被使用到試題的曝光率標準 差,「最大曝光率」所指的是被使用試題當中的曝光率最大值,「未使用題數」

所指的是該方法在測驗完後,題庫當中未使用到的題目數量,而「高曝光率 題數」所指的則是曝光率高於0.2 的試題題數。

在SH-b 的部分,實際施測的人數為 92 人;SH-b(s)則是由 729 個樣本分 別抽出100 及 200 個樣本,依其作答組型輸入本系統進行模擬作答;SH-b(s)*

在SH-b 的部分,實際施測的人數為 92 人;SH-b(s)則是由 729 個樣本分 別抽出100 及 200 個樣本,依其作答組型輸入本系統進行模擬作答;SH-b(s)*

相關文件