以粒子群最佳化演算法建置適性化測驗系統
Building Adaptive Testing System Using Particle Swarm Optimization
鄭淑真、潘逸峻*、鄭宇翔** 南台科技大學資訊工程系 *南台科技大學資訊工程系 **南台科技大學資訊工程系
Shu-Chen Cheng, Yi-Jun Pan*, Yu-Hsiang Cheng**
Department of Computer Science and Information Engineering, Southern Taiwan University of Science and Technology *Department of Computer Science and Information Engineering, Southern Taiwan University of Science and Technology **Department of Computer Science and Information Engineering, Southern Taiwan University of Science and Technology
摘要
根據學習者能力而提供適合學習者的試題是適性化測驗的目的，大部分都是給予測驗者 一個能力值，該能力值代表測驗者對學科的了解程度，但每門學科中，往往是由許多區塊知 識所構成的，以英文來講，可簡單分成單字、文法、閱讀、聽力等區塊，學習者可能對單字 知識為擅長，對文法知識則否。本研究將以粒子群最佳化演算法結合知識結構的概念，提出 一個能動態選題的適性化測驗系統，根據測驗者上題作答狀況決定下題的難易度，以及多重 能力的評估方式，對每個區塊知識給予獨立的能力值，當出題時選出與區塊知識關聯性高的 題目，透過這種機制達到適性化學習的目標。 關鍵字：數位學習、知識結構、粒子群最佳化演算法、適性化測驗Abstract
Adaptive testing can generate questions according to learners' competence level. In general, an adaptive testing system gives an ability value to each testee by evaluating the testee’s understanding of a subject. A subject is usually comprised of many kinds of knowledge. For example, the subject, English, contains reading, grammar, vocabularies, writing, listening and etc. This research aims to develop an adaptive testing system based on Particle Swarm Optimization (PSO) and integrating with knowledge structure. The system decides the difficulty of the next question according to the correctness of the previous answer. The experimental results show that the system can dynamically generate questions correlated highly with learners' competence level.
Keywords: E-learning, Knowledge structure, PSO, Adaptive testing
壹、緒論
近年隨著網路的普及，教學方式也越來越多樣化，使得學習可不受空間與時間的限制。 而測驗方式也因此跟著改變，早期傳統測驗是由紙筆測驗，接著演變到電腦測驗，最後出現
電腦適性化測驗，傳統測驗通常是以古典測驗理論為基礎，同時提供所有測驗者相同的測驗 內容，導致有些題目對測驗者來說簡單或是困難，為了改善這項缺失，Lord（1997）提出試 題反應理論，電腦適性化測驗就是以此理論為基礎而產生出來的一種測驗方式。 本研究將以知識結構與粒子群演算法建構出一套適性化測驗系統學習平台，應用在科技 英文方面供學習者學習，希望根據不同學習者的學習能力而給予適當的學習試題，能夠有效 的提升有關技術類的學習者在科技英文方面的語言能力。 貳、文獻探討 一、知識結構 知識結構的定義是說人會依一定的組合方式以及比例關係，將各種知識建構組成，其中 具有開放、動態、通用、和多層次特點的知識架構。Morton 與 Bekerian（1986）認為知識結 構可分成兩種理論，語意網路理論（semantic networks theory）與基模理論（schema theory）， 語意網路理論是說大腦記憶中知識的組成方式，認為知識是利用節點與節點之間的連結關係 去組成結構；基模理論則是說大腦記憶中知識的運作方式，訊息的存取、行動組織等，說明 知識是以什麼樣的型態去呈現，以及說明在特定的領域中要如何運用知識。Jonassen、Beissner 與 Yacci（1993）則認為除了上述兩種理論（語意網路理論與基模理論）之外，還有一種，就 是擴散促動理論（spreading activation theory），擴散促動理論是以類神經網路的架構去呈現知 識的結構，以連結長度代表語意的關聯。Appleby、Samules 與 Treasure-Jones（1997）以知識 結構為基礎開發一種電腦測驗系統，在短時間內能夠了解剛進大學學生的知識程度，認為不 同領域的知識會以不一樣的方式呈現，依受測者的作答狀況去建立知識結構；林立敏（2006） 則是連結不同的知識結構建立電腦適性學習系統，供學習者測驗及補救教學，發現確實能達 到因材施教的目的，使教學成效提高；吳德虎（2009）以知識結構為基礎建立電腦適性化測 驗，了解學生在學習時遇到的困難及盲點。根據許多以知識結構為基礎所開發的適性化系統 研究結果後，發現有以下幾個特點： (一)根據知識結構進行命題，可發現學生對某些類型知識的不足。 (二)透過網路學習，可隨時測驗，不受時間空間的限制。 (三)與紙筆測驗相較，可節省測驗時間與測驗試題。 (四)根據適性化的測驗結果，進行診斷與補救，達成因材施教的目的。 二、粒子群最佳化演算法
粒子群最佳化（Particle Swarm Optimization, PSO）的概念來自社會群體的行為模擬，早 期是 Kennedy 與 Eberhart（1995）以魚群、鳥群覓食的行為引發出來的最佳化方法，假設有 群飛鳥在某個區域尋找食物，區域內只有一個地方有食物，所有的鳥都不知道食物的位置， 但牠們知道食物離牠們有多遠，能有效又快速的找到食物位置就是搜尋離食物最近的飛鳥鄰 近區域。很多研究指出粒子群最佳化演算法利用族群移動的概念能夠快速找出最佳解，且因 為結構簡單、參數較少、可快速收斂且適用於動態環境等優點，所以發展快速，在許多領域 都得到應用（Zhang, Zhuang, Yuan, & Zhan, 2007; Huang, Huang & Cheng, 2008; Cheng, Lin & Huang, 2009; Huang, Lin & Cheng, 2009; Kardan & Kardan, 2009; Lin, Huang & Cheng, 2010），
演算法流程如圖 1。
圖 1 粒子群最佳化演算法流程圖
三、電腦適性化測驗
早期測驗是以古典測驗理論（Classical Test Theory, CTT）為基礎，給所有測驗者相同的 題目進行測驗，但這種方式對某些測驗來說並不是很好，因測驗者的能力並不相同，若沒顧 慮能力的差異而給予相同的題目，對能力好的人來說，可能太簡單；對能力差的人來說，可 能過於困難，就無法準確知道測驗者的能力，使得測驗失去了意義，還有可能使測驗者失去 信心，對學習產生厭惡。
電腦適性化測驗（Computerized Adaptive Tests，CAT）是以試題反應理論所發展出來的 測驗方式，測驗者的試題會根據測驗者上一道答題的狀況去自動調整，也就是作答完成後， 會立即計算測驗者的能力，並以此計算的能力值選取下一道符合能力測驗的試題，對能力好 的人來說，不會給予簡單的題目；對能力差的人來說，不會給予困難的題目，以測驗者能力 決定試題難易度的測驗方式，除了縮短測驗時間外，更可以準確估計出測驗者的能力水平， 達到因材施教的目的（Guzman & Conejo, 2005；何榮桂，2000；古松民，2001；余民寧，2009）。
近年有許多學者將不同的理論導入選題決策中。Sun（2000）以基因演算法作為試題選擇 的方法，將測驗編成二元字串，進行交配、突變、複製等運算，直到達到目標值為止；Leite、 Huang 與 Marcoulides（2008）以蟻群演算法做為試題選擇最佳化演算法；Veldkamp（2010） 以貝氏理論為試題選擇的基礎來達到適性化的目的；Ueno 與 Songmuang（2010）則使用決策 樹理論為適性化測驗選題的依據。 以上所述的各種選題方法之研究，可以發現大多都是提高選題準確率，然而本研究除了 要提高選題準確率之外，還有就是要如何在大量題庫中，能夠快速挑選出符合測驗者的試題。
參、研究方法 本研究建置一套電腦適性化測驗系統學習平台，以知識結構的概念結合粒子群演算法， 應用在科技英文方面，平台主要提供 PSO 電腦適性化測驗系統供學習者使用，系統將根據學 習者的能力水平進行出題，學生可以依自己的需求選擇學習方向。以下將講解本學習平台的 功能架構。 一、知識結構 大部分的電腦適性化測驗評估方式都是給予測驗者一個能力值，也就是以測驗者的能力 平均作為參考值，但每門學科常會含有數個區塊知識，以英文來講，可簡單分成單字、文法、 閱讀、聽力等區塊，學習者可能對單字知識為擅長，對文法知識則否，因此本研究將各個區 塊都給予能力值，採用多重能力評估的方式，出題時會依照各個能力值而給予相對能力的題 目，透過這種方式將更符合學習者的能力進行測驗。對於測驗試題的設計也是採多重評估的 方式，因為試題不會只存有單一區塊知識，如圖 2，試題可能會有數種區塊知識包含在一起， 透過這種數個區塊知識相互連結的概念，使得挑選的試題能夠更符合測驗者的能力。第一次 測驗的測驗者因無歷史測驗數據，故本研究將所有第一次測驗的測驗者區塊知識能力值（文 法、單字、閱讀）皆設定為 0.2，之後會根據測驗者的測驗數據更新較符合測驗者的區塊知識 能力值，故測驗者初始區塊知識能力值的設定，並無太大的影響。 圖 2 試題區塊知識關係圖 二、PSO 適性化測驗 適性化測驗主要是要讓測驗者在測驗時，能給予一個符合能力的題目，並依當下題目的 作答好壞決定下個題目的難易度，透過這種機制可以準確評估測驗者的能力。本研究以粒子 群最佳化演算法（PSO）為核心，利用此演算法快速搜尋的特性，在大量題目中快速搜尋最 適合的題目，在運算 PSO 演算法之前，需先定義兩個重要的函數：適應函數、速度函數。本 研究將採用測驗者能力值、試題難易度、區塊知識關聯度與試題測驗次數為相關參數，其中
試題難易度，當新增一道題目時，因無測驗數據，故將新增的題目難易初始設定值為 0.5，使 得能夠平衡調整難易度，接著說明 PSO 演算法中會使用的變數定義：題庫共有 n 個試題， I1， I2，…，In為試題編號，試題區塊知識為 m 個，rj為測驗試題與相關知識的關聯表示式，w 為 各個區塊知識的權重值，權重值會影響各個區塊知識的出題比重，權重值高，表示該區塊知 識的重要性越高。 (一)PSO 適應函數 （1）式為測驗者目前能力值與選擇試題的難度差距，數值越小則差距越小，其中 0≦fk ≦1。 q r D d fk m j j k
1 （1） dk：為目前所選到的試題難易度，其中 0＜dk＜1，k指某一題。 D：為受測者目前的區塊知識能力值，其中 0＜D＜1。 q：為與該試題有相關的區塊知識數量。 （2）式為試題調配因子，以目前提供給受測者進行測驗的試題，計算區塊知識所佔的比 例，其中 0≦xj≦1。T
U
x
j
j （2） Uj：區塊知識 j 目前已出題的題目數量。 T：當次測驗預計出題總數，測驗者於測驗時可自行決定該次測驗題數，本研究 實驗數據為 25 與 40。 （3）式為測驗試題與測驗者設定的區塊知識權重之間關聯度，與式進行合併調配出題， 值越小則關聯度越高，其中 0≦C1k≦1。 q r x w C j m j j j k
1 1 ) ( 1 （3） wj：為區塊知識 j 的權重值，0＜wj＜1，測驗者可於測驗時自行決定該次測驗個 知識區塊出題比例，而本研究的實驗數據為 0.4、0.4、0.2。 rj：試題與區塊知識 j 的關係，值為事先決定，由專家對題庫中所有試題進行評 估，該試題對某知識區塊相關為 1，不相關為 0。 （4）式為曝光控制因子，為了平衡各試題的出現頻率，出題次數較多的題目數值越高， 在此函式以 C1k為條件限制，提升選題準確率，其中 0≦C2k≦1。 ) ,..., ,..., ( ) 1 ( 1 1 2 N k k k k n n n MAX C n C （4） nk：為目前測驗試題曾經被出題過的次數，其中 0≦nk。 MAX(n1，n2，…，nk，…，nN)：為所有試題中，測驗次數最多的，其中 0≦MAX(n1， n2，…，nk，…，nN)，N是題庫中所有試題，nk為某題曾被出題的次數。 （5）式為 PSO 演算法中的適應函數 Z(xi)，將上述（1）、（3）及（4）式三個函式值加總，計算出來的 Z 值稱為適應值（Fitness Value），適應值越小表示該試題的難易度、相關知識等 較適合受測者當下的能力水平，也就表示該試題更適合受測者進行測驗。 k k k i
f
C
C
x
Z
Minimize
(
)
1
2 （5） (二)PSO 速度函數 （6）式為速度函數 vi+1，速度函數決定各個粒子的移動速度並關係到粒子的下一個試題 選擇。 2 1 2 1 2 2 1 2 1 1 2 1 1 () () C C f C C f rand k C C f C C f rand k C C f w v g g g p p p v v v i （6） vi+1：表示該粒子下一次的迭代速度。 w：慣性權重。 k1、k2：學習因子。 rand()：0 到 1 之間的亂數，避免落入局部最佳解。 p：該粒子的個人最佳解。 g：全域最佳解。 （7）式為更新被選擇的測驗試題參數，並決定粒子的下一個試題落點。 1 1 1 2 1 2 1 1 i i i C C f C C f I v k （7） 圖 3 適性化測驗流程圖三、系統架構 圖 3 為適性化測驗流程圖，先選擇題目的參數(測驗題數、區塊知識權重等)，選擇完成 之後，系統會透過本研究使用的演算法結合知識結構尋找最適合的題目供測驗者測驗，每當 作答完一題，系統會根據當下答題狀況立即變更下一題的難易度供測驗者測驗，直到測驗題 目結束為止。圖 4 為電腦適性化測驗系統畫面，測驗者可以選擇測驗的題數以及測驗的方向。 圖 4 電腦適性化測驗系統畫面 圖 5 為適性化測驗系統架構圖，共分成四大部分，分述如下。 (一)教師設定介面：簡易的操作設定測驗進行前的所有相關設定，當教師要設定一份 新的試題，可經由本介面設定新試題應有哪些區塊知識，利用勾選的動作完成相關設 定，如圖 6。 (二)題庫管理介面：教師在此設定試題的相關知識關聯設定以及試題難易度初始設 定，如圖 7。 (三)學習者操作介面：受測者可以透過此介面看到系統挑選出的試題內容以及提供該 試題類型的作答介面供受測者作答，如圖 8。 (四)適性化測驗模組：透過此模組去分析教師設定的參數值去挑選最適合測驗者的試 題並顯示在學習者操作介面中。
圖 5 適性化測驗系統架構
圖 6 試題新增介面
圖 8 學習者操作介面 肆、實驗結果 本研究所提出以知識結構結合粒子群最佳化演算法建置電腦適性化測驗系統，為了證明 是否能在大量測驗題目中快速搜尋符合測驗者能力的試題，本研究將以三種實驗驗證成效， 分別是搜尋速度、搜尋準確率以及電腦適性化測驗。首先是試題的設置，本研究的試題難度 與類型採平均分佈，題目則以亂數的方式選擇，針對 100 題至 30000 題不同大小之題目數量 進行實驗，如表 1。 表 1 題庫難度分佈表 試題數量 試題難度（範圍：0-1） 100 0.493 500 0.553 1000 0.507 5000 0.481 10000 0.494 20000 0.495 30000 0.498 一、搜尋速度 為觀察本研究提出的系統在不同大小題庫中進行搜尋時所耗費的時間，與循序搜尋時間 作比較。首先給予不同的參數（粒子數與迭代次數）進行觀察，粒子數分別為 5、10 與 15 個 粒子，迭代次數為 5、10 與 15 次迭代，進行 10 次的選題。 圖 9-圖 11 圖 11 為 PSO 搜尋(不同粒子數搭配不同迭代次數)與循序搜尋的搜尋時間比較 圖，當試題數量在 1000 題以下時，兩種搜尋時間並無太大差異，但試題數量超過 1000 題的 時候，PSO 的搜尋速度明顯比循序搜尋快。
圖 9 PSO(粒子數：5)與循序搜尋時間比較圖
圖 10 PSO(粒子數：10)與循序搜尋時間比較圖
二、搜尋準確率 本實驗將針對隨機與循序以及 PSO 這三種搜尋方法做比較，以搜尋的試題適應值為比較 項目。首先以上述三種搜尋方法對 7 種大小不同的題庫進行 10 次的選題，而相關參數為 w1=0.5、w2=0.3、w3=0.2，而搜尋方案為 5 粒子 5 迭代、5 粒子 20 迭代、10 粒子 10 迭代、20 粒子 10 迭代，測驗者的各區塊知識能力值皆設為 0.5，適應值越接近 0 表示越適合。 從圖 12 中可以發現 PSO 搜尋 5 粒子 5 迭代的結果較不理想，但 10 粒子 10 迭代所選擇 的試題適應值很接近最佳解，循序搜尋雖然可以找到最佳解，但從搜尋速度的實驗得知循序 搜尋會增加許多時間成本，故 PSO 搜尋明顯優於循序搜尋。 圖 12 搜尋準確率比較圖 圖 13 為不同粒子數在迭代中的適應值變化圖，從中可以發現粒子數增加，搜尋擁有最佳 適應值的迭代次數反而減少，原因是當粒子數增加分佈的範圍也隨之增加擴大，因此找到最 佳解的機會也就跟著變大，圖 14 圖 14 為不同搜尋方案進行 100 次出題的結果圖，從中更可 以清楚發現當粒子數增加，即使迭代次數減少，這也表示在進行搜尋參數設定時，迭代次數 可以減少，不需太高的迭代次數就能找到最佳解，從此本實驗中更可以發現，當粒子數為 10 迭代次數為 10 的時候，搜尋結果是比較穩定的。 圖 13 不同粒子數在迭代中的適應值變化圖
圖 14 以不同搜尋方案進行 100 次出題 三、電腦適性化測驗 適性化測驗最理想情況就是根據測驗者的能力以及答題狀況選出最適合的題目。為了驗 證本研究建置的 PSO 電腦適性化測驗學習平台是否能根據測驗者的能力進行出題，因此本研 究的實驗對象是針對南部某科技大學資訊工程系所開設的科技英文修課學生，測驗時間為一 整個學期，所有使用本研究的平台測驗系統者，本系統皆會記錄其測驗狀況，本研究分為對 照組與實驗組，對照組的測驗人數共有 80 人，而實驗組的測驗人數共有 81 人。對照組採隨 機出題，而實驗組則採適性化測驗，如表 2。隨機測驗的答題正確率為 45%，而 PSO 測驗的 答題正確率為 55%，PSO 測驗結果明顯比隨機出題的答對率還要高，因此隨選出題的題目難 度不一，極有可能超出測驗者的能力範圍，而 PSO 適性化測驗選出來的題目對測驗者來說是 比較符合能力的，因此答題正確率也有所提升。 表 2 隨機測驗與 PSO 測驗數據 測驗人數 測驗方式 答題正確率 對照組 80 隨機測驗 45% 實驗組 81 PSO 測驗 55% 伍、結論 本研究建構出的 PSO 電腦適性化測驗系統是以粒子群最佳化演算法做為系統的核心，搭 配知識結構的概念，以不同區塊知識對多個能力值以及不同測驗題目，發展出一個以多重能 力估計的方式結合粒子群最佳化演算法的適性化測驗系統，即使在大型的測驗題庫中依然能 快速選出最符合測驗者能力的題目。 為了驗證本研究提出的 PSO 電腦適性化測驗系統能真正達到適性學習以及快速選題，從 搜尋速度的實驗結果得知本研究建構的 PSO 搜尋在搜尋時間上有不錯的成果，而在搜尋準確 率的實驗結果發現，提高粒子數有助於提升搜尋的準確率，以 10 粒子 10 迭代是比較好的方 案，對於搜尋準確率以及搜尋速度都有較好的結果，而本研究的適性學習成效，透過電腦適 性化測驗的實驗結果得知，本研究建構的電腦適性化測驗系統選出的題目較符合測驗者的能 力，達到適性化的目的。
本研究除了探討搜尋速度以及適性之外，根據實驗過後的數據來看，教師可以根據學生 各個能力值而了解該學生的真實能力狀況，老師也能了解到該題目的難易度在哪，可供課堂 教材範例使用；而學生也能根據適性化測驗的成績，使學生增加信心，提升學習的意願。
參考文獻
古松民（2001）。線上適性測驗系統。資訊與教育雜誌，84，61-69。 余民寧（2009）。試題反應理論(IRT)及其應用。臺北：心理。 何榮桂（2000）。網路環境題庫與測驗之整合系統。科學發展月刊，28，534-540。 吳德虎（2009）。以知識結構為基礎的動態評量適性診斷系統之研發-以五年級小數乘法單元 為例。亞洲大學資訊工程學系碩士論文。取自臺灣碩博士論文知識加值系統，系統編號： 097THMU4396031。 林立敏（2007）。連結不同知識結構之電腦適性學習系統研發。國立臺中教育大學教育測驗統 計研究所碩士論文。取自臺灣碩博士論文知識加值系統，系統編號：095NTCTC629050。 Appleby, J., Samules, P., & Treasure-Jones, T., (1997). Diagnosys a knowledge-based diagnostictest of basic mathematical skills. Computer and Education, 28(2), 113-131.
Cheng, S. C., Lin Y. T., & Huang, Y. M., (2009). Dynamic question generation system for web-based testing using particle swarm optimization. Expert Systems with Applications: An International Journal, 36(1), 616-624.
Guzman, E., & Conejo, R., (2005). Self-assessment in a feasible, adaptive web-based testing system. IEEE Transactions on Education, 48(4), 688-695.
Huang, T. C., Huang, Y. M., & Cheng, S. C., (2008). Automatic and Interactive e-Learning Auxiliary Material Generation Utilizing Particle Swarm Optimization. Expert Systems with Applications, 35(4), 2113-2122.
Huang, Y. M., Lin, Y. T., & Cheng, S. C., (2009). An Adaptive Testing System for Supporting Versatile Educational Assessment. Computers & Education, 52(1), 53-67.
Jonassen, D. H., Beissner, K., & Yacci, M., (1993). Structural knowledge: Techniques for representing conveying, and acquiring structural knowledge. Hillsdale, NJ: Lawrence Erlbaum Associates.
Kardan, S., & Kardan, A., (2009). Towards a more accurate knowledge level estimation. In S. Latif (Ed.), Sixth international conference on information technology: New generations (pp. 1134-1139). Las Vegas, NV: IEEE Computer Society.
Kennedy, J., & Eberhart, R., (1995). Particle Swarm Optimization. Proceedings of the IEEE International Conference on Neural Networks, 4, 1942-1948. Perth, WA.
Leite, W. L., Huang, I. C., & Marcoulides, G. A., (2008). Item selection for the development of short forms of scales using an ant colony optimization algorithm. Multivariate Behavioral Research, 43(3), 411-431.
Lin, Y. T., Huang, Y. M., & Cheng, S. C., (2010). An Automatic Group Composition System for Composing Collaborative Learning Groups Using Enhanced Particle Swarm Optimization. Computers & Education, 55(4), 1483-1493.
Lord, F. M., (1997). Practical applications of item characteristic curve theory. Journal of Educational Measurement, 14, 117-138.
Morton, J., & Bekerian, D., (1986). Three ways of looking at memory. In N. E. Sharkdy (Ed.), Advances in cognitive science 1. hichESTER: Ellis Horwoo.
Sun, K. T., (2000). A genetic approach to parallel test construction. International Conference on Computers in Education 2000, 83-90. The Grand Hotel, Taipei, Taiwan.
Veldkamp, B. P., (2010). Bayesian item selection in constrained adaptive testing using shadow tests. Psicológica, 31(1), 149-169.
Ueno, M., & Songmuang, P., (2010). Computerized Adaptive Testing Based on Decision Tree. 2010 10th IEEE International Conference on Advanced Learning Technologies, 191-193. Sousse: IEEE Computer Society.
Zhang, L., Zhuang, Y. T., Yuan, Z. M., & Zhan, G. H., (2007). Auto Diagnosing: An Intelligent Assessment System Based on Bayesian Networks. 37th ASEE/IEEE Frontiers in Education Conference, T1G7-T1G10. Milwaukee, WI.
