本研究所提出以知識結構結合粒子群最佳化演算法建置電腦適性化測驗系統，為了證明 是否能在大量測驗題目中快速搜尋符合測驗者能力的試題，本研究將以三種實驗驗證成效，
分別是搜尋速度、搜尋準確率以及電腦適性化測驗。首先是試題的設置，本研究的試題難度 與類型採平均分佈，題目則以亂數的方式選擇，針對 100 題至 30000 題不同大小之題目數量 進行實驗，如表 1。
表 1 題庫難度分佈表
試題數量 試題難度（範圍：0-1）
100 0.493 500 0.553 1000 0.507 5000 0.481 10000 0.494 20000 0.495 30000 0.498
一、搜尋速度
為觀察本研究提出的系統在不同大小題庫中進行搜尋時所耗費的時間，與循序搜尋時間 作比較。首先給予不同的參數（粒子數與迭代次數）進行觀察，粒子數分別為 5、10 與 15 個 粒子，迭代次數為 5、10 與 15 次迭代，進行 10 次的選題。
圖 9-圖 11 圖 11 為 PSO 搜尋(不同粒子數搭配不同迭代次數)與循序搜尋的搜尋時間比較 圖，當試題數量在 1000 題以下時，兩種搜尋時間並無太大差異，但試題數量超過 1000 題的 時候，PSO 的搜尋速度明顯比循序搜尋快。
圖 9 PSO(粒子數：5)與循序搜尋時間比較圖
圖 10 PSO(粒子數：10)與循序搜尋時間比較圖
圖 11 PSO(粒子數：15)與循序搜尋時間比較圖
二、搜尋準確率
本實驗將針對隨機與循序以及 PSO 這三種搜尋方法做比較，以搜尋的試題適應值為比較 項目。首先以上述三種搜尋方法對 7 種大小不同的題庫進行 10 次的選題，而相關參數為 w1=0.5、w2=0.3、w3=0.2，而搜尋方案為 5 粒子 5 迭代、5 粒子 20 迭代、10 粒子 10 迭代、20 粒子 10 迭代，測驗者的各區塊知識能力值皆設為 0.5，適應值越接近 0 表示越適合。
從圖 12 中可以發現 PSO 搜尋 5 粒子 5 迭代的結果較不理想，但 10 粒子 10 迭代所選擇 的試題適應值很接近最佳解，循序搜尋雖然可以找到最佳解，但從搜尋速度的實驗得知循序 搜尋會增加許多時間成本，故 PSO 搜尋明顯優於循序搜尋。
圖 12 搜尋準確率比較圖
圖 13 為不同粒子數在迭代中的適應值變化圖，從中可以發現粒子數增加，搜尋擁有最佳 適應值的迭代次數反而減少，原因是當粒子數增加分佈的範圍也隨之增加擴大，因此找到最 佳解的機會也就跟著變大，圖 14 圖 14 為不同搜尋方案進行 100 次出題的結果圖，從中更可 以清楚發現當粒子數增加，即使迭代次數減少，這也表示在進行搜尋參數設定時，迭代次數 可以減少，不需太高的迭代次數就能找到最佳解，從此本實驗中更可以發現，當粒子數為 10 迭代次數為 10 的時候，搜尋結果是比較穩定的。
圖 13 不同粒子數在迭代中的適應值變化圖
圖 14 以不同搜尋方案進行 100 次出題
三、電腦適性化測驗
適性化測驗最理想情況就是根據測驗者的能力以及答題狀況選出最適合的題目。為了驗 證本研究建置的 PSO 電腦適性化測驗學習平台是否能根據測驗者的能力進行出題，因此本研 究的實驗對象是針對南部某科技大學資訊工程系所開設的科技英文修課學生，測驗時間為一 整個學期，所有使用本研究的平台測驗系統者，本系統皆會記錄其測驗狀況，本研究分為對 照組與實驗組，對照組的測驗人數共有 80 人，而實驗組的測驗人數共有 81 人。對照組採隨 機出題，而實驗組則採適性化測驗，如表 2。隨機測驗的答題正確率為 45%，而 PSO 測驗的 答題正確率為 55%，PSO 測驗結果明顯比隨機出題的答對率還要高，因此隨選出題的題目難 度不一，極有可能超出測驗者的能力範圍，而 PSO 適性化測驗選出來的題目對測驗者來說是 比較符合能力的，因此答題正確率也有所提升。
表 2 隨機測驗與 PSO 測驗數據
測驗人數 測驗方式 答題正確率 對照組 80 隨機測驗 45%
實驗組 81 PSO 測驗 55%