電腦適性測驗

壹、以知識結構為基礎之電腦適性測驗

國小教師在教學活動上，需要花費很多時間來診斷學生學習困難之所在 ，隨 著電腦科技的迅速發展，許多專家學者投入電腦診斷測驗的研究，希望藉由電腦 適性診斷測驗系統，配合適性動畫補救教學，能達到節省施測題數、施測時間，

準確診斷出學生錯誤所在，並給予適性化補救教學，減輕教師負擔，提升教學品 質。

由相關文獻中可知，以知識結構（郭伯臣，2004）為基礎，配合貝氏網路（施 淑娟，2006；許雅菱，2005；謝典佑，2006； Russell, Almond, Robert & Mislevy, 1999）的電腦適性診斷測驗，在節省試題和預測精準度兩方面都有最佳的表現 ， 是ㄧ有效的適性診斷評量工具 ，可協助達到「因材施測，因材施教」的目標。

郭伯臣、謝友振、張峻豪、蔡坤穎（2005）的研究中比較了三種估計試題結 構方法，Airasian,& Bart(1973)所研發之「順序理論」(ordering theory, OT)、

Takeya(1991)所研發之「試題關聯結構分析法」(item relationship structure analysis, IRS) 及 Appleby, Samuels & Treasure-Jones (1997) 所研發之 Diagnosys。研究結果 顯示，使用 OT 結構之適性測驗選題策略，所需訓練樣本較少並可節省較多施測 題數，優於 IRS 與 Diagnosys。因此本研究採用 OT 分析法進行學生試題結構分析，

作為電腦化適性測驗選題策略的依據 。

以知識結構為基礎的電腦化適性診斷測驗，要依據學生作答狀況分析，假設 其上位概念學會，就同時具備了下位概念。如圖 2-3-1 所示的試題上下位順序結 構圖，第 1 題是第 2 題和第 3 題的上位，題與題之間以箭號連結，表示這兩個試 題有關連，箭頭的方向由下位概念指向上位概念。所以如果答對了第 1 題，則預 設第 2 題也會答對，但如果第 1 題答錯，則必須再做第 2 題及第 3 題，找出是哪 一個概念未完成，而導致第 1 題答錯。藉由這樣的設計來診斷出學生真正的錯誤 概念，所以如果第 1 題答錯，第 2 題答錯，但第 3 題答對，即可認定包含在第 3

題以下的下位概念已經達成，這些題目(第 6-9 題)皆可不用再測，只必須再測第 4 題和第 5 題，如此就可以節省施測 4 題。（曾彥鈞，2007）。

圖 2-3-1 試題上下位順序結構圖

貳、診斷測驗試題題庫的建置

陳怡如、吳慧珉和黃碧雲（2004）的研究中設計出一套診斷測驗試題題庫的 建立方式，說明如下：

一、編製預試紙筆測驗

（一）知識結構編製原則

以單元教材中所呈現的課程內容及概念教學的順序作為分析的主體 ，先熟讀 課本、習作和教師手冊，再針對課本與習作的練習題，分析出正確的解題概念和 所需要運用的技能，進而編出該單元的知識結構。編製知識結構的原則如下：

1.每一節點為單一概念。

2.每一節點皆可出題。

3.了解上位節點，則推論受試者了解其所有下位節點 。 4.同層節點難度可能不一。

5.注意數字大小之影響。

item 1

item 2 item 3

item 4 item 5 item 6 item 7 item 8 item 9

6.注意非文字題及文字題之不 同。

7.當無法明確界定節點間次序性時 ，宜定義為無次序性。

（二）知識結構檢核表

如表 2-3-1（陳怡如、吳慧珉和黃碧雲，2004），在於初步建立單元知識結構 後，檢核其每一節點之概念內容與節點順序是否妥切 。

表 2-3-1 知識結構檢核表

項目 檢核內容 是 否

一 每一節點是否都是單一概念？

二 每一節點是否都可以出題？

三 上位節點和下位節點的次序性是否明確合理 ？ 四 節點的設定是否有考慮到數字位數大小的問題 ？ 五 節點的設定是否有考慮到文字題和非文字題的不同 ？ 六 節點的敘述是否清楚明確？

七 節點的設定是否有符合課程資料的教學目標 ？

（三）命題程序

編製完成單元的知識結構後 ，便可依據下列的命題程序開始進行命題 ： 1.依據單元知識結構，再參考課程資料命題，每個試題都只針對一個節點

（概念）出題。

2.依照知識結構和課程資料選定合適之試題結構類型，設計出適當的題幹。為 了符合日後電腦化的趨勢，試題型式以四選一之選擇題為主 。

3.依據題幹內容，設計正確選項，並根據學生易犯錯誤類型設計誘答選項 。 4.完成出題後，進行校對與驗算工作，檢視該題的設計是否符合節點的內容 ，

且驗算正確選項的正確性。

（四）命題卡及相關檢核表（盧炎成，2006）

1.命題卡(如表 2-3-2)。每題皆有一張命題卡，上面填寫題目之概念、內容及 其他相關資料，包含每個試題的編碼紀錄。

2.命題檢核表。針對節點選定具代表性的問題後，再次確認其內容、題幹和選 項等三方面的設計是否適當。

3.試卷檢核表。選定代表某一單元全部節點的各個試題後，將所有試題組成一 份試卷後，再仔細評估整份試卷的設計編排是否恰當 ，是否已能完全代表該 單元的知識結構，完成預試試卷。

表2-3-2 命題卡

二、預試收集學生作答反應資料 。

三、分析學生資料：一方面分析試題難度、鑑別度及信、效度；一方面根據 OT 演算法建立學生知識結構，作為適性測驗選題的依據，進行題庫之建置。

參、以貝氏網路為基礎之電腦適性測驗

貝氏網路以貝氏理論為基礎，是一種非常強大的知識表現方法和推論的工 具，它對於不確定性的因素，具有強大的推論整合效果，可以用來說明變項間相 互影響程度的機率關係。近年來被運用在各種領域上，在人工智慧領域相當的熱 門，且廣泛的應用於醫學、工程等方面，而其在預測及診斷上的能力，近來也被 應用於教育測驗的研究上(李俊儀，2004)。有不少相關的研究顯示以貝氏網路為 基礎之電腦適性測驗，其可行性相當高

郭伯臣、李俊儀、許雅菱、林文質(2005)的研究指出，如果運用以證據為中 心的評量設計所定義的貝氏網路結構圖，將學生的作答資料分成訓練資料和測試 資料，將訓練資料用來訓練貝氏網路函式的參數 ，作為將來推論運算所需；測試 資料則當作學生作答的證據，利用其聯合樹的推論方法，可算出聯合機率，用以 推論學生所具有的錯誤類型和子技能 。

施淑娟(2006)的研究發現，將貝氏網路認知診斷模式應用於國小五年級小數 單元學習診斷，與專家分類的結果相當一致，單元內各評量重點皆達良好的診斷 結果。

高健智(2006)以貝氏網路為基礎之學生分數概念診斷系統，也發現貝氏網路 可以做到下列各項：

一、可正確的診斷出學生的錯誤概 念。

二、可明確的指出學生的概念認知程度範圍。

三、在受測的學生數不斷的增加時，貝氏網路推論與分析也能做動態的更新。

四、藉由系統的診斷與推論可得到與學生實際的答題行為較接近的結果。

五、能有效的提供受測學生應加強的概 念或補救學習路徑。

林怡濱、陳世銘、李淑娟 (2008)以貝氏網路為基礎的電腦診斷測驗及補救教 學系統研究中發現：

一、以專家知識結構結合貝氏網路，建構以概念性的評量架構為主的評量模 式，可以有效的用來診斷學生的錯誤類型及子技能。

二、以貝氏網路為推論工具的測驗診斷系統，能有效且精準的評量出學生常見 的錯誤或迷思概念。

三、以貝氏網路推論電腦適性測驗，在適性和完整作答下，錯誤類型及子技能 符合程度具有效度。

因此，利用貝氏網路的優點，將其應用到電腦適性測驗，不但具有電腦適性測 驗的優點，更能利用貝氏網路的推論能力，取得學生的背景資料，快速準確分辨 出學生的能力等級，進一步地針對學生的錯誤類型、子技能來進行電腦補救教學 (劉麒峰，2003)。