第二章 文獻探討
第二節 試題順序結構為基礎之適性選題策略
假設要瞭解學生學習某單元後之剖面圖需要以試題A 到 I 來進行測驗，在傳 統紙筆測驗中，試題A 到試題 I（共九題）都要需要被施測。假設現有一試題順 序結構如圖3 所示，其中 B→A 表示試題 A 為試題 B 之上位試題，我們可以假設
若試題 A 答對，則試題 B 也會答對。在以試題順序結構為基礎之適性測驗流程 中，如受試者答錯A 試題，則需進一步測量下位試題 B、C 及其子試題，以瞭解 學生真正之迷思概念為何。如 C 對 B 錯，則認定 C 之所有下位試題皆已精熟，
也就是預測C 之所有下位試題皆為答對，不必再施測，預測僅需再施測 D、E 兩 題，可節省F、G、H、I 四題。
圖 3 利用知識或試題結構如何節省施測試題
由上述可知，若使用連結較多的結構於電腦化適性測驗，較易於節省施測試 題與施測時間，但由於要增加結構的連結，必須容忍較多違反順序性的誤差，使 用較多違反順序性的誤差的結構，電腦化適性測驗在預測受試者學習剖面圖時的 預測誤差就會增大。
以下介紹幾種估計結構之方法：
一、Diagnosys
前述 Diagnosys 系統即是一種基於知識結構為基礎的電腦化診斷測驗，同時 考慮了專家及學生的結構。學生結構的擷取乃透過專家知識結構所編製的紙筆測 驗進行施測，並根據下列的方式所建構的。
假設兩題試題 A 與 B 的次數分配如表 3 所示，如果
f
AB>> f
AB，則視試題 A 為試題 B 之下位試題，即如果正確作答試題 B，則必能正確作答試題 A，反之 則不一定成立，此種情形於本研究中標示成 A→B。如果f
AB+f
AB >>f
AB +f
AB， 則試題 A 與試題 B 可視為等價，於本研究中標示成 A↔B，Diagnosys 藉由將試A
B C
D E F G H I
題（概念）結構引入電腦測驗中來達到適性測驗的效果，並縮短施測時間。
表3 試題 A、B 次數分配表 試題B 對 試題 B 錯 試題A 對
f
ABf
AB 試題A 錯 fABf
AB二、試題順序結構理論與試題關聯結構分析法
Airasian & Bart （1973）的順序理論（ordering theory, OT）及 Takeya （1991）
的試題關聯結構法（item relationship structure analysis, IRS）都是常用來定義試題 間結構的方法。
茲將此二理論敘述於下：
令
X
=(X X
1, 2, ,"X
n)表示一個向量，包含 n 個二元試題成績變數，每一個受 試者作答 n 題得到一個0 與 1 的向量X
=(X X
1, 2, ,"X
n)，計算試題 j 跟 k 的聯合 與邊界機率（joint and marginal probabilities），如表 4 所示。表4 試題 j 與試題 k 之聯合與邊界機率 Item k
k
1
X =
Xk =0 Totalj 1
X
= P X( j=1,Xk =1) P X( j =1,Xk =0)P X (
j= 1)
j
0
X = P X
( j =0,X
k =1)P X (
j= 0, X
k= 0)
P X( j=0)Item
j
Total
P X
( k = 1)P X (
k= 0)
1在順序理論中，令
ε
*jk=P X (
j=0,X
k= 表違反試題 j 為試題 k 之下位試題之機1)
率，當
ε
*jk < 時，則設定試題 j 為試題 k 之下位試題，記錄成ε X
j →X
k，其中ε
為 一閾值（threshold），常設定介於 0.02 及 0.04 間（ 0.02≤ ≤ε
0.04） （Airasian &Bart, 1973; Bart & Krus, 1973）。
Takeya（1991）發現經由 OT 所估計得到之學生試題結構與試題間之相關係
數有些情況會產生矛盾，故提出試題關聯結構分析法，希望透過另一種測量試題
郭伯臣，2003，2004，2005；Kuo, Liu, Sheu, Pai, Ko, Yang & Lin, 2004），而前述 的研究中使用四種方法來建立結構，並評估所建立結構之成效，四種方法分別為 專家知識結構與Diagnosys、OT 與 IRS，得到下列三個結論：
1. 使用專家知識結構之電腦化適性測驗演算法其預測精確度較難控制，而使用學 生試題結構之電腦適性測驗演算法，可藉由閾值控制結構，因此可獲得較令人 滿意之預測精確度。
2. Diagnosys 演算法需要更多樣本來達到令人滿意之預測精確度，適性測驗速度 也比較慢。
3. OT 的演算法與其他演算法比起來，其對樣本大小較不敏感。
因此，就以建立試題順序結構之效果來說，OT 似乎是一個較好的選擇。
圖 4 試題順序結構分析軟體