研究步驟

本研究的目的是在於能夠在節省預試的成本之下更新試題結構，當舊的單元 需要新增試題時，以知識結構為基礎的電腦化適性測驗將會需要重新獲得新試題 和舊試題之間的完整結構關係圖，研究者利用線上正在測試的受試者來蒐集所需 新舊試題作答反應資料。

本研究將利用莊惠萍（2007）紙筆測驗蒐集而來所有試題作答反應資料來模 擬線上更新試題結構的方法成效。首先考慮到如果受試者在作答完舊試題後，又 要在固定的時間內多作其他新增加的試題，這將可能會因為答題過多導致疲憊或 煩躁，或是擔心題目作不完緊張而亂答，使得所蒐集到的新試題作答反應不夠可 靠，建出來的試題結構不夠準確，所以本研究設計方式是將所需新增的試題平均 分為A、B、C 各三個部份；再來利用 5-fold c.v.法將 training sample 來模擬受試 者在線上正在測驗舊試題題目時，當他們已經完成適性測驗的舊試題之後再分別 新增一部份的新試題讓他們完整作答，之後利用所蒐集而來的舊試題預測作答反 應和新試題的完整作答反應在設定每個結構之個別預測精準度下，建立出舊試題 與A 部份試題的結構、舊試題與 B 部份試題的結構、舊試題與 C 部份試題共三 個部份的個別學生試題結構，接著以受試者有共同作答的舊試題當成定錨題將三 個部份的試題結構連結起來，之後將舊試題與新試題的遞移性關係建立出來完成 整個更新後的試題結構，再將5-fold c.v.法中的 testing sample 來測試此試題結構 之平均預測精準度、平均施測題數及能節省試題的比率。

之後將評估由適性測驗後的預測作答反應及只有測試部份試題後所建立的 試題結構和原始整份試卷的完整作答資訊所建立的試題結構二者間，他們在各種 樣本分配上的平均預測精準度、平均施測題數及能節省試題的比率情形。如圖3-5 所示。

1-fold c.v.--testing sample 蒐集新舊試題完整

的作答反應

建立舊試題和A 部份試題的結構

舊試題和A 部份 試題作答反應

設定個別結構之預測精準度 4-fold c.v.--training sample

舊試題和B 部份 試題作答反應

舊試題和C 部份 試題作答反應

將testing sample 的資料做測試

使用5-fold c.v.法計算完整結構預 測精準度及節省題數比率

測試後得到的預 測作答反應

利用遞移性連結A、 B、 C 結構

建立舊試題和C 部份試題的結構 建立舊試題和B

部份試題的結構

圖 3-5 研究步驟流程圖

根據此研究步驟流程圖分為幾點細項加以舉例說明：

a b c d e a 0 0 0 0 0 b 1 0 0 0 0 c 1 0 0 0 0 d 1 0 0 0 0 e 0 0 0 1 0

圖 3-8 試題關聯矩陣圖

貳、 個別結構預測精準度

當所蒐集到的樣本數一多時，也表示將面臨各種不同的作答反應，這樣將會 遇到違反了順序理論定義的作答情形

ε

^*_jk

= P ( X

_j

= 0 , X

_k

= 1 ) < ε

，所以，要建立學生 試題結構時，當違反順序理論的機率小於本研究所設定的ε（threshold）ε^*_jk<ε， 則電腦將判定二試題間具有順序關係。首先程式會執行每種threshold 下所建立出 來的結構之預測精準度，再依所需之精準度的threshold 值去建立學生試題結構。

例如，當今天所要建立的試題結構預測精準度為95%時，系統將會去擷取預測精 準度在95%時的 threshold 值來建立此學生試題結構。

a

b c

e d

圖 3-7 試題結構圖

參、 利用遞移性連結結構

由「壹、建立學生試題結構」可以知道，如何應用學生作答反應來產生出學 生的試題關聯矩陣圖，而因為以本研究設計的關係會建立出三個部份的試題關聯 矩陣圖，該如何把這三個部份結構結合，將由下面例子敘述之。

試題關連矩陣是由（n 題×n 題）的陣列來表示，以陣列的內容值來表示節點 間的連線是否存在（以 1 表示連線存在；以 0 表示連線不存在）。其中試題分別 為舊試題m 題，舊試題是每個部份受試者需共同作答之定錨試題；新試題則均分 成二個部份為p 題及 q 題。

圖3-9 為 A 結構試題關連矩陣圖為（m+p）×（m+p）的矩陣分別表示：舊試 題 m 題；A 部份新試題 p 題。A₁₁為舊試題和舊試題間的關聯矩陣；A₁₂和 A₂₁為 舊試題和新試題間的關聯矩陣；A₂₂為新試題和新試題間的關聯矩陣。其中 A₁₁為 定錨試題。

A₁₁ A₁₂

A21 A22

A＝

m p m

q

圖 3-9 A 部份試題結構矩陣

圖3-10 為 B 結構試題關連矩陣圖為（m+q）×（m+q）的矩陣分別表示：舊 試題 m 題；B 部份新試題 q 題。B₁₁為舊試題和舊試題間的關聯矩陣；B₁₂和 B₂₁ 為舊試題和新試題間的關聯矩陣；B₂₂為新試題和新試題間的關聯矩陣。其中 B₁₁ 為定錨試題。

圖3-9 及圖 3-10 中的 A₁₁和 B₁₁為 A 部份和 B 部份學生共同作答試題，將取 出作答此定錨試題 A 部份和 B 部份學生之作答反應來建立 C₁₁的關連矩陣圖。

圖3-11 為 C 結構試題關連矩陣圖由 A 和 B 部份試題陣列結合，為（m+p+q）

×（m+p+q）的矩陣分別表示：舊試題 m 題；A 部份新試題 p 題；B 部份新試題 q 題。C₁₁為 A 部份和 B 部份學生共同作答舊試題之陣列；C₁₂為 A 部份試題結構 A₁₂陣列；C₂₁為 A 部份試題結構 A₂₁陣列；C₂₂為 A 部份試題結構 A₂₂陣列；C₁₃ 為 B 部份試題結構 B₁₂陣列；C₃₁為 B 部份試題結構 B₂₁陣列；C₃₃為 B 部份試題 結構 B₂₂陣列；C₂₃為（p×q）的零矩陣；C₃₂為（q×p）的零矩陣。

B₁₁ B₁₂

B21 B22

B＝

m

q

m q

圖 3-10 B 部份試題結構矩陣

C 為（m+p+q）×（m+p+q）陣列，此遞移性之演算法如下：令 j＝1~ n 行；i

Procedure Transitivity Begin

範例：

令舊試題：1~3 題；新試題：4~7 題，將新試題分成 2 等份；A 部份試題：

舊試題1~3 題加新試題 4~5 題；B 部份試題：舊試題 1~3 題加新試題 6~7 題。之 後會建立出A 部份試題結構如圖 3-13 所示和 B 部份試題結構如圖 3-14 所示，利 用共同作答的舊試題為定錨試題將此二個結構做連結如圖3-15 所示，遞移性的定 義以試題4 為例，試題 4 之下位試題為試題 1，而試題 1 的下位節點又包括了試 題3、6、7、2，所以，將可以解釋成試題 3、6、7、2 都是試題 4 的下位節點，

由此方式執行每一題試題的遞移關係後，畫出此完整結構連結後的矩陣圖，而其 中灰底部份表示執行遞移性後的結果。

1 2 3 4 5 1 0 0 0 1 1 2 0 0 0 0 1 3 1 0 0 0 0 4 0 0 0 0 0 5 0 0 0 0 0 1

5

2 4

3

A 部份試題結構 關連矩陣圖

圖 3-13 A 部份試題結構圖

1 2 3 6 7

在文檔中 以知識結構為基礎之電腦化適性數學測驗線上更新結構機制之研發 (頁 30-39)