選題策略實驗設計

為了探討以結構理論為基礎的多點計分題組式適性診斷測驗的最佳選題策 略，分別以「題組結構二元計分選題策略」、「題組結構多點計分選題策略」兩方 面，進行實驗設計。

壹、 題組結構二元計分選題策略

在圖3-2的例子中，是利用所收集學生的作答反應，採用OT順序理論技 術來估計所得到的學生結構，每一個節點代表一個試題，在上面的節點稱為 上位節點，在下面的節點就稱為下位節點，例如：「節點3」是「節點8」、

「節點9」、「節點10」的上位節點，「節點8」是「節點1」、「節點3」的 下位節點。

在上位的節點代表較困難的試題，所以當上位節點答對時，代表其下位 節點都會答對，例如：「節點1」是四則運算，「節點2」、「節點3」就可 能是加、減、乘、除，會四則運算的學生一定會加、減、乘、除，但是會加、

減、乘、除的學生不一定會四則運算。所以上位節點會，下位節點一定會，

下位節點會，上位節點不一定會。

本研究所提出的二元計分選題策略，是依據OT所分析出的題組結構為基 礎進行選題，由於題組的題型有相同的題幹，所以必須將整個題組做完後才

題組一

題組三 題組二

1 3 2

8 10 5 9

7 6

4

圖3-2 題組結構二元選題策略例圖

換下一個題組，因此，以下就舉圖3-2為例子，詳細說明選題策略如下：

首先挑選下位節點數最多的試題為第一題，在本例中會先選「節點1」，

若「節點1」答錯。

再挑選與第一題相同題組的試題，挑選下位節點數最多的試題繼續進行 施測，直到該題組全部做完為止，在本例中題組一剩下「節點2」、「節點3」

要進行估計，因「節點3」的下位節點數比「節點2」多，因此，先施測「節 點3」再施測「節點2」，若「節點2」與「節點3」皆答錯。

當第一個題組施測或估計完時，會在其他的試題中挑選下位節點數最多 的試題繼續進行施測，在本例中由於「節點4」的下位節點數最多，因此，

從「節點4」繼續施測，若「節點4」答對，則「節點5」、「節點6」、「節 點7」會判斷為答對，題組二就算施測完畢，接著繼續選剩下試題中節點數 最多的，因此系統施測「節點8」，若「節點8」答對，則判斷「節點5」、

「節點6」為答對。

當所有節點皆已施測或估計完時，即結束該單元測驗，在本例中紙筆測 驗需施測10題，以題組結構二元計分選題策略進行選題可節省5題。

貳、 題組結構多點計分選題策略

多點的選題策略與二元的選題策略不同之處在於，利用林文質(2005)所提 出建立能力指標間結構的方法建立題組間的結構，結合二元計分選題策略，應 用在題組結構上。

假設圖3-3為估計出來的題組結構，圖3-3中黑粗的箭頭代表題組間的上 下位關係，也就是若題組一通過，題組二也會判斷為通過，這樣可以節省更 多的題目，詳細說明選題策略如下：

首先必須先設定題組間的通過率，若通過率設定為0.7，就表示需通過該 題組內70％以上的試題，才會判斷其下位題組也已經學會，在本例中設定題 組間的通過率為0.6。

挑選下位節點數最多的試題為第一題，在本例中會先選「節點1」，若「節 點1」答錯。

再挑選與第一題相同題組的試題，挑選下位節點數最多的試題繼續進行 施測，直到該題組全部做完為止，在本例中題組一剩下「節點2」、「節點3」

要進行估計，因「節點3」的下位節點數比「節點2」多，因此，先施測「節 點3」再施測「節點2」，若「節點2」與「節點3」皆答對。

判斷該題組的答對率是否比預先設定題組間的通過率高，若比較高，則 將其下位題組皆標示為預測作答正確，若比較低，則繼續在其他的試題中挑 選下位節點數最多的試題繼續進行施測，在本例中由於預先設定題組間的通 過率為0.6，題組一在此次作答當中答對率為66.6％，較預先設定題組間的通 過率高，因此判斷題組一已經學會，並將其下位題組題組二之所有節點判斷

題組一

題組三 題組二

1 3 2

8 10 5 9

7 6

4

圖3-3 題組結構多點計分選題策略例圖

為答對。

當題組施測或估計完時，會在其他的試題中挑選下位節點數最多的試題 繼續進行施測，直到所有節點皆已施測或估計完時，即結束該單元測驗，在 本例中由於「節點3」已答對，因此，其下位節點「節點8」、「節點9」、

「節點10」判斷為答對，即結束測驗。

在本例中紙筆測驗需施測10題，以題組結構多點計分選題策略進行選題 可節省7題。

不論是二元或多點的，每個學生可能因作答反應的不同，有不同的節點 要施測，所以每個學生所做的題目不見得相同，藉此達到適性選題，因才施 測的目的。

第六節 選題策略成效評估

本研究評估選題策略之成效是使用5-fold cross validation 的方法，將紙筆測 驗 所 有 收 集 的 樣 本 平 均 切 成 五 等 分 ， 將 其 中 四 等 分 做 為 訓 練 樣 本(training samples)，利用訓練樣本去估計出題組結構，另外一等分做為測試樣本(testing samples)，利用測試樣本來進行模擬適性測驗，一直循環五次計算出精準度，再 將五次的精準度平均，即為最後的預測精準度，如圖3-4 所示。